Una vez que hallaste la ecuación diferencial del movimiento, tenes que encontrar las posiciones de equilibrio y la ecuación diferencial alrededor de dichas posiciones (puede que sea distinta a la ecuación del movimiento general) y luego estudiar los signos de los coeficientes que multiplican a la variable dependiente y sus derivadas de dicha ecuación.
A veces no son muy explicitos cuando ponen las resoluciones en problemas donde hay que estudiar estabilidad.
Espero haber sido de ayuda