Hola Santiago,
Creo que lo tenés claro, pero tal vez no lo planteaste de la mejor manera. Vos tenés que partir de que se cumple que $$A=\lambda A^t$$ con $$\lambda \neq \pm 1$$ y desde ahí concluir que $$A=0_n$$.
Fijate que al trasponer una matriz, los elementos de su diagonal siguen siendo los mismos (ya que $$A$$ es cuadrada), por lo que para cada elemento $$a_{ii}$$ de la diagonal se cumple que $$a_{ii}=\lambda a_{ii}$$ por lo que $$a_{ii}(1-\lambda)=0$$ $$\forall i=1,\ldots,n$$. De esta última ecuación se deduce que, dado que $$(1-\lambda)\neq 0$$ se debe cumplir que $$a_{ii}=0$$ $$\forall i=1,\ldots,n$$.
Para los elementos que no pertenecen a la diagonal la idea sería la misma, pero planteando que por un lado $$a_{ij}=\lambda a_{ji}$$ y a su vez también se cumple que $$a_{ji}=\lambda a_{ij}$$. Fijate si a partir de ahí podés concluir la demostración.
Si te trancás o no entendiste algo no dudes en volver a preguntar.
Saludos