No es que llegue a $$\sqrt{||u||^2+||v||^2+2||u||.||v||.\cos{\frac{\pi}{4}}}.||u||.\cos{\frac{\pi}{6}}$$ partiendo de $$||u||^2+||u||.||v||.\cos{\frac{\pi}{4}}$$
La parte de la izquierda de la igualdad, es decir, $$||u||^2+||u||.||v||.\cos{\frac{\pi}{4}}$$ sale de desarrollar $$\langle u,u\rangle + \langle v,u\rangle$$.
Por otra parte, lo que se tiene a la derecha de la igualdad, sale de plantear que $$\langle u+v,u\rangle= ||u+v||.||u||.cos \frac{\pi}6$$ y que a su vez $$||u+v|| = \sqrt{||u||^2+||v||^2+2\langle u,v\rangle}$$.
Es decir, por una parte se desarrolla el producto interno $$\langle u+v,u\rangle$$ mediante la definición y luego se desarrolla el término $$||u+v||$$ mientras que por otra parte se desarrolla el mismo producto interno $$\langle u+v,u\rangle$$ pero aplicando propiedades del producto interno y luego desarrollando de acuerdo a su definición. Una vez desarrollado este producto por dos caminos distintos, dado que es esencialmente el mismo producto, se igualan ambos desarrollos y se determina $$||v||$$.