Hola
Las matrices A y b son los coeficientes del sistema. Todo sistema de ecuaciones lineales se puede escribir en forma matricial 
(b es la matriz columna de términos independientes y X es el vector solución) seguro que te acordás de eso. Hay un pequeño problema de notación que puede confundir, le llama b a ese vector cuando b es un parámetro de la ecuación que se quiere hallar. Así que le voy a llamar B a ese vector. La ecuación seria AX = B, donde X=(a,b) son las incógnitas y B los términos independientes del sistema. Ese sistema es incompatible. Entonces se multiplica por 
para obtener la ecuación normal y encontrar una solución aproximada en el sentido de mínimos cuadrados.