- Michel
Álgebra Linear para Machine Learning (parte 3)
Atualizado: 14 de Abr de 2018
Este artigo é a continuação da parte 2.

Transformações matemáticas
Lembremos que equação linear é uma equação algébrica na qual cada termo é uma constante ou o produto de uma constante e uma única variável.
Uma equação linear com apenas uma variável, x, pode ser escrita na forma:
ax + b = 0 , onde um e b são constantes e a ≠ 0
Uma transformação é uma função f que mapeia um conjunto X em si mesmo, ou seja
f : X → X
Por exemplo, ao girar um triângulo no plano estamos transformando sua posição.
Uma transformação linear ou mapeamento linear é uma transformação na qual se incluem as contrações, expansões, rotações, reflexões e reflexões.


Agora, uma transformação que distorce a figura como abaixo não é linear.

Transformações lineares podem ser representadas em forma de equações e matrizes.
Em uma transformação linear no plano podemos somar vetores ou multiplicá-los por números reais. Por exemplo, sejam dois vetores,
P1 (x1, y1) e P2 (x2, y2)
então
P1 (x1, y1) + P2 (x2, y2) = Q (x1+ x2, y1 + y2),
sP = Q (sx, sy)
Onde Q é um novo vetor no plano e s é o fator de escala, como abaixo.

Vejamos o que acontece quando mapeamos uma transformação Q
com três vetores,P1, P2, P3, representados na figura abaixo pelo quadrado.
Aplicamos a transformação Q no quadrado e obtemos o paralelogramo

O ponto P1(0, 2) irá para P'1(2, 4), P2(2, 0) irá para P'2(2, 2), P3(2, 2) irá para P'3(4, 6) e claramente a origem (0,0) permanece em (0,0).

Os resultados são mostrados como matrizes e equações lineares abaixo.

Autovetores e Autovalores (Eigenvectors, Eigenvalues)
Autovetor de uma matriz quadrada A é um vetor x diferente de zero, tal que a multiplicação por A só muda a escala do x .
Ax = λx – o escalar λ é conhecido como autovalor

Se x é um autovetor de A, então qualquer vetor reescalado sv (s escalar) também será.
Sejam A uma matriz quadrada e x um vetor:

Os autovetores de uma dada matriz quadrada A de dimensão (n, n) são os n números que resumem as propriedades essenciais daquela matriz, por exemplo,

Geometricamente, o autovalor Ax = λx implica que numa transformação linear A, autovetores sofrem apenas mudança na sua magnitude e sinal — a direção de Ax é a mesma direção de x. O autovalor λ indica apenas o quanto o vetor irá "encolher" ou "esticar" ao sofrer a transformação A. Se λ = 1, o vetor permanece inalterado (não é afetado pela transformação). Se λ = −1 o vetor passa a ter a direção oposta (muda de sentido apenas) e a transformação é chamada reflexão.
Na figura a transformação A aumenta a magnitude do vetor x, mas não muda sua direção. Logo, x é um autovetor de A, e λ um autovalor de A.


Observe que neste mapeamento de cisalhamento da Mona Lisa, a imagem foi deformada de tal modo que o seu eixo central vertical (vetor vermelho) não mudou de direção, mas o vetor diagonal (azul) mudou de direção. Isso ocorre porque o vetor vermelho é um autovetor da transformação e o vetor azul não é.
Caso o vetor vermelho não tenha seu módulo alterado - não seja esticado nem encolhido, o seu autovalor é igual a 1. Todos os vetores com a mesma direção vertical, isto é, paralelos a este vetor, tem o mesmo autovalor.
Vejamos, passo a passo, a noção de autovetor e autovalor.
Primeiramente a transformação linear A transforma (distorce) o círculo para uma elipse
através da multiplicação de cada ponto do círculo pela matriz A.

- Será o vetor (0, 1) um autovetor?

Não, porque o ponto (2, -4) não é uma pré-imagem do ponto (0, 1) i.e, não esta alinhado com (0, 1) e a origem.
- Será o vetor (1, 0) um autovetor?

Não, porque o ponto (1, 1) não é uma pré-imagem do ponto (1, 0).
- Será o vetor (-0,89, 0,45) um autovetor?

Sim, porque o ponto (-1,8, 0,89) é uma pré-imagem do ponto (-0,89, 0,45)
Note que o ponto (-1,8, 0,89) está na reta que passa pelo ponto (-0,89, 0,45) e pela origem, e que λ = 2
- Será o vetor (-0,71, 0,71) um autovetor?

Sim, porque o ponto (-2,1, 2,1) é uma pré-imagem do ponto (-0,71, 0,71)
Note que o ponto (-2,1, 2,1) está na reta que passa pelo ponto (-0,71, 071) e pela origem, e que λ = 3

Não vou provar isto aqui, mas é importante salientar que em Machine Learning é frequente o uso da matriz de covariância, e esta é uma matriz simétrica, e desta forma os autovetores são perpendiculares (ortogonais).
Se você quer saber porque autovetores e autovalores são importantes em Machine Learning, veja o artigo sobre Principal Components Analysis (PCA).
Referências
Horn, Roger A.; Johnson, Charles R. (2013). Matrix Analysis (Second ed.). Cambridge University Press. ISBN 978-0-521-83940-2.
Lang, Serge (1987), Linear Algebra (Third ed.), New York: Springer-Verlag, ISBN 0-387-96412-6
Rudin, Walter (1976). Principles of Mathematical Analysis (Third ed.). McGraw-Hill. ISBN 0-07-085613-3.