Álgebra Linear para Machine Learning (parte 3)

Este artigo é a continuação da parte 2.

Transformações matemáticas

Lembremos que equação linear é uma equação algébrica na qual cada termo é uma constante ou o produto de uma constante e uma única variável.

Uma equação linear com apenas uma variável, x, pode ser escrita na forma:

ax + b = 0 , onde um e b são constantes e a ≠ 0

Uma transformação é uma função f que mapeia um conjunto X em si mesmo, ou seja

f  : X → X

Por exemplo, ao girar um triângulo no plano estamos transformando sua posição.

Uma transformação linear ou mapeamento linear é uma transformação na qual se incluem as contrações, expansões, rotações, reflexões e reflexões.

Após qualquer uma dessas transformações, a forma ainda tem o mesmo tamanho, área, ângulos e comprimentos de linha.

A outra transformação importante é o redimensionamento (também chamado de dilatação, contração, compressão, alargamento,expansão). A forma torna-se maior ou menor.

Agora, uma transformação que distorce a figura como abaixo não é linear.

Transformações lineares podem ser representadas em forma de equações e matrizes.

Em uma transformação linear no plano podemos somar vetores ou multiplicá-los por números reais. Por exemplo, sejam dois vetores,

P1 (x1, y1) e P2 (x2, y2)

então

P1 (x1, y1) + P2 (x2, y2) = Q (x1+ x2, y1 + y2),

sP = Q (sx, sy)

Onde Q é um novo vetor no plano e s é o fator de escala, como abaixo.

Vejamos o que acontece quando mapeamos uma transformação Q

com três vetores,P1, P2, P3, representados na figura abaixo pelo quadrado.

Aplicamos a transformação Q no quadrado e obtemos o paralelogramo

O ponto P1(0, 2) irá para P'1(2, 4), P2(2, 0) irá para P'2(2, 2), P3(2, 2) irá para P'3(4, 6) e claramente a origem (0,0) permanece em (0,0).

Os resultados são mostrados como matrizes e equações lineares abaixo.

Autovetores e Autovalores (Eigenvectors, Eigenvalues)

Autovetor de uma matriz quadrada A é um vetor x diferente de zero, tal que a multiplicação por A só muda a escala do x .

Ax = λx – o escalar λ é conhecido como autovalor

Se x é um autovetor de A, então qualquer vetor reescalado sv (s escalar) também será.

Sejam A uma matriz quadrada e x um vetor:

Os autovetores de uma dada matriz quadrada A de dimensão (n, n) são os n números que resumem as propriedades essenciais daquela matriz, por exemplo,

Geometricamente, o autovalor Ax = λx implica que numa transformação linear A, autovetores sofrem apenas mudança na sua magnitude e sinal — a direção de Ax é a mesma direção de x. O autovalor λ indica apenas o quanto o vetor irá "encolher" ou "esticar" ao sofrer a transformação A. Se λ = 1, o vetor permanece inalterado (não é afetado pela transformação). Se λ = −1 o vetor passa a ter a direção oposta (muda de sentido apenas) e a transformação é chamada reflexão.

Na figura a transformação A aumenta a magnitude do vetor x, mas não muda sua direção. Logo, x é um autovetor de A, e λ um autovalor de A.

Observe que neste mapeamento de cisalhamento da Mona Lisa, a imagem foi deformada de tal modo que o seu eixo central vertical (vetor vermelho) não mudou de direção, mas o vetor diagonal (azul) mudou de direção. Isso ocorre porque o vetor vermelho é um autovetor da transformação e o vetor azul não é.

Caso o vetor vermelho não tenha seu módulo alterado - não seja esticado nem encolhido, o seu autovalor é igual a 1. Todos os vetores com a mesma direção vertical, isto é, paralelos a este vetor, tem o mesmo autovalor.

Vejamos, passo a passo, a noção de autovetor e autovalor.

Primeiramente a transformação linear A transforma (distorce) o círculo para uma elipse

através da multiplicação de cada ponto do círculo pela matriz A.

- Será o vetor (0, 1) um autovetor?

Não, porque o ponto (2, -4) não é uma pré-imagem do ponto (0, 1) i.e, não esta alinhado com (0, 1) e a origem.

- Será o vetor (1, 0) um autovetor?

Não, porque o ponto (1, 1) não é uma pré-imagem do ponto (1, 0).

- Será o vetor (-0,89, 0,45) um autovetor?

Sim, porque o ponto (-1,8, 0,89) é uma pré-imagem do ponto (-0,89, 0,45)

Note que o ponto (-1,8, 0,89) está na reta que passa pelo ponto (-0,89, 0,45) e pela origem, e que λ = 2

- Será o vetor (-0,71, 0,71) um autovetor?

Sim, porque o ponto (-2,1, 2,1) é uma pré-imagem do ponto (-0,71, 0,71)

Note que o ponto (-2,1, 2,1) está na reta que passa pelo ponto (-0,71, 071) e pela origem, e que λ = 3

Não vou provar isto aqui, mas é importante salientar que em Machine Learning é frequente o uso da matriz de covariância, e esta é uma matriz simétrica, e desta forma os autovetores são perpendiculares (ortogonais).

Se você quer saber porque autovetores e autovalores são importantes em Machine Learning, veja o artigo sobre Principal Components Analysis (PCA).

Referências

• Horn, Roger A.; Johnson, Charles R. (2013). Matrix Analysis (Second ed.). Cambridge University Press. ISBN 978-0-521-83940-2.

• Lang, Serge (1987), Linear Algebra (Third ed.), New York: Springer-Verlag, ISBN 0-387-96412-6

• Rudin, Walter (1976). Principles of Mathematical Analysis (Third ed.). McGraw-Hill. ISBN 0-07-085613-3.