---

Jeg sidder og prøver at forstå kovariansmatrixen samt dens egenvektorer lidt
bedre end hidtil.
Et eksempel med to punkter i 2d
(-4 8) og (4 -8) med middel i O

kovariansmatrixen beregner jeg til
16 -32
-32 64

Derefter finder jeg egenvektorene (-0.89 -0.44) og (-0.44 0.89) samt
egenværdierne 0 og 80

Hvis jeg tegner punkterne og disse vektorer skaleret til egenværdierne, så
ser jeg de principale koordinatakser, hvor førsteaksen er 0 og går
vinkeltret på liniern mellem punkterne, og andenaksen går gennem punkterne
og O. Punkternes afstand til O er sqrt(80), så sqrt(egenværdi2) er altså
middelafstanden langs den akse ser det ud til.

Spørgsmålet er så.. hvad er årsagen til at netop førsteaksen blev nul? Skal
man tillægge aksernes order nogen som helst betydning, eller skal man se det
som tilfældigt hvilken egenværdi der bliver førsteaksen da det er afhænger
af ordningen af data eller andet ligegyldigt?

Hvis jeg tegner en ellipse med storaksen langs den egenvektor med størst
egenværdi og lilleaksen langs den anden, så får jeg noget der i dette
tilfælde er en linie, men som rummer mine punkter. Hvis jeg tilføjer et
ekstra punkt liidt længere væk fra O end de andre, så vil en tilsvarende
ellipse strække sig lidt længere ud, men den rummer ikke længere alle
punkter. Hvordan skal ellipsen nu tolkes? Den er åbenbart ikke mindste
ellipse som indeholder punkterne, men istedet en slags mindste ellipse der
søger at rumme punkterne, men som heller ikke vil have for meget tomrum...?

---

Niels J wrote:
> Jeg sidder og prøver at forstå kovariansmatrixen samt dens egenvektorer
> lidt bedre end hidtil.

Prøv at læse numerical recepies kap. 15:
http://www.nrbook.com/a/bookcpdf.html


Du kan tænke på det grafisk:

Hvis du forestiller du har en gruppe af 2D datapunkter, og jeg antager
at middelværdierne er trukket fra, som du ønsker at beskrive med en
Gaussisk sandsynelighedsfordeling så har den formen
Nexp(- (a x^2 + by^2 + 2cxy) ).

a,b,c er omvent relateret til hvor spredte datapunkterne er
f.eks. a=1/2sigma_x^2.

Normalt vil usikkerheden på datapunkterne ikke være den samme i
x og y retningen, så de kan danne en ellipse der peger i en
vilkårlig retning.

Du kan opfinde et nyt drejet koordinatsystem x',y' således at
Nexp(- (a' x'^2 + b' y'^2) ).

Her er a' og b' ellipsens længde og tykkelse, mens x' og y'
aksen i det drejet koordinat system peger i ellipsens lange
og korte retning.

Egenværdierne (a' og b') og egenvektorene (x' og y') for
kovariansmatricen definerer netop denne ellipse.


> Spørgsmålet er så.. hvad er årsagen til at netop førsteaksen blev nul?

Da dine to punkter ligger på en linie, degenererer ellipsen
også til en linie. Der er ikke nogen usikkerhed vinkelret
på denne linie.


> Skal man tillægge aksernes order nogen som helst betydning, eller skal man
> se det som tilfældigt hvilken egenværdi der bliver førsteaksen da det er
> afhænger af ordningen af data eller andet ligegyldigt?

Du kan ombytte egenværdier og egenvektorer som du vel, det svarer blot
til at bytte om på hvad labels x',y' du bruger for den lange og korte
orientering af ellipsen.


> Hvordan skal ellipsen nu tolkes?

Tager du ovenstående fordeling og skærer den på punkter hvor sansyneligheden
er 0.5 så får du en ellipse. Denne vil indholde 68% af alle datapunkter.
Det giver dig en måde at karakterisere usikkerhederne på.

Laver du en måling og får X +/- deltaX så betyder det at 68% af
måleresultaterne ligger i intervallet [X-deltaX,X+deltaX] og det er
hvad der kaldes 1sigma errorbar.

Ellipsen er en 2D generalisering af dette.

--
Mvh. Carsten Svaneborg
http://gauss.ffii.org softwarepatent database