Heureka wrote:
> Jeg sidder med nogle artikler vedr. bayesianske netværk og variational
> methods og har svært ved at forstå hvad der menes med "fri energi" som
> vist nok er en størrelse der stammer fra statistisk fysik.
Yeps.
I statistisk fysik starter man med at have en række tilstande t1,..,tn,
samt en Hamiltonian der giver energien af en tilstand H(t),
sandsyneligheden for at være i en tilstand er proportional med
exp(-H(t)/kBT) hvor Kb er Boltzmanns konstant og T er temperaturen.
Partitionsfunktionen Z = sum_i exp(-H(t_i)/kBT)
Den fri energi er F = - KbT log(Z)
S = - dF/dT er entropien
> Sådan som jeg opfatter det, er den fri energi en størrelse som
> kan reduceres ved at optimere en given statisk model så man får en
> større likelihood (eller modelfit til et sæt data).
Hvis du istedet laver fits med Gaussiske errorbars så har du
gennemsnit af målinger Y_i, med kontrol parametre X_i, sigma_i errorbars,
og en model f(X_i;A) der relatere forventet måling til kontrol parametre
og har nogle fit parametre A.
Sandsyneligheden for at modellen er korrekt for et punkt med givet
værdier for A er så exp(- (Y_i - f(X_i;A))^2 / (2*sigma_i^2) )
(antagelsen om gaussiske errorbars).
Den totale sandsynelighed for at et givet sæt af model fit parametre
A er korrekt givet alle punkter er (jeg springer normaliseringer over):
så
produktet af exp(- (Y_i - f(X_i; A))^2 / (2*sigma_i^2) ) over alle i
= exp(- sum_i (Y_i - f(X_i; A))^2 / (2*sigma_i^2) )
Likelyhood er logaritmen af en sandsynelighed, logaritmen af at
den samlede sandsynelighed ovenover er så
L(A) = -sum_i (Y_i - f(X_i; A))^2 / (2*sigma_i^2)
Maximere du likelyhood ved at variere A, dvs. minimere du Chi2 funktionen,
så vil du maksimere sandsyneligheden for parametrene A er korrekte givet
f(X_i,A).
Du kan nu mappe disse problemer på hinanden.
Definere du KbT=1 og H(t_i; A ) = log( D(i) ) med
D(i) = (Y_i - f(X_i; A))^2 / (2*sigma_i^2)
Så er det vist det samme. Likelyhood af fittet svarer til den
Fri energi, og partitionssummen til produktet af sandsyneligheder
for de enkelte punkter.
se
E.T. Jaynes, 1957, `Information Theory and Statistical Mechanics,'
Phys. Rev., 106, 620
http://bayes.wustl.edu/etj/articles/theory.1.pdf
E.T. Jaynes,1957, `Information Theory and Statistical Mechanics II,'
Phys. Rev., 108, 171
http://bayes.wustl.edu/etj/articles/theory.2.pdf
--
Mvh. Carsten Svaneborg
http://www.softwarepatenter.dk