Markov Chains a explicat vizual

Explicat vizual

Lanțurile Markov, numite după Andrey Markov, sunt sisteme matematice care saltează dintr-o „stare” (o situație sau un set de valori) în alta. De exemplu, dacă ați realizat un model de lanț Markov al comportamentului unui copil, ați putea include „joacă”, „mâncat”, „dormit” și „plâns” ca stări, care împreună cu alte comportamente ar putea forma un „spațiu de stare”: o listă cu toate stările posibile. În plus, pe partea de sus a spațiului de stat, un lanț Markov îți spune probabilitatea de a sări sau de a „trece” de la o stare la orice altă stare --- de exemplu, șansa ca un copil care se joacă în prezent să adoarmă în următoarea cinci minute fără să plângă mai întâi.

Mai jos este prezentat un lanț Markov simplu, cu două stări.

Cu două stări (A și B) în spațiul nostru de stări, există 4 tranziții posibile (nu 2, deoarece o stare poate trece înapoi în sine). Dacă suntem la „A” am putea trece la „B” sau să rămânem la „A”. Dacă suntem la „B” am putea trece la „A” sau să rămânem la „B”. În această diagramă cu două stări, probabilitatea tranziției de la orice stare la orice altă stare este de 0,5.

Desigur, modelatorii reali nu întocmesc întotdeauna diagrame în lanț Markov. În schimb, ei folosesc o „matrice de tranziție” pentru a contabiliza probabilitățile de tranziție. Fiecare stare din spațiul de stare este inclusă o dată ca un rând și din nou ca o coloană și fiecare celulă din matrice vă spune probabilitatea de a trece de la starea rândului său la starea coloanei sale. Deci, în matrice, celulele fac aceeași treabă ca săgețile din diagramă.

Dacă spațiul de stare adaugă o stare, adăugăm un rând și o coloană, adăugând o celulă la fiecare coloană și rând existente. Acest lucru înseamnă că numărul de celule crește în mod quadratic pe măsură ce adăugăm stări în lanțul nostru Markov. Astfel, o matrice de tranziție este utilă destul de repede, cu excepția cazului în care doriți să desenați o diagramă de lanț Markov în sala de sport a junglei.