Markov chain Monte Carlo

Markov chain Monte Carlo (MCMC, česky asi Monte Carlo pomocí Markovova řetězce) je ve statistice třída algoritmů pro vzorkování z pravděpodobnostního rozdělení založená na konstrukci Markovova řetězce, který má požadované rozdělení jako svou rovnovážnou distribuci. Stav řetězce po několika krocích se pak použije jako vzorek z požadované distribuce. Kvalita vzorku se zvyšuje se zvýšením počtu kroků.

Metody Monte Carlo pomocí náhodné procházky tvoří velkou podtřídu MCMC metod.

• MCMC metody jsou primárně využívány pro výpočet numerických aproximací vícerozměrných integrálů, například v bayesovské statistice, výpočetní fyzice, počítačové biologii a počítačové lingvistice.^[1][2]
• V bayesovské statistice byl nedávný vývoj MCMC metod klíčovým krokem pro možnost počítat velké hierarchické modely, které vyžadují integrace přes více než stovky nebo dokonce tisíce neznámých parametrů.^[3]
• Také se používají pro generování vzorků, které postupně zabydlují/pokrývají řídké oblasti selhání ve vzorkování řídkých událostí.

Pokud se použije metoda MCMC pro aproximaci vícerozměrného integrálu, soubor "chodců" se pohybuje náhodně. Pro každý bod, kde chodec zastaví, se hodnota integrandu v tomto bodě započítává do integrálu. Chodec pak může provést řadu průběžných kroků po okolí, hledaje místo s přiměřeně velkým přínosem pro integrál, do kterého se přesune v dalším kroku.

Metody Monte Carlo s náhodnou procházkou patří mezi náhodné simulace neboli Monte Carlo metody. Nicméně, náhodné vzorky integrandu používané při běžné Monte Carlo integraci jsou statisticky nezávislé, kdežto ty používané v metodách MCMC jsou korelovány. Markovův řetězec je konstruován takovým způsobem, aby měl daný integrand jako svou rovnovážnou distribuci.

Příklady metod Monte Carlo s náhodnou procházkou zahrnují následující:

• Metropolisův-Hastingsův algoritmus: Tato metoda generuje náhodnou procházku s využitím navrhované hustoty rozdělení a používá metodu pro odmítnutí některých z navrhovaných vzorků.
• Gibbsovo vzorkování: Tato metoda vyžaduje, aby všechny podmíněné distribuce cílové distribuce byly vzorkovány přesně. Je populární, částečně proto, že nevyžaduje žádné "ladění".
• Slice vzorkování: Tato metoda spočívá na principu, že lze vzorkovat z distribuce pomocí vzorkování rovnoměrně z oblasti pod grafem dané funkce hustoty. Metoda střídá rovnoměrné vzorkování ve svislém směru s rovnoměrným vzorkováním z vodorovného "plátku" (angl. slice) definovaném aktuální vertikální polohou.
• Multiple-try Metropolis: Tato metoda je variantou Metropolisova-Hastingsova algoritmu, která umožňuje opakované pokusy v každém bodě. Tím, že je možné vykonat větší kroky při každé iteraci, pomáhá řešit prokletí dimenzionality.
• Reversibilní skok: Tato metoda je variantou Metropolisova-Hastingsova algoritmu, která umožňuje návrhy, které mění dimenzionalitu prostoru.^[4] MCMC metody, které mění dimenzionalitu, se již dlouho používají v aplikacích statistické fyziky, kde se pro některé problémy používá distribuce, která je velký kanonický soubor (například, když počet molekul v krabici je proměnný). Ale varianta reverzibilního skoku je užitečná, když se dělá MCMC nebo Gibbsovo vzorkování nad neparametrickým bayesovským modelem, například takovým, který zahrnuje Dirichletův proces nebo proces čínské restaurace, kde počet směsných komponent/klasterů/atd. je automaticky odvozen z dat.

Markov Chain quasi-Monte Carlo (MCQMC)^[5][6]

Obvykle není těžké sestavit Markovův řetěz s požadovanými vlastnostmi. Obtížnější problém je určit, kolik kroků je zapotřebí ke konvergenci k stacionárnímu rozdělení s přijatelnou chybou. Dobrý řetěz bude mít rychlé mísení: stacionární distribuce je dosaženo rychle z libovolné počáteční pozice.

Typicky, MCMC vzorkování pouze aproximuje cílovou distribuci, protože je tam vždy nějaký zbytkový efekt počáteční pozice. Sofistikovanější algoritmy založené na MCMC, jako například coupling from the past mohou produkovat přesné vzorky, za cenu dodatečného výpočtu a neomezeného (i když konečného v očekávání) času běhu.

Mnoho metod Monte Carlo s náhodnou procházkou se pohybuje po rovnovážné distribuci v relativně malých krocích, bez tendence, aby kroky pokračovaly ve stejném směru. Tyto metody jdou snadno implementovat a analyzovat, ale bohužel může trvat dlouhou dobu, než procházka prozkoumá celý prostor. Chodec se často vrací zpět a pokrývá již prozkoumaný prostor.

• Bayesovská statistika
• Bayesovská síť
• Coupling from the past
• Gibbsovo vzorkování
• Metoda Quasi-Monte Carlo
• Hybridní Monte Carlo
• Metropolisův-Hastingsův algoritmus
• Multiple-try Metropolis
• Částicový filtr
• Reversible-jump
• Slice sampling
• Paralelní temperování alias Replika exchange MCMC vzorkování

• Christophe Andrieu, Nando De Freitas and Arnaud Doucet, An Introduction to MCMC for Machine Learning, 2003
• ASMUSSEN, Søren; GLYNN, Peter W. Stochastic Simulation: Algorithms and Analysis. : Springer, 2007. (Stochastic Modelling and Applied Probability; sv. 57). Je zde použita šablona {{Cite book}} označená jako k „pouze dočasnému použití“.
• ATZBERGER, P. An Introduction to Monte-Carlo Methods . . Dostupné v archivu pořízeném dne 2009-02-20. Je zde použita šablona {{Cite web}} označená jako k „pouze dočasnému použití“.
• BERG, Bernd A. Markov Chain Monte Carlo Simulations and Their Statistical Analysis. : World Scientific, 2004. Je zde použita šablona {{Cite book}} označená jako k „pouze dočasnému použití“.
• BOLSTAD, William M. Understanding Computational Bayesian Statistics. : Wiley, 2010. ISBN 0-470-04609-0. Je zde použita šablona {{Cite book}} označená jako k „pouze dočasnému použití“.
• CASELLA, George; GEORGE, Edward I. Explaining the Gibbs sampler. The American Statistician. 1992, s. 167–174. doi:10.2307/2685208. Je zde použita šablona {{Cite journal}} označená jako k „pouze dočasnému použití“. (Basic summary and many references.)
• GELFAND, A.E.; SMITH, A.F.M. Sampling-Based Approaches to Calculating Marginal Densities. Journal of the American Statistical Association. 1990, s. 398–409. doi:10.1080/01621459.1990.10476213. Je zde použita šablona {{Cite journal}} označená jako k „pouze dočasnému použití“.
• GELMAN, Andrew; CARLIN, John B.; STERN, Hal S.; RUBIN, Donald B. Bayesian Data Analysis. 1st. vyd. : Chapman and Hall, 1995. Je zde použita šablona {{Cite book}} označená jako k „pouze dočasnému použití“. (See Chapter 11.)
• GEMAN, S.; GEMAN, D. Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1984, s. 721–741. Je zde použita šablona {{Cite journal}} označená jako k „pouze dočasnému použití“.
• GILKS, W.R.; RICHARDSON, S.; SPIEGELHALTER, D.J. Markov Chain Monte Carlo in Practice. : Chapman and Hall/CRC, 1996. Je zde použita šablona {{Cite book}} označená jako k „pouze dočasnému použití“.
• GILL, Jeff. Bayesian methods: a social and behavioral sciences approach. 2nd. vyd. : Chapman and Hall/CRC, 2008. ISBN 1-58488-562-9. Je zde použita šablona {{Cite book}} označená jako k „pouze dočasnému použití“.
• GREEN, P.J. Reversible-jump Markov chain Monte Carlo computation and Bayesian model determination. Biometrika. 1995, s. 711–732. doi:10.1093/biomet/82.4.711. Je zde použita šablona {{Cite journal}} označená jako k „pouze dočasnému použití“.
• NEAL, Radford M. Slice Sampling. Annals of Statistics. 2003, s. 705–767. doi:10.1214/aos/1056562461. JSTOR 3448413. Je zde použita šablona {{Cite journal}} označená jako k „pouze dočasnému použití“.
• NEAL, Radford M. Probabilistic Inference Using Markov Chain Monte Carlo Methods . 1993. Dostupné online. Je zde použita šablona {{Cite web}} označená jako k „pouze dočasnému použití“.
• ROBERT, Christian P.; CASELLA, G. Monte Carlo Statistical Methods. 2nd. vyd. : Springer, 2004. ISBN 0-387-21239-6. Je zde použita šablona {{Cite book}} označená jako k „pouze dočasnému použití“.
• RUBINSTEIN, R.Y.; KROESE, D.P. Simulation and the Monte Carlo Method. 2nd. vyd. : Wiley, 2007. ISBN 978-0-470-17794-5. Je zde použita šablona {{Cite book}} označená jako k „pouze dočasnému použití“.
• SMITH, R.L. Efficient Monte Carlo Procedures for Generating Points Uniformly Distributed Over Bounded Regions. Operations Research. 1984, s. 1296–1308. doi:10.1287/opre.32.6.1296. Je zde použita šablona {{Cite journal}} označená jako k „pouze dočasnému použití“.
• SPALL, J.C. Estimation via Markov Chain Monte Carlo. IEEE Control Systems Magazine. April 2003, s. 34–45. doi:10.1109/mcs.2003.1188770. Je zde použita šablona {{Cite journal}} označená jako k „pouze dočasnému použití“.
• STRAMER, O.; TWEEDIE, R. Langevin-Type Models II: Self-Targeting Candidates for MCMC Algorithms. Methodology and Computing in Applied Probability. 1999, s. 307–328. doi:10.1023/A:1010090512027. Je zde použita šablona {{Cite journal}} označená jako k „pouze dočasnému použití“.

• MCMC sampling and other methods in a basic overview, by Alexander Mantzaris (original link - now broken), Vzorkování MCMC a jiné metody v základním přehledu
• Visual demonstration of MCMC sampling methods (Java applet), by Laird Breyer, Vizuální znázornění metod MCMC odběru vzorků
• A Toy Example of MCMC sampling, by Zhiyuan Weng, Jednoduchý příklad MCMC vzorkování
• MCL - a cluster algorithm for graphs, by Stijn van Dongen, MCL - klastrovací algoritmus pro grafy
• PyMC Archivováno 4. 12. 2016 na Wayback Machine. - Pythonovský modul implementující Bayesovské statistické modely a fitovací algoritmů, včetně Markov chain Monte Carlo.

V tomto článku byl použit překlad textu z článku Markov chain Monte Carlo na anglické Wikipedii.