Markova ķēde, arī Markova process ir gadījuma rakstura process, kas raksturo virkni iespējamiem notikumiem. Katra virknes nākamā locekļa iespējamās varbūtības ir atkarīgas tikai no pašreizējā stāvokļa un ir neatkarīgas no iepriekšējo stāvokļu vēstures.

Markova procesa diagramma- no katra stāvokļa izejošās bultiņas ar skaitļiem norāda varbūtību. No stāvokļa izejošo varbūtību summai jābūt 1 (visa varbūtība)

Markova ķēdes pielieto, lai veidotu statistiskus modeļus pasaules procesiem. Tie ir pamats Monte Karlo metodēm, lai iegūtu vērtības no varbūtību sadalījuma funkcijām, kas ir atradis pielietojumu Beiesa statistikā, bioloģijā, ķīmijā, ekonomikā, finansē, informācijas teorijā, fizikā, signālu apstrādē un valodas apstrādē.

Markova ķēžu veidi

labot šo sadaļu

Markova ķēde iedala pēc to iespējamo stāvokļu veida (galīgs skaits vai bezgalīgs skaits iznākumu) un laika solis starp stāvokļu maiņu (diskrēts vai nepārtraukts). Tabulā var redzēt piemērus dažādiem Markova processiem:

Saskaitāms

stāvokļu skaits

Nepārtraukts

stāvokļu skaits

Diskrēts

laiks

Galda spēle cirks,

teksta ģenerēšana

Šautriņas metiens
Nepārtraukts

laiks

Ķīmiskais līdzsvars,

radioaktīvā sabrukšana, veikalā esošu cilvēku skaits

Brauna kustība
 
Piemērs daļēji novērotam Markova gadījuma lielumam- Alise sazinās ar Bobu katru dienu, Bobs pastāsta, ko todien darīja, taču šī darbība ir atkarīga no tās dienas laikapstākļiem. Boba darbība līdz ar to liecina par tās dienas laikapstākļiem

Markova ķēžu modeļus izmanto mainīgās sistēmās. Markova ķēdes var vispārināt atkarībā no tā vai tiek novērtots katrs stāvoklis vai nē un vai sistēma iekļauj vai neiekļauj izvēles elementu. Tabulā var redzēt piemērus šādiem Markova processiem:

Sistēmas stāvoklis

ir novērojams

Sistēmas stāvoklis

ir daļēji novērojams

Sistēma ir

autonoma

Markova ķēde Laikapstākļu minēšanas

modelis

Sistēmā ir

izvēles elements

Kvantu krustiņi un nullītes Finanšu tirgus modelis

Markova ķēžu matemātika

labot šo sadaļu

Markova īpašība

labot šo sadaļu

Markova īpašība apgalvo, ka nākamais procesa stāvoklis ir atkarīgs tikai no esošā stāvokļa. Matemātiski tas pierakstās kā  , ka priekš jebkura   nākamais gadījuma notikums ir atkarīgs tikai no šī grīža gadījuma notikuma.[1]

Markova ķēdes matrica

labot šo sadaļu

Markova ķēdes varbūtību sadalījumu var pierakstīt ar matricas palīdzību. Katru matricas ierakstu var aprēķināt pēc formulas  , kur   ir matricjas i-tā rinda, j-tā kolonna.

Piemēram, pirmā attēla Markova ķēdi var pierakstīt šādi:  .

  1. Gordan Žitković. «Introduction to Stochastic Processes - Lecture Notes», 24.12.2010. 64. lpp.