Un processo stocastico di Markov è un processo stocastico nel quale la probabilità di passare da uno stato ad un altro (detta probabilità di transizione), è dipendente unicamente dall’ultimo stato in cui è stata la catena, e non da tutti i precedenti.

Il sistema è comunque aleatorio, e quindi non è possibile prevedere esattamente lo stato successivo. Ciononostante, se il sistema ha determinate proprietà, è possibile sfruttarle per fare inferenza statistica sull’evoluzione del sistema.

Casi in cui vengono usati modelli di tipo markoviano sono ad esempio la progettazione di reti di telecomunicazioni e la teoria delle code. I fenomeni che possono essere modellati con le catene di Markov sono spesso facili da riconoscere proprio per la mancanza di memoria di quanto è avvenuto prima di un certo orizzonte temporale.

Una volta che una catena di Markov è identificata la teoria che la regola limita e spiega il comportamento della stessa. Si possono determinare gli stati ricorrenti e quelli transitori.

Le catene di Markov sono usate anche nella pianificazioni commerciale. Infatti le strategie e le decisioni commerciali sono sempre soggette al rischio a causa dell’incertezza degli eventi futuri. Se si fosse in grado di quantificare tale rischio, magari sulla base delle passate esperienze, allora la determinazione dell’azione migliore da compiere si ridurrebbe al calcolo della probabilità con cui particolari catene di Markov saranno in determinati stati.

Vi sono vari esempi di pianificazione delle risorse che possono essere modellati con catene di Markov. Ad esempio, lo stock di un magazzino, l’acqua in un deposito o la riserva di una assicurazione. Consideriamo il problema di un magazzino con capacità pari a C unita. In ogni istante n c’e una domanda aleatoria di beni del magazzino.

La consistenza Xn dice quanti beni vi sono nel magazzino alla fine del periodo n. Il manager del magazzino decide di rifornire il magazzino ogni qualvolta il numero di beni all’istante n è minore di un minimo fissato m. Ci chiediamo se è possibile, al crescere di n, trovare la distribuzione del numero di beni nel magazzino. Qual è il valore atteso del numero di richieste non soddisfatte? Di solito il manager vuole ottimizzare i costi a lungo termine causati da un troppo alto stoccaggio e da una perdita di domanda che non è in grado di soddisfare avendo sotto rifornito il proprio magazzino.