Probabilitas transisi adalah probabilitas pergerakan dari keadaan Ei ke Ej,
dinotasikan dengan Pij. Untuk memperoleh matriks probabilitas transisi atau matriks P diperlukan pengamatan yang teliti terhadap kondisi sistem pada satu period ke periode yang berikutnya.
sumber: Dimyati A. Operations Research. Model-Model Pengambilan Keputusan. Sinar Baru Algensindo. Bandung, 2006.

Pada tahun 1906, A.A. Markov (1856-1922) seorang ahli matematika dari Rusia yang merupakan murid Chebysev, mengemukakan teori ketergantungan variabel acak proses acak yang dikenal dengan proses markov. Model ini berhubungan dengan suatu rangkaian proses dimana kejadian akibat suatu eksperimen hanya tergantung pada kejadian yang langsung mendahuluinya dan tidak tergantung pada rangkaian kejadian sebelum-sebelumnya yang lain.
Markov Chain bisa diterapkan diberbagai bidang antara lain ekonomi, politik, kependudukan, industri, pertanian dan lain-lain. Proses markov adalah proses stokastik masa lalu yang tidak mempunyai pengaruh pada masa yang akan datang bila masa sekarang diketahui. Proses stokastik sendiri merupakan aturan untuk menentukan fungsi X(t, ξ) untuk setiap ξ. Jadi, proses stokastik adalah keluarga fungsi waktu yang tergantung pada parameter ξ atau secara ekivalen fungsi t dan ξ. X(t) adalah proses keadaan diskret bila harga-harganya bulat. Bila tidak demikian X(t) adalah proses kontinu.
Analisa markov hampir sama dengan decision analysis, bedanya adalah analisa rantai markov tidak memberikan keputusan rekomendasi, melainkan hanya informasi probabilitas mengenai situasi keputusan yang dapat membantu pengambil keputusan mengambil keputusannya. Dengan demikian, analisa rantai markov bukanlah teknik optimasi, tetapi adalah teknik deskriptif yang mengahasilkan informasi probabilitas dimasa mendatang. Untuk mendapatkan analisa rantai markov ke dalam suatu kasus, ada beberapa syarat yang harus dipenuhi, adalah sebagai berikut:
1. Jumlah probabilitas transisi untuk suatu keadaan awal dari sistem sama dengan 1.
2. Probabilitas-probabilitas tersebut berlaku untuk semua partisipan dalam sistem.
3. Probabilitas transisi konstan sepanjang waktu.
4. Kondisi merupakan kondisi yang independen sepanjang waktu.
Penerapan analisa markov bisa dibilang cukup terbatas karena sulit menemukan masalah yang memenuhi semua sifat yang diperlukan untuk analisa markov, terutama persyaratan bahwa probabilitas transisi harus konstan sepanjang waktu (probabilitas transisi adalah probabilitas yang terjadi dalam pergerakan perpindahan kondisi dalam sistem).

Rantai markov (markov chain) adalah suatu teknik matematika yang biasa digunakan untuk pembuatan model (modelling) bermacam-macam sistem dan proses bisnis. Teknik ini dapat digunakan untuk memperkirakan perubahan di waktu yang akan datang dalam variabel-variabel dinamis atas dasar perubahan-perubahan dari variabel-variabel dinamis tersebut diwaktu yang lalu. Teknik ini juga dapat digunakan untuk menganalisa kejadian-kejadian diwaktu-waktu mendatang secara matematis dan sistematis. Penerapan proses markov chain mula-mula adalah digunakan untuk menganalisa dan memperkirakan perilaku partikel-pertikel gas dalam suatu wadah (container) tertutup serta meramal keadaan cuaca. Sebagai suatu peralatan riset operasi dalam pengambilam keputusan manajerial. Proses markov telah banyak diterapkan untuk menganalisa tentang perpindahan merek (brands witching) dalam pemasaran, perhitungan rekening, jasa persewaan mobil, perencanaan penjualan, masalah-masalah persediaan, pemeliharaan mesin, antrian, perubahan harga pasar saham, dan administrasi rumah sakit.