マルコフ過程

マルコフ過程について

マルコフ過程とは、未来の状態が現在の状態からのみ決定される確率過程を指します。この性質を「マルコフ性」と呼び、過去の状態は将来の挙動に影響を与えないことが特徴です。この概念は、粒子の動きなどの物理現象においても現れ、現在の状態が将来の振る舞いを予測することに利用されます。特に、粒子数が多い系では、確率論的な視点からこの過程を説明する必要があります。

この理論はロシアの数学者アンドレイ・マルコフに由来し、彼の研究は数多くの応用を持つ分野を発展させました。

マルコフ過程の分類

マルコフ過程は主に以下のように分類されます:

1. 単純マルコフ過程

単純マルコフ過程では、単一の状態から次に起こる事象が決定されます。一般に「マルコフ過程」と言うと、これを意味します。

2. N階マルコフ過程

N階マルコフ過程は、過去のN個の状態が次の事象の決定に影響します。特筆すべきは、任意のN階マルコフ過程も、新たな状態空間を定義することで単純マルコフ過程として表現できる点です。

3. 離散時間マルコフ過程

この過程は、時刻が離散的な値を取ることに特徴づけられます。例えば、時刻集合がT = {1, 2, 3, …}のように設定されます。

4. 連続時間マルコフ過程

この場合、時刻は連続的に変化し、例えばT = [0, ∞)のように設定されます。

5. 離散マルコフ過程

状態空間が離散的な値を取るマルコフ過程で、一般にマルコフ連鎖とも呼ばれます。

6. 連続マルコフ過程

連続時間マルコフ過程の挙動が時間に対して連続する場合に呼ばれます。

7. 時間的に一様なマルコフ過程

この過程では、推移確率が時刻によらず一定です。