取決於當前狀態和過去狀態的馬爾可夫過程
我只是希望有人確認我的理解，或者如果我遺漏了什麼。
馬爾可夫過程的定義表明下一步僅取決於當前狀態，而不取決於過去的狀態。所以，假設我們有一個 a,b,c,d 的狀態空間，我們從 a->b->c->d 開始。這意味著向 d 的過渡只能取決於我們在 c 中的事實。
但是，您真的可以讓模型更複雜並“繞過”這個限制嗎？換句話說，如果你的狀態空間現在是 aa，ab，ac，ad，ba，bb，bc，bd，ca，cb，cc，cd，da，db，dc，dd，這意味著你的新狀態空間變成先前狀態與當前狀態相結合，則上述轉換將是 *a->ab->bc->cd ，因此到 cd 的轉換（在以前的模型中相當於 d）現在“依賴於”一個狀態，如果建模不同，則為先前狀態（我在下面將其稱為子狀態）。
我是否正確，因為可以使其“依賴於先前的狀態（子狀態）”（我知道從技術上講它不在新模型中，因為子狀態不再是真實狀態）通過擴展來保持馬爾可夫屬性像我一樣的狀態空間？因此，實際上可以創建一個可能依賴於任意數量的先前子狀態的馬爾可夫過程。
從技術上講，您描述的兩個過程都是馬爾可夫鏈。區別在於第一個是一階馬爾可夫鏈，而第二個是二階馬爾可夫鏈。是的，您可以通過適當更改狀態空間定義將二階馬爾可夫鏈轉換為一階馬爾可夫鏈。讓我通過一個例子來解釋。
假設我們想將天氣建模為一個隨機過程，並假設在任何給定的一天，天氣可能是下雨、晴天或多雲。讓是任何特定日子的天氣，讓我們用符號表示可能的狀態（下雨天），對於（晴天）和（多雲）。
一階馬爾可夫鏈
二階馬爾可夫鏈
通過重新定義狀態空間，可以將二階馬爾可夫鏈轉換為一階馬爾可夫鏈，如下所示。定義：
作為連續兩天的天氣。
換句話說，狀態空間可以採用以下值之一：,,,,,,,和. 有了這個重新定義的狀態空間，我們有以下內容：
以上顯然是重新定義的狀態空間上的一階馬爾可夫鏈。與二階馬爾可夫鏈的一個不同之處在於，您重新定義的馬爾可夫鏈需要指定兩個初始起始狀態，即必須在對第 1 天和第 2 天的天氣進行一些假設的情況下啟動該鏈。