[论文解读] Stochastic Comparisons between first-passage times for Markov Chains

Emilio De Santis, Fabio Spizzichino|arXiv (Cornell University)|Oct 3, 2012

Advanced Queuing Theory Analysis被引用 1

一句话总结

本文通過一種新穎的耦合技術，建立了馬爾可夫鏈中首達時間隨機序的充分條件，專注於偏移自由過程。引入非偏移自由鏈之間的關係，推導出命中時間分佈的通常與漸近隨機序，應用於隨機序列中的詞彙出現模式。

ABSTRACT

We develop some sufficient conditions for the stochastic ordering between hitting times, in a fixed state, for two Markov chains. In particular, we focus attention on the so called \emph{skip-free} case. In the analysis of such a case, we develop a special type of coupling. We also compare different types of relations between two, non-necessarily skip-free, Markov chains on the same state space. Such relations have a natural role in establishing the usual and the asymptotic stochastic ordering between the probability distributions of hitting times. Finally, we present some discussions and examples related with words' occurrences.

研究动机与目标

• 發展馬爾可夫鏈中首達時間之間隨機序的充分條件，特別是在偏移自由情況下。
• 提出一種專門針對偏移自由馬爾可夫鏈及其命中時間分析的耦合方法。
• 比較同一狀態空間上非偏移自由馬爾可夫鏈之間的不同類型關係，以推斷其命中時間分佈的隨機序。
• 利用鏈的結構性質，建立命中時間分佈的通常與漸近隨機序。
• 將理論框架應用於實際問題，例如隨機序列中詞彙的出現模式。

提出的方法

• 發展一種專為偏移自由馬爾可夫鏈設計的新穎耦合技術，以比較其首達時間。
• 引入並分析同一狀態空間上兩馬爾可夫鏈之間的關係，這些關係能推導出其命中時間的隨機序。
• 運用隨機優勢與耦合的概念，推導首達時間排序的充分條件。
• 將框架應用於分析詞彙出現過程，將序列建模為具有特定轉移結構的馬爾可夫鏈。
• 採用漸近分析研究在所推導排序條件下，命中時間分佈的長期行為與收斂性。
• 利用偏移自由性質簡化首達時間分佈的結構，進而實現更強的隨機比較。

实验结果

研究问题

• RQ1 在何種條件下，一個馬爾可夫鏈的首達時間可隨機支配另一個？
• RQ2 如何構造並應用專門的耦合方法於偏移自由馬爾可夫鏈，以比較其命中時間？
• RQ3 兩馬爾可夫鏈在相同狀態空間上，其結構關係的哪些類型能導致其命中時間分佈的隨機序？
• RQ4 通常與漸近隨機序在命中時間分佈上有何差異？如何建立這些序關係？
• RQ5 理論結果如何應用於建模與比較隨機序列中特定詞彙的出現時間？

主要发现

• 推導出兩馬爾可夫鏈之間首達時間隨機支配的充分條件，特別是在偏移自由情況下。
• 發展出一種專門的耦合方法，可直接比較偏移自由鏈的首達時間，並利用其結構約束。
• 識別出非偏移自由鏈之間的結構關係，這些關係能導致其命中時間分佈的隨機序。
• 本文建立命中時間分佈的通常與漸近隨機序，後者提供長期行為的洞察。
• 對詞彙出現過程的應用展示了理論框架在建模隨機序列中模式的實務相關性。
• 偏移自由假設因受限的轉移結構，使比較更強大且更具體，簡化了首達時間的分析。