计量复习笔记 (II)：遍历性

Info

本系列是2023年春季学期《应用计量经济学》期末复习笔记，仅涵盖时间序列部分，对应 Hansen (2022) Econometrics 第14和16章的内容。

内容提要

引入一个重要概念：遍历性 (ergodicity)，并证明了（弱版本的）遍历定理，该定理是时间序列版本的大数定律。

遍历性

上一讲介绍了平稳性，它本质上诱导出一个保测变换。但平稳性仍不足以建立起大数定律，例如，考虑一个平凡的时间序列 $Y_t = Y$，它没有任何时间维度上的变动，很显然，它是平稳的，然而 $\frac1n\sum Y_t = Y$ 并不收敛到 $\mathbb{E}(Y)$。大数定律还需要时间序列是遍历的。顺带一提，遍历性理论已经发展成了一个数学分支，在时间序列中的应用只是其诸多应用之一。

在定义遍历性之前我们先介绍一些必要概念。称事件 $A$ 在变换 $T$ 下是 不变的(invariant) 若 $A$ 在 $T$ 下的原像也是 $A$，即 $T^{-1}A = A$。例如，在时间序列中，我们接触到最多的变换之一就是时间位移变换 $(\delta x)_t = x_{t+1}$，很显然，$\mathbb{R}^{\mathbb{Z}}$ 在 $\delta$ 下就是不变的。称事件 $A$ 是 平凡的(trivial) 如果 $\mathbb{P}(A)$ 等于 0 或 1。称一个变换 $T$ 是 遍历的 若所有在 $T$ 下不变的事件 $A\in\mathcal{F}$（$\mathcal{F}$ 是 $\sigma$ 域）都是平凡的，换言之，没有非平凡不变事件。

现在给出时间序列遍历性的正式定义：

Definition 1.

设时间序列 $\{Y_t\}_{t\in\mathbb{Z}}$ 的分布为 $\mu$，相应地有概率空间 $(\mathbb{R}^{\mathbb{Z}},\mathcal{B}(\mathbb{R}^{\mathbb{Z}}),\mu)$。若位移变换 $\delta: \mathbb{R}^{\mathbb{Z}}\to\mathbb{R}^{\mathbb{Z}}$ 是遍历的，则称 $\{Y_t\}$ 是遍历的。

可以看到，数学上，平稳性要求位移变换是一个保测变换（见上一讲对定理 2 的证明，在那里还说明了像测度 $\mu$ 是如何定义的），而遍历性要求位移变换是遍历的。那么，该如何理解遍历性呢？直观来讲，它意味着一个时间序列随着时间的演进将最终到达样本空间内的所有状态，而被吸收到特定状态的概率为零。可以想见，当一个时间序列既是平稳又是遍历的，那么一条样本路径随机而均匀地（此处「均匀」指按照单个 $Y_t$ 分布的均匀）访问了整个样本空间，于是它们的样本均值就能很好地刻画总体均值，这就是遍历定理的基本思想。

遍历序列的变换

和平稳性一样，对一个遍历序列的（可测）变换仍保留遍历性：

Theorem 2.

若 $\{Y_t\}$ 是遍历序列，则对任意可测变换 $\phi\colon\mathbb{R}^{\mathbb{Z}}\to \mathbb{R}$，$X_t := \phi(Y_t,Y_{t-1},\dots)$ 仍是遍历的。

设 $\{X_t\}$ 的分布为 $\lambda$，它是 $\mu$ 在 $T\colon\mathbb{R}^{\mathbb{Z}}\to\mathbb{R}^{\mathbb{Z}}$ 下的像测度，$T$ 由下式定义：

$$ (Tx)_t = \phi(y_t, y_{t-1},\dots) $$

我们要证明位移变换在 $\lambda$ 的意义下是遍历的，即任意 $\delta$-invariant 事件 $A$ 都是平凡的。

由 $\{Y_t\}$ 的遍历性，对任意 $\delta$-invariant 事件 $A$，有 $\mu(A) = 0$ 或 $\mu(A) = 1$。根据 $\lambda$ 的定义，有

$$ \lambda(A) = \mu(T^{-1}A) $$

若能证明 $T^{-1}A$ 也是 $\delta$-invariant 事件，则我们就证明了 $\{X_t\}$ 是遍历的。

容易推出 $\delta^{-1}(T^{-1}A) = \{x\colon T(\delta x)\in A\}$；由 $T$ 的定义，易见 $T(\delta x) = \delta(Tx)$；再由 $A$ 的不变性有 $\delta x\in A$ 当且仅当 $x\in A$；因此，有 $T(\delta x)\in A$ 当且仅当 $Tx\in A$，这也就证明了 $\delta^{-1}(T^{-1}A) = T^{-1}A$，即 $T^{-1}A$ 是 $\delta$-invariant 事件。

特别地，移动平均变换保留遍历性：

Theorem 3.

若 $\{Y_t\}$ 遍历，$\mathbb{E}|Y|<\infty$，且 $\sum_{j=0}^\infty|a_j| < \infty$，则 $X_t = \sum_{j=0}^\infty a_jY_{t-j}$ 收敛且遍历。

遍历定理

遍历定理是时间序列版本的大数定律，是我们在非独立世界中实现一致估计的基石。在表述该定理之前，先不加证明地给出一个平稳序列遍历的充要条件：

Theorem 4.

若 $\{Y_t\}$ 平稳，则其遍历的充要条件是：对任意事件 $A,B\in\mathcal{B}(\mathbb{R}^{\mathbb{Z}})$，有

$$ \lim_{n\to\infty} \frac1n\sum_{k=1}^n\mu(\delta^kA\cap B) = \mu(A)\mu(B) $$

其严格证明可见 Davidson (1994) 定理 13.13。这里提供一种直觉解释。在保测且遍历的位移变换下，非平凡的事件 $A$ 在位移后和会得到 $A$ 和其补集 $A^c$ 元素的某种混合（因为 $A$ 肯定不是 invariant），随着时间的演进，不停地进行位移变换，我们可以得到不同程度的混合。对于另一个事件 $B$，它和 $\delta^k A$ 的相关程度由 $\mu(\delta^kA\cap B)-\mu(A)\mu(B)$ 刻画，这些相关性平均下来，应该接近零，这是因为：$\delta^kA$ 会是 $A$ 和 $A^c$ 各种程度的混合，也决定了它和 $B$ 的相关性，但平均值应该接近零。

从以上定理我们有如下推论：

Corollary 5.

若 $\{Y_t\}$ 平稳且遍历，以及 $\mathbb{E}(Y^2)<\infty$，则对任意 $t\in\mathbb{Z}$，有

$$ \frac1n\sum_{k=1}^n\text{cov}(Y_t,Y_{t+k}) \to 0 \quad\text{as } n\to\infty $$

即平均协方差趋于零。

不失一般性，假设 $\mathbb{E}(Y) = 0$。记 $\gamma_k = \mathbb{E}(Y_tY_{t+k})$。我们要证明 $\frac1n\sum_k\gamma_k \to 0$。

以概率测度 $\mu$ 来表述，$\gamma_k = \int \pi_0(x)\pi_k(x)\,\mu(dx)$，其中 $\pi_k(x) = x_{t+k}$ 是坐标投影映射。考虑 $\pi_0$ 为简单函数的情况，即 $\pi_0(x) = \sum_i \alpha_i\mathbb{1}_{A_i}(x)$，其中 $\{A_i\}$ 构成对 $\mathbb{R}^{\mathbb{Z}}$ 的分割。于是 $\pi_1(x) = \pi_0(\delta^{-1} x) = \sum_i\alpha_i\mathbb{1}_{\delta^{-1}A_i}(x)$。不难证明 $\{\delta^{-1}A_i\}$ 两两互斥，且它们的概率和为 1（利用 $\delta$ 的保测性），因此我们就可以把它视作对 $\mathbb{R}^{\mathbb{Z}}$ 的分割。这可以自然地推广到 $\pi_k$。因此

$$ \begin{align*} \gamma_k &= \int \sum_i\sum_j\alpha_i\alpha_j\mathbb{1}_{A_i\cap\delta^{-k}A_j}(x)\,\mu(dx) \\ &= \sum_i\sum_j\alpha_i\alpha_j\mu(A_i\cap\delta^{-k}A_j) \end{align*} $$

根据前述定理，就有

$$ \begin{align*} \lim_{n\to\infty}\frac1n\sum_k\gamma_k &= \sum_i\sum_j\alpha_i\alpha_j\left(\lim_{n\to\infty}\frac1n\sum_k\mu(A_i\cap\delta^{-k}A_j)\right) \\ &= \sum_i\sum_j\alpha_i\alpha_j\mu(A_i)\mu(A_j) \\ &= [\mathbb{E}_{\mu}(\pi_0)]^2 = 0 \end{align*} $$

最后，根据测度论中任意可测函数可由简单函数的递增序列逼近的性质，以及单调收敛定理，便可将上述结论拓展到一般情形。

值得一提，平均协方差趋于零并不意味着单项协方差也趋于零，换言之，遍历不意味着序列无关（即便是渐进意义上）；反过来，序列无关也不意味着遍历（一个反例可见这里）。

Note

在数学分析中，我们知道，若数列 $a_n$ 有极限 $a$，那么算数平均 $\frac1n\sum a_i$ 收敛且有相同极限 $a$，但反过来并不成立，例如 $a_n = (-1)^n$ 不收敛，但 $\frac1n\sum a_i$ 收敛到零。这个结论常被称作 Cesàro summation。

下面，我们利用上述推论证明一个弱版本的遍历定理。在强版本里，不需要二阶矩存在，而且得到的是几乎确定收敛（和强大数定律一样），其证明可见 Billingsley (1995) 定理 24.1 或者 Davidson (1994) 定理 13.12，有时间我会专门写一篇笔记。

Theorem 6.

若 $\{Y_t\}$ 平稳且遍历，以及 $\mathbb{E}(Y^2)<\infty$，则 $\frac1n\sum Y_t\to_p\mathbb{E}(Y)$。

记 $\bar{y}_n = \frac1n\sum Y_t$ 为样本均值。

由 Chebyshev 不等式

$$ \mathbb{P}(|\bar{y}_n-\mu|\geq\varepsilon) \leq \frac{\text{var}(\bar{y}_n)}{\varepsilon^2} $$

我们只要证明 $\lim_{n\to\infty}\text{var}(\bar{y}_n)=0$。

不失一般性，假设 $\mu = 0$。我们有

$$ \begin{align*} \text{var}(\bar{y}_n) &= \frac{1}{n^2}\mathbb{E}[(Y_1+\dots+Y_T)^2] \\ &= \frac{1}{n^2}[n\gamma_0 + 2(n-1)\gamma_1 + 2(n-2)\gamma_2 +\dots+ 2\gamma_{n-1}] \\ &= \frac{1}{n^2}\left[n\gamma_0+2\sum_{k=1}^{n-1}(n-k) \gamma_k\right] \\ &= \frac{1}{n^2}\left[n\gamma_0+2\sum_{k=1}^{n-1}\sum_{\ell=1}^k\gamma_\ell\right] \\ &= \frac{\gamma_0}{n} + \frac{2}{n}\sum_{k=1}^{n-1}\left(\frac{1}{n}\sum_{\ell=1}^k\gamma_\ell\right) \end{align*} $$

第一项显然收敛到0；由前述推论，第二项括号内趋于0，再由 Cesàro 求和的结论知整个第二项趋于0。

参考

Billingsley, Patrick (1995). Probability and Measure. John Wiley & Sons.

Davidson, James (1994). Stochastic Limit Theory: An Introduction for Econometricians. Oxford University Press.

Hansen, Bruce (2022). Econometrics. Princeton University Press.

Petersen, Karl E. (1989). Ergodic Theory. Cambridge University Press.

最后修改于 2024-09-04