Info
本系列是2023年春季学期《应用计量经济学》期末复习笔记，仅涵盖时间序列部分，对应 Hansen (2022) Econometrics 第14和16章的内容。
内容提要
这一讲不是单个概念，而是好几个话题。因为单个的内容都比较少，所以我把它们都放在这里。当然，每一个话题都可以拓展为很丰富的内容，但由于课上也是选择性介绍的，这里我也就没有再去探索（留待以后），因为往后的重心是非平稳时间序列。
介绍了鞅差分中心极限定理、线性投影和 Wold 分解定理。
鞅差分中心极限定理
鞅 (martingale) 是一类非常重要的随机过程，鞅差分 (martingale difference sequence, m.d.s.) 顾名思义就是鞅的差分。这里我们不通过鞅来定义鞅差分，而是直接给出鞅差分的定义：
Definition 1.
随机过程 $\{e_t\}$ 若适应于滤流 (filtration) $\{\mathcal{F}_t\}$ 且满足
$$ \mathbb{E}(e_t|\mathcal{F_{t-1}}) = 0 \quad\text{almost surely} $$则称之为鞅差分序列。
容易验证一个 m.d.s. 是零均值、序列不相关的。
不加证明地给出鞅差分中心极限定理：
Theorem 2.
若 $\{e_t\}$ 是平稳遍历的 m.d.s.，且 $\mathbb{E}(e_t^2) = \sigma^2 <\infty$，则有
$$ \sqrt{n}\bar{e}_n = \frac{1}{\sqrt{n}}\sum_{t=1}^ne_t \to_d N(0,\sigma^2) $$此定理特别适合我们的需要，因为之前已经介绍了平稳和遍历，为了得到一个中心极限定理，只需额外要求序列是一个鞅差分。此定理的严格证明可参考 Davidson (1994) 定理 24.3，它事实上是 McLeish (1974) 鞅差分 CLT 的一个较弱的推论，平稳遍历将保证那个定理中的各项条件得到满足。
课本中还介绍了 混合 (mixing) 的概念，它是比遍历更强的要求，但思想是相同的，就是渐进独立性（见上一讲定理 4 下面的讨论）。这里不作更多介绍。
线性投影
设 $(Y,\bm{X})$ 服从联合分布。$Y$ 可表示为两个部分，第一个部分是 $\bm{X}$ 的一个线性组合，第二个部分 $e$ 是正交于（即不相关）第一部分的误差；两者可分别称为 线性投影 (linear projection) 和 投影误差 (projection error)。
那么，这个线性组合 $\bm{X}'\bm{\beta}$ 应该如何选取呢？或者说，以什么标准来确定最优的线性投影？这个问题的答案是，使得投影误差的 $L^2$ 范数最小化。也就是说，最好的 $\bm{\beta}^*$ 是
$$ \bm{\beta}^* = \arg\min_{\bm{\beta}} \mathbb{E}[(Y-\bm{X}'\bm{\beta})^2] $$解为 $\bm{\beta}^* = [\mathbb{E}(\bm{XX}')]^{-1}\mathbb{E}(\bm{X}Y)$。
事实上，选择 $L^2$ 范数最小化来自于一个事实：条件期望 $\mathbb{E}(Y|\bm{X})$ 是 $Y$ 在 $L^2(\Omega,\sigma(\bm{X}),\mathbb{P})$ 空间上的投影，因此
$$ \mathbb{E}(Y|\bm{X}) \in \arg\min_g \mathbb{E}[(Y-g(\bm{X}))^2] $$当条件期望为线性时，正好有 $\bm{X}'\bm{\beta}^* = \mathbb{E}(Y|\bm{X})$。
在时间序列中，线性投影特别有用，尤其在（平稳时间序列）预测中。这是因为当我们对时间序列施加平稳性假设时，线性投影和相应的投影误差将是正交的。这一结论导出自著名的 Hilbert 投影定理，陈述如下：（注：Hibert 空间，即完备内积空间）
Theorem 3.
设 $\mathcal{H}_0$ 是 Hilbert 空间 $\mathcal{H}$ 的一个闭的子空间。对任意 $f\in\mathcal{H}$，存在唯一的 $f_0\in\mathcal{H}_0$，使得
- $f_0 = \min_{h\in\mathcal{H}_0} \|f-h\|$；
- $f-f_0$ 和 $\mathcal{H_0}$ 正交。
回到时间序列，我们有如下定理：
Theorem 4.
若 $\{Y_t\}$ 协方差平稳，则它有投影方程
$$ Y_t = \mathcal{P}_{t-1}[Y_t] + e_t $$其中 $\mathcal{P}_{t-1}[Y_t]$ 是 $Y_t$ 到 $(\dots,Y_{t-2},Y_{t-1})$ 上的最优线性投影（最小化误差的 $L^2$ 范数），且投影误差序列不相关，方差有限。
若 $\{Y_t\}$ 严格平稳，除上述结果外，还有 $\{e_t\}$ 也是严格平稳的。
需要首先指出，投影方程取决于有多少期的数据可得。假设有 $n$ 期的历史 $(Y_{t-n},\dots,Y_{t-2},Y_{t-1})$，那么线性子空间
$$ \text{span}(\{Y_{t-n},\dots,Y_{t-2},Y_{t-1}\}) = \left\{\sum_{j=1}^na_jY_{t-j}\colon a_j\in\mathbb{R},Y_{t-j}\in L^2(\mathbb{P})\right\} $$一定是闭的（对极限封闭），容易证明由有限集张成的线性空间一定是闭的。
根据 Hilbert 投影定理，我们就可以确定投影方程。此外，投影误差序列不相关，且是平稳的（严格平稳的），这可由 $\{Y_t\}$ 平稳性（严格平稳性）得到。
需要指出，将 $Y_t$ 投影到无穷维线性空间 $\text{span}(\{\dots,Y_{t-2},Y_{t-1}\})$ 不一定可行，因为无穷维线性子空间不一定是闭的。当然，我们可以取其闭包得到一个闭的子空间，但这个空间内并不是所有元素都一定可表为 $\{\dots,Y_{t-2},Y_{t-1}\}$ 的线性组合，相应地我们需要修改 $\mathcal{P}_{t-1}$ 的定义，使之不限于线性投影。
Note
书中认为 $\{e_t\}$ 均值为0，这无法得到，除非 $\{Y_t\}$ 本身零均值，或者在投影中包含常数项。本质上，我们还是在用线性组合去逼近真正的条件期望 $\mathbb{E}_{t-1}(Y_t)$。
Wold 分解
Wold 分解表明，一个协方差平稳的时间序列可被分解为一个 $\text{MA}(\infty)$ 过程和一个确定性过程（确定是指完全由历史决定），两部分互不相关。以下的定理是不太严格的表述，严格表述及证明可见于 Brockwell and Davis (1991) 定理 5.7.1。Hansen 书中依然遗漏了「零均值」条件，没有这个条件 $e_t$ 的均值不必然为 0；当然这也不是什么问题，对于平稳序列，我们总是可以先除均值，然后将均值归入以下的确定性部分 $\mu_t$。
Theorem 5.
若 零均值 时间序列 $\{Y_t\}$ 协方差平稳且投影误差的方差 $\sigma^2 > 0$，则 $Y_t$ 可分解为
$$ Y_t = \sum_{j=0}^\infty b_je_{t-j} + \mu_t $$其中 $b_0 = 1$，$\sum_{j=0}^\infty b_j^2 < \infty$；$e_t$ 是方差为 $\sigma^2$ 的白噪声序列，且和 $\mu_t$ 无关；$\mu_t$ 是由 $Y_t$ 的历史决定的确定性过程。
可以看到 Wold 分解和 ARMA 模型的深刻联系，它事实上为后者提供了理论基础。
参考
Brockwell, Peter J., and Richard A. Davis (1991). Time Series: Theory and Methods. Springer Science & Business Media.
Davidson, James (1994). Stochastic Limit Theory: An Introduction for Econometricians. Oxford University Press.
Hansen, Bruce (2022). Econometrics. Princeton University Press.
最后修改于 2024-09-04