5.2 贝叶斯概率与统计推断：先验、后验与共轭先验

5.2 贝叶斯概率与统计推断：先验、后验与共轭先验

在人工智能处理不确定性问题时，存在两种根本性的概率哲学：频率主义与贝叶斯主义。频率主义概率被定义为长期重复试验中事件发生的极限频率，其核心推断工具是参数的点估计（如最大似然估计）及相应的置信区间。与之相对，贝叶斯概率将概率解释为对命题主观置信度的定量描述，其核心推断框架——贝叶斯推断——通过贝叶斯定理将观测数据与先验信念系统性地结合，更新为后验信念。这一框架为机器学习中的参数估计、模型比较与不确定性量化提供了统一且原则性的方法论。本节将系统阐述贝叶斯推断的核心组件：先验分布、似然函数与后验分布，并深入探讨能极大简化计算的一类重要先验——共轭先验。

5.2.1 贝叶斯定理：从先验到后验的更新规则

贝叶斯推断的数学基础是贝叶斯定理，它描述了在获得新证据（数据）后，如何更新关于假设（参数）的概率。

1. 定理形式：对于参数θ\thetaθ（可视为随机变量）和观测数据D\mathcal{D}D，贝叶斯定理表述为：
   P(θ∣D)=P(D∣θ)P(θ)P(D) P(\theta | \mathcal{D}) = \frac{P(\mathcal{D} | \theta) P(\theta)}{P(\mathcal{D})}P(θ∣D)=P(D)P(D∣θ)P(θ)​
   其中：

   • P(θ)P(\theta)P(θ)是先验分布，代表在观测数据之前对参数θ\thetaθ的信念。
   • P(D∣θ)P(\mathcal{D} | \theta)P(D∣θ)是似然函数，表示在参数θ\thetaθ下观测到数据D\mathcal{D}D的可能性。
   • P(D)P(\mathcal{D})P(D)是证据（或边缘似然），是数据在所有可能参数值下的总概率，起归一化作用：P(D)=∫P(D∣θ)P(θ)dθP(\mathcal{D}) = \int P(\mathcal{D} | \theta) P(\theta) d\thetaP(D)=∫P(D∣θ)P(θ)dθ（连续）或∑θP(D∣θ)P(θ)\sum_{\theta} P(\mathcal{D} | \theta) P(\theta)∑θ​P(D∣θ)P(θ)（离散）。
   • P(θ∣D)P(\theta | \mathcal{D})P(θ∣D)是后验分布，代表在观测数据D\mathcal{D}D之后，对参数θ\thetaθ更新的信念。

2. 贝叶斯推断的哲学与流程：贝叶斯推断的本质是一个迭代学习过程：从先验信念出发，通过观测数据提供的似然信息，利用贝叶斯定理更新得到后验信念。该后验分布综合了先验知识与数据证据，是对参数完整的不确定性描述。推断的所有结果（如点估计、区间估计）均从后验分布中导出。后验分布又可以作为新一轮推断的先验，实现持续学习。

5.2.2 先验分布：融合领域知识与正则化

先验分布P(θ)P(\theta)P(θ)是贝叶斯框架区别于频率主义的关键，它允许在数据分析中融入数据之外的领域知识或结构性假设。

1. 先验的类型与选择：

   • 信息性先验：基于历史数据、专家知识或理论约束构建，用于表达较强的先验信念。例如，在估计药物有效性时，基于前期研究设定其效果为正且有限的先验。
   • 无信息先验：当缺乏先验知识时，旨在对后验分布施加最小影响的先验。常见选择有均匀分布、Jeffreys先验（在参数变换下具有不变性）等[1]。
   • 弱信息先验：介于信息性与无信息性之间，通常选择具有较大方差的分布（如方差很大的高斯分布），以表达模糊的信念方向同时避免极端结论。
   • 层次先验：当模型存在超参数时，可以为超参数本身再设定先验（超先验），构成层次贝叶斯模型，增加模型的灵活性与稳健性。

2. 作为正则化的先验：从优化角度看，最大化后验概率等价于最小化正则化的损失函数。具体地，最大后验估计为：
   θMAP=arg⁡max⁡θP(θ∣D)=arg⁡max⁡θ[log⁡P(D∣θ)+log⁡P(θ)] \theta_{MAP} = \arg\max_{\theta} P(\theta | \mathcal{D}) = \arg\max_{\theta} [\log P(\mathcal{D} | \theta) + \log P(\theta)]θMAP​=argθmax​P(θ∣D)=argθmax​[logP(D∣θ)+logP(θ)]
   其中log⁡P(D∣θ)\log P(\mathcal{D} | \theta)logP(D∣θ)是（对数）似然项，log⁡P(θ)\log P(\theta)logP(θ)是先验项，相当于在最大似然估计的目标函数上增加了一个正则化项。例如，高斯先验对应L2正则化，拉普拉斯先验对应L1正则化。

5.2.3 似然函数：连接数据与模型的桥梁

似然函数P(D∣θ)P(\mathcal{D} | \theta)P(D∣θ)是给定参数θ\thetaθ时，观测到当前数据D\mathcal{D}D的概率（密度）。在频率主义中，似然是推断的核心；在贝叶斯框架中，它是驱动先验更新的数据力量。

1. 定义与计算：对于独立同分布数据D={ x1,x2,...,xN}\mathcal{D} = \{x_1, x_2, ..., x_N\}D={x1​,x2​