一． 引言
为深入探究相对熵的核心特性，验证其非负性的规律，本文遵循规范研究框架展开分析。依托信息论基础理论，依次开展研究背景梳理、基本概念界定、对数不等式理论证明、MATLAB数值仿真与结果分析工作，通过理论推导与仿真实验相互印证，严格验证相对熵的非负性。
二． 研究背景
实际应用中，假设信源的真实分布为pi，但一般情况下，通过测量等手段只能获得概率分布qi，研究相对熵的目的是减小相对熵D，使概率分布q接近p，以便得到更精确的概率模型。
三． 基本概念
若 pi 和 qi，是相对于同一信源的两个概率测度，人们通常希望度量概率分布 pi 和 qi 之间的差异，这时需要定义一个量，称为相对熵。p 相对于 q 的相对熵定义为 。相对熵的解释是，对于概率分布为 pi 的某信源 X，如果采用编码码长为 I(pi) 的方式进行编码，则平均码长为 H§=∑pi I(pi)=－∑pi㏒pi；如果采用概率分布为 qi 的码长方式进行编码，每个符号的码长为 I(qi)，则平均码长为∑pi I(qi)=－∑pi㏒qi。那么，由于编码方案2的概率不匹配，使平均码长增加，增加量即为相对熵：
－∑pi㏒qi－[－∑pi㏒pi]=D（p//q）
因此，相对熵度量的是当真实分布为 p 而假定分布为 q 时的无效性。
四． 数学证明
对数不等式法：
四、 直观物理意义
D（p//q）代表：真实分布为P，却用近似分布q对数据编码时，平均每样本额外需要的比特数。非负性说明：用错误分布编码，不可能比真实分布编码更节省比特，必然产生额外信息代价。编码规则与真实信源不匹配必然引入冗余，因此实际平均码长一定大于等于理论最小码长：
五． 仿真实现与结果分析
1.仿真软件: Matlab（R2026a）
2.仿真代码：
3.仿真图像
4．仿真结果分析：
（1）整条曲线全部位于横轴（D=0）上方，在全部取值范围内均满足 D(p//q)≧0，完全符合相对熵非负的核心性质。无论假设分布 q 与真实分布 p 偏差多大，相对熵恒不为负数。
（2）等分布时相对熵取最小值0
当横坐标 q1=0.5 时，假设分布 q=[0.5,0.5] 与真实分布 p 完全相同，曲线抵达最低点 D(p//q)=0。物理意义为：若编码采用的概率分布与信源真实分布完全匹配，不会产生额外的编码冗余，不存在无效损耗。
（3）分布偏差越大，相对熵数值越高
当 q1 向0或1两端偏移，q 与 p 的分布差异不断增大，相对熵快速上升，曲线两端急剧抬高。说明假设分布与真实分布差距越大，采用该分布编码带来的平均码长冗余越多，模型拟合误差越大。
六． 结论
对数不等式的数学推导从理论层面严格证明了相对熵恒满足 D(p//q) ≧0；matlab 多组数值仿真与可视化图像从实验层面复现该规律，二者相互印证。从信息论物理含义来看，相对熵代表采用不匹配分布编码带来的额外码长开销，非负性说明错误模型编码必然产生冗余，只有真实分布匹配时无额外开销。最终得出核心结论：任意两组概率分布的相对熵具有非负性，且D(p//q)=0 的充要条件为对全部符号下标 i，满足 pi=qi。
