持久图与强化学习：拓扑结构演化中的策略学习实践

持久图（Persistence Diagram）和强化学习（Reinforcement Learning）放在一起，最容易被误解成两套工具硬凑。实际上这类工作解决的是一个非常具体的问题：当系统需要从初始拓扑状态演化到目标拓扑状态，或者生成一段带拓扑约束的轨迹时，持久图空间承担着状态描述，强化学习负责在这个非欧空间里学习随机动力学。简单说，不是用 RL 去替代拓扑数据分析，而是用 RL 去学习“拓扑结构如何随时间变化”的策略。

这个方向适合三类人看：一是已经在用持久图做特征提取，但不知道下一步怎么生成或控制拓扑演化的研究者；二是熟悉强化学习，想找一个有挑战的非欧状态空间应用的工程师；三是做图形生成、材料结构演化、异常轨迹检测的从业者，想评估拓扑约束能不能提升自己的流程。最值得关注的点不是模型多复杂，而是怎么把持久图这种“点集”结构塞进 RL 的状态、动作和奖励里，并且不要在一开始就被 Wasserstein 距离的代价算到崩溃。

下面按实际落地顺序拆开讲。

1. 先想清楚：这个方向到底解决什么问题

1.1 持久图不是普通向量，不能直接套生成模型

持久图是持续同调（Persistent Homology）的输出，它把数据在不同尺度下的拓扑特征表示成平面上的点集。每个点有两个坐标：出生尺度（Birth）和死亡尺度（Death）。点的横纵距离越远，通常意味着这个拓扑特征越显著。

这个表示有两个麻烦：

• 图的语义在点的集合上，而不在某个固定维度的向量上。
• 点的数量是动态的，同一个数据集的两次采样，持久图可能分别有 30 个点和 45 个点。

如果你直接拉平成一个固定维度的向量，比如把 (birth, death) 点排序后补零，那么这个向量会在很多维度上没有稳定语义，神经网络很难学到良好规律。更麻烦的是，Wasserstein 距离和 Bottleneck 距离都不是简单的逐点欧氏距离。你让点集整体移动一格，和移动其中一个点，对拓扑语义的影响完全不同。

所以，在这个方向里，持久图空间既是状态空间，也是度量最棘手的地方。传统生成模型假设数据位于欧氏空间的低维流形上，这篇文章要讨论的方法则更接近“在点集度量空间里做控制”的思路。

1.2 随机动力学要做什么：拓扑特征的演化轨迹

如果目标只是计算一个数据集的持久图，那根本不需要强化学习。真正有价值的问题是：

• 从一个初始点云开始，希望它经过若干步变换后，拓扑特征变成目标持久图的样子。
• 给定一段时序数据，希望预测下一时刻的新生拓扑结构。
• 在材料结构演化中，希望生成一条从“无环”到“有环”的合理轨迹。

这类问题都要求模型在持久图空间里输出一个“下一步动作”。但因为动作施加在原始数据或者持久图点上，结果会受噪声、采样密度、距离度量影响，所以确定性策略往往不稳。随机动力学在这里的意思是：策略输出的是动作分布，每次采样得到的轨迹会略有不同，训练过程中通过强化学习来调整这个动作分布，使轨迹满足拓扑约束。

1.3 为什么选择强化学习而不是监督学习

最直接的对比思路是：如果已经有一批“初始持久图-目标持久图”样本，是不是训练一个监督网络直接回归目标就行？

理论上可以，但实际很难。持久图点集数量不固定，目标匹配关系不唯一。给定一个初始持久图，可能有多个等价的目标匹配方式，监督学习会强迫模型在多个合理答案之间取平均，结果往往得到模糊甚至错误的中间态。另外，很多情况下我们并没有完整的高质量轨迹标注，只有最终目标或奖励函数，比如“最终持久图与目标差距不能太大”“中间过程的拓扑特征不能消失”。

强化学习的优势就是不需要为每一步提供标签，只需要一个能计算奖励的环境。策略自己探索如何从初始状态一步步到达目标区域。这正好匹配持久图空间里“目标明确但路径不唯一”的特点。

2. 把问题拆成状态、动作、奖励和策略

2.1 状态设计：持久图怎么编码进神经网络

状态是整个流程的起点。你要让策略网络知道“当前拓扑长什么样”。一般有两种做法。

第一种是直接对持久图点集编码。先对每个点做归一化，把坐标系压到一个固定范围，然后用 DeepSet 结构编码点集。DeepSet 的好处是对点的排列不敏感，适合处理数量可变的点集。核心公式类似：

state_embedding = pooling(MLP(point_i))

其中 pooling 可以是 mean、max 或注意力加权。注意，mean pooling 会把大量噪声点也平均进去，如果噪声点很多，拓扑特征会被稀释。我建议一开始用 max pooling，或者先做显著性过滤，只保留 life time 足够长的点。

第二种是把持久图转成持久影像（Persistence Image）或持久曲面，然后再用卷积网络。这样做的好处是方便复用现成视觉网络，坏处是引入了额外分辨率参数。如果分辨率设置不好，会丢失小特征的差异，也会增大计算量。

我个人的经验是：对强化学习来说，DeepSet 编码通常更稳。因为状态变化需要连续可导，而持久图点的数量本身稳定时可导；但如果你的环境里点集数量经常剧烈变化，就需要加一个固定数量的 padding 掩码，并保证网络对 padding 不敏感。

2.2 动作设计：每一步移动持久图点还是移动原始数据

这是很多实现卡住的地方。动作空间到底作用在持久图上，还是作用在生成持久图的原始数据上？

两种思路各有侧重。

• 直接作用于持久图点：动作给每个点一个二维位移，比如移动(delta_birth, delta_death)。这种设计简单、训练快，但生成的持久图可能不满足实际数据的可实现性。也就是说，可能存在一个持久图，但没有任何真实点云或函数能够精确映射到它。
• 作用于原始数据或描述参数：如果原始数据是点云，动作可以是每个点的坐标位移；如果原始数据是函数采样，动作可以是函数值的变化。这样每一步生成的持久图都是合法的，但计算持久图本身有额外开销，而且梯度不能直接穿透持续同调计算，只能用无梯度强化学习优化。

我建议先从小规模、动作空间简单的情况入手。比如固定原始数据点数，让动作直接控制点云位移，然后每步用 ripser 重新计算持久图作为观测。这样动作空间物理意义明确，奖励也容易算。

如果算力有限，可以先在持久图点集上做实验，验证策略是不是能学会拓扑特征移动，再决定要不要接入原始数据生成。

2.3 奖励设计：距离度量、拓扑约束和正则项一起加

奖励设计是这个方向最敏感的部分。首先要有一个基础距离项，衡量当前持久图和目标持久图之间的差距。常用的是 2-Wasserstein 距离，因为它在点匹配上有较好性质，也比 Bottleneck 距离对位置变化更敏感。

但只给 Wasserstein 距离会遇到一个典型问题：策略很容易找到一个中间持久图，把所有点都移动到极远或极近的位置，让距离变小，但拓扑结构已经退化。所以奖励里要加约束：

reward = - distance(current, target) - alpha * topology_loss - beta * action_regularization

topology_loss 可以包括：

• 点的数量是否合理；
• 显著特征的持久比例是否保持；
• 是否存在大量短寿命噪声点。

action_regularization 则限制每一步动作的幅度，避免策略用极大位移来刷奖励。

注意奖励 scale 很关键。我一般会把 Wasserstein 距离除一个典型尺度，使单步奖励大致在[-0.1, 0]范围内。如果奖励绝对值太大，策略会非常激进；如果太小，探索效率又低。

2.4 策略模型：从持久图到动作分布的条件概率

策略网络把状态编码映射到动作分布。使用随机策略时，一般假设动作服从高斯分布，网络输出均值和方差。对持久图点集动作来说，既要能输出连续位移，也要让不同点之间的动作不冲突，所以可以直接让每个点共享一个 MLP，再对点数维度做循环或并行计算。

代码结构大致如下：

class StochasticPolicy(nn.Module): def __init__(self): super().__init__() self.encoder = DeepSetEncoder() self.mean_head = nn.Linear(64, 2) self.log_std = nn.Parameter(torch.tensor(-1.0)) def forward(self, diagrams): # diagrams: [batch, num_points, 2] embedding = self.encoder(diagrams) mean = self.mean_head(embedding) std = torch.exp(self.log_std) return mean, std

这里 log_std 一开始不要设成特别小，否则策略过早趋向于确定性，探索不足。后面训练稳定了再让熵系数自动下降。

3. 环境、依赖与最小数据准备

3.1 常见库与运行环境

实现这个方向不需要太重的基础设施。我个人常用的组合是：

如果只用小规模验证，CPU 就够。比如几十个点的点云，计算一次 Rips 持久图很快。但是如果你想在 RL rollout 里每步都重新算持久图，而且点云规模达到几百个点，建议先用 GPU 跑神经网络，但持续同调计算本身仍以 CPU 为主。

依赖版本不要盲目追新。比如 GUDHI 的 Python 接口在不同版本之间 API 有过调整，尤其是plot_persistence_diagram和wasserstein_distance。落地前先确认依赖能否在你当前环境正常安装。

3.2 用二维点云构造第一组测试数据

第一次实验不要直接上高维点云，也不要用特别复杂的图数据。我建议用二维点云作为出发点。

具体步骤如下：

1. 随机生成一个点云，比如两个圆环叠加，每个圆环 40 个点。
2. 给点坐标加一点高斯噪声，制造 H1 维的环特征。
3. 用 ripser 计算持久图。
4. 只保留 life time 大于阈值的点，作为显著拓扑特征。

目标状态可以这样构造：把其中一个圆环的半径扩大，或者把两个环相对移动一段距离。这样就有一个“目标持久图”可供训练。

这里有一个很关键的细节：初始点云和目标点云的点数必须一致。如果动作直接作用在点云坐标上，点数不一致会引入多余的匹配复杂度。真实场景里可以允许点数变化，但最小验证阶段固定住点数，能减少很多调试困难。

3.3 持久图的批量计算和缓存

强化学习训练会产生大量 rollout 数据。如果每一步都重新算持久图，开销会迅速变大。有一个比较实用的做法是：在环境步进时，只对变化的那部分点云重新计算持久图；或者先离线生成一批原始数据变化轨迹，把每一步的持久图都预计算好，训练时直接读取。

在实验中我倾向于先做离线缓存。虽然这样会减少 RL 探索的自由度，但用来验证策略网络和奖励设计是否合理足够了。等确认核心模块没问题，再改成在线计算。

4. 一个最小可跑的 RL 训练流程

4.1 先做单步决策，不要直接做多步

很多人一上来就训练一个完整的多步 MDP，结果训练半天发现奖励不稳定，根本分不清是状态编码问题还是动作空间问题。

更稳妥的路径是：

1. 训练一个单步策略：给定一个初始持久图，输出一次动作，然后计算奖励。
2. 验证单步动作能否降低 Wasserstein 距离。
3. 确认单步可行后，再扩展到多步轨迹。

单步任务可以看成一个上下文 bandit，训练起来更快，也更容易定位问题。如果单步都学不到有效动作，多步一定更差。

4.2 一个参考训练配置

下面是我在类似问题中会用到的初始参数，具体数值要按你的环境调整：

不要一上来就把 episode 步数设成 100。拓扑结构在初始几步可能改变最大。步数越多，credit assignment 越难，策略越容易陷入局部最优。

4.3 第一个正确信号：奖励曲线下降但不过度震荡

判断模型是否开始学，不应该只看最终目标距离。我一般会看三个信号：

• 单步动作后，当前持久图与目标持久图的 Wasserstein 距离是否稳定下降；
• 每个 episode 结束后，显著特征点数是否保持在合理范围内；
• 动作幅度是否会因为奖励过大而出现“一步到位再震荡”的现象。

如果奖励曲线下降，但持久图点集体积迅速收缩，说明策略找到 了某种“奖励黑客”方式。比如把所有点都移动到出生坐标和死亡坐标相近的位置，虽然距离可能下降，但拓扑特征已经消失。这时候需要提高拓扑约束权重的优先级，而不是继续调学习率。

4.4 可视化和定量验证

可视化是这个方向最重要的验证工具。持久图本身是二维点图，很好画。每个 episode 结束后，把当前持久图用红色点画出来，目标持久图用蓝色点画出来，再叠加一条点对点的匹配线。如果匹配线基本是横向或纵向的，说明策略在做合理的移动；如果匹配线乱成一团，多半是距离度量或者状态编码有问题。

除了持久图，还可以把原始点云的变化过程保存成 gif 或者多帧图片。这一步能看到更直观的拓扑演化。不要只看 loss，loss 下降了不代表拓扑轨迹合理。

# 伪代码：训练主循环 for iteration in range(max_iterations): obs = env.reset() actions, log_probs = policy.sample(obs) next_obs, rewards = env.step(actions) # 按 RL 算法更新策略 update(policy, obs, actions, rewards, log_probs)

这个伪代码只用来表达流程，实际落地要按 PPO 或 SAC 的实现来写。

5. 参数边界、评测指标和常见失败模式

5.1 哪些参数最影响稳定性

在这个方向里，参数对结果的影响是按优先级排序的。我体验下来，从高到低依次是：

1. 持久图距离的计算方式：用 2-Wasserstein 还是 Bottleneck，会对梯度信号非常敏感。Wasserstein 更平滑，适合 RL。
2. 奖励 scale：如果距离数值太大，策略会对微小变化不敏感；如果太小，很容易被动作惩罚淹没。
3. 动作空间范围：动作范围限制在多少，直接决定策略能不能一次性跨过拓扑分岔点。
4. 状态编码器的 pooling 方式：mean 和 max 差异明显，尤其在噪声点较多时。
5. 拓扑阈值：保留哪些点、过滤哪些点，会影响整个状态空间的语义稳定性。

我发现很多人会花大量时间调学习率和网络层数，但忽略了奖励 scale。实际上，在持久图空间里，Wasserstein 距离可能从几十到几百不等，如果不先做归一化，后面所有超参数都会被带偏。

5.2 评测指标不能只看平均距离

建议记录以下几类指标：

如果轨迹多样性很低，即使平均距离下降，也说明随机动力学退化成近确定性策略了，这在需要生成多条候选轨迹的场景里不是好事。

5.3 常见失败模式

模式一：奖励训练上去了，但拓扑特征丢失。

原因通常是拓扑约束权重不够。持久图点可以通过不断合并到对角线附近来减少与目标匹配的代价，因为对角线附近的点通常会被距离匹配忽略。要避免这个，可以在奖励里显式惩罚靠近对角线的点，或者直接过滤掉 life time 过短的点。

模式二：训练时 Wasserstein 距离计算太慢，rollout 效率极低。

如果每个 step 都调用完整的最优匹配算法，在点集数量大时计算量会爆炸。先用小点集，或者离线缓存持久图，都是有效的缓解办法。不要一开始就追求大规模真实数据。

模式三：策略输出的动作导致持久图点数量突变。

当动作作用于原始点云时，点云点之间的碰撞、重叠可能导致某些环结构消失。这不一定是 bug，但会让训练不稳定。建议 on-policy 算法里限制动作最大范数，让每一步变化尽量小。

模式四：无论如何训练，距离曲线都在固定值附近震荡。

这种情况先看输入点云是否已经退化成没有显著拓扑特征的形态。如果初始状态本身和目标差距过大，策略可能无法一次性学到有效动作。解决办法是调整初始状态与目标状态的差距，让轨迹可以由小步完成。

6. 从单智能体到多智能体和贝叶斯动作解码的延伸

6.1 批量生成与序列控制

当单条轨迹跑稳后，很容易想到批量生成。比如需要生成 100 条从初始拓扑到目标拓扑的轨迹。这时除了 RL 策略，还需要考虑输出命名、采样种子、失败重试和轨迹长度控制。

不要直接并行上千个 episode。持久图距离计算和原始数据持久度计算都是 CPU 密集任务，并行数量过高会导致调度器大量切换。先用 4 到 8 个进程，观察 CPU 占用和每个 episode 的平均耗时，再逐步增加。

批量任务中，失败重试尤其重要。一条轨迹可能因为显式步数耗尽而失败，不应该直接丢弃，而应该记录失败原因，并对初始状态做随机扰动后重试。这种重试策略比单纯增加 episode 步数更有效。

6.2 多智能体场景中的拓扑特征调度

这个方向也可以和多智能体强化学习结合。比如多个智能体共同改变一个点云的不同区域，每个智能体只负责局部拓扑特征。此时持久图不再是全局单点集，而需要按区域划分成多个子图。全局奖励可以是整体 Wasserstein 距离，局部奖励可以是各自区域的持久图变化。

这种设计类似于分层控制：上层决定哪个拓扑特征先改变，下层决定具体怎么移动点。多智能体环境里最需要注意的是动作冲突。如果一个智能体在生成环结构，另一个智能体在破坏同一条边，全局奖励会剧烈波动。可以先固定其他智能体，只训练其中一个，逐个验证。

6.3 Bayesian action decoder 能带来什么

最近看到的 "bayesian action decoder for deep multi-agent reinforcement learning" 这个方向，和持久图上的随机动力学放在一起是有价值的：它强调动作解码时的不确定性估计，而不是只输出一个点估计动作。对持久图点集来说，不确定性非常重要，因为拓扑特征本身存在歧义：同一个持久图可以有多种合理演化方式。

如果采用类似贝叶斯动作解码的思路，策略网络不再只输出高斯均值，而是输出一个动作分布的后验估计。这样在生成多条候选轨迹时，可以自然得到轨迹的置信区间。应用到持久图空间时，你可以回答“在保留环特征的前提下，哪些演化路径更可能成功”。这对材料制备、分子构象生成等需要可控随机性的场景很实用。

当然，原始材料里没有给出具体的贝叶斯解码器实现细节，落地时还是要先确认你的 RL 框架是否支持自定义动作分布，以及推断时是否需要对隐变量做重参数化采样。这类改动会让训练变慢，但换来的是生成轨迹的可解释多样性。

7. 我调试时优先看的几个位置

如果哪天你的持久图 RL 训练完全失控，或者结果总是不稳定，我会按下面的顺序排查。

第一，先确认输入持久图是否干净。很多问题不是策略不行，而是持久图里有大量短寿命噪声点。可以先做一次显著性过滤，把 life time 小于阈值的点移除，再看状态编码是否更稳定。

第二，把奖励里的各个分项单独打印出来。不要只打印总奖励。看 Wasserstein 项、拓扑约束项、动作正则项分别是什么量级。如果某项比其他项大 100 倍，策略基本只会优化那一项。

第三，检查动作是否真的在改变状态。在 episode 中单独记录初始持久图、中间持久图和最终持久图。如果中间输出和初始几乎一样，说明动作没有被环境正确应用，或者动作太接近 0。

第四，检查距离计算的输入输出方向是否一致。Wasserstein 距离虽然是对称的，但持久图点集的匹配函数在实现里可能因为转置、排序等原因产生不稳定。先用两个人工构造的持久图验证距离是否符合直觉。

第五，把训练步数降低到一个非常小的规模，比如 1000 步。如果这么小的步数里都没有任何下降趋势，说明问题大概率在奖励设计或状态编码，而不是训练不稳定。

我最常踩的坑是：策略发现把点云所有点聚集在一起，会让持久图点数量减少，从而缩短距离计算匹配时间，并且在某些距离度量下看起来“更接近目标”。这种 reward hacking 很难通过调学习率解决。正确做法是给每个持久图点数量一个稳定惩罚，并且强制保留至少一定数量的显著特征。

这个方向最终能不能落地，不取决于你是不是能把 PPO 跑通，而取决于你有没有把持久图的“点集语义”和 RL 的状态、动作、奖励对应清楚。先在小规模点云上验证整条链路，再慢慢扩展到更复杂的数据类型，每一步都用可视化和指标双重核对，会比直接追求复杂算法稳定得多。