122、多模态影像融合：可见光与红外/ToF的协同
去年夏天，我在产线盯一个安防双目融合模组的调试，夜视模式下红外图像和可见光图像死活对不齐。测试小哥举着热成像仪在暗室里晃，屏幕上的人脸边缘像被狗啃过一样，一半是热辐射的暖色，一半是可见光的冷色，中间还夹着一道锯齿状的伪影。我蹲在示波器旁边，看着两路MIPI信号的时间戳差了将近两帧，才意识到问题不在算法，在硬件同步。那次之后我养成了一个习惯——做多模态融合，第一件事不是调权重，是拿示波器量同步信号。
融合的底层逻辑：不是“叠加”，是“对齐”
很多人把多模态融合想成Photoshop的图层混合，可见光图层叠在红外图层上，调个透明度就完事。真实场景远没这么美好。可见光和红外/ToF传感器，物理特性完全不同——可见光靠反射环境光成像，红外靠物体自身热辐射，ToF靠主动发射调制光测距。三种信号的采样时刻、分辨率、视场角、畸变模型，没有一个是天然对齐的。
我习惯把融合拆成三个层次：像素级对齐、特征级关联、决策级互补。像素级对齐是地基，做不好后面全是空中楼阁。对齐的核心是空间配准和时间同步，空间配准靠标定，时间同步靠硬件触发或软件插帧。
空间配准：标定板上的血泪史
可见光和红外的标定，比双可见光相机标定恶心十倍。原因很简单——红外相机看不到可见光标定板上的棋盘格，可见光相机也看不到红外标定板上的加热图案。我见过最蠢的做法是在棋盘格背后贴加热片，结果热传导不均匀，红外图像上的角点糊成一团。
正确做法是用“双模态标定板”——一块金属板，表面刻蚀棋盘格图案，背面
