标签：# 工控开发 #地铁 ISCS #集群部署 #双机热备 #国产化运维 #轨道交通综合监控
摘要：
GoA4 全自动地铁 ISCS 承载行车调度、环控、供电、站台门全子系统监控，单点硬件/程序故障会直接引发行车安全风险，生产环境必须采用分布式集群 + 核心行车服务双机热备架构。本文承接前十七篇完整业务代码体系，统一规范 ISCS 微服务拆分标准、国产麒麟/统信离线打包方案、内网隔离部署流程、主备心跳故障自动切换、Nginx 负载均衡、全组件定时巡检与多层容灾恢复机制；严格区分采集、联动引擎、大屏、告警、权限、时序查询、日志审计七大独立服务，行车核心模块强制一主一备自动切换；落地外置配置隔离、离线完整依赖打包、服务健康心跳监控、故障切换声光告警、多层数据备份、一键上线 / 回滚整套标准化运维机制。解决单机混部资源争抢、核心业务单点崩溃、内网无外网无法打包、故障切换人工介入耗时、版本混杂难回滚、数据无备份丢失、故障无提前预警等工控生产致命痛点，整套部署方案完全符合轨道交通无人驾驶无人值守、高可靠、安监资料留存验收规范。
一、前言
前十七篇连载已完整搭建 ISCS 端到端业务底座：OPC UA 采集、多消费组 Kafka、自动化联动引擎、数字孪生大屏、TDengine 时序存储、三级分级告警、RBAC 分级权限、高可靠全局日志审计，从底层数据采集到上层可视化、操作审计功能全部代码闭环。
进入项目现场部署、交付验收阶段，单机无容灾部署架构存在大量行车安全级隐患，无法通过业主、安监双重验收：
全部服务单机混部运行，采集、联动、大屏抢占 CPU/内存/IO，早晚高峰时段接口卡顿、OPC 采集断线、联动执行延迟；
采集、场景联动属于行车核心服务，无备份节点，服务器硬盘损坏、程序崩溃后全线调度系统瘫痪，存在重大行车安全隐患；
开发打包依赖外网 Maven 仓库，地铁工控内网物理隔离无外网，无法下载依赖，现场无法编译部署；
无标准化微服务拆分规范，开发、测试、现场三套部署结构不一致，版本混乱，上线回滚流程无统一标准；
无标准化主备心跳检测逻辑，服务故障后运维人员需要逐个登录服务器人工重启，故障恢复时长不可控；
MySQL、TDengine、Kafka 无多层备份策略，磁盘故障会导致告警记录、时序工况、操作审计数据永久丢失，安监验收资料缺失；
缺少统一全服务健康监控体系，无法提前预判内存溢出、磁盘爆满、Kafka 消息堆积等潜在故障；
无标准化启停、备份、巡检 Shell 脚本，现场运维人员操作无统一规范，误操作易引发全线停机；
主备切换无日志、无告警记录，故障切换事件无法溯源，事故复盘缺少依据。
针对地铁无人驾驶高可用、内网离线、审计留痕硬性要求，本篇输出标准化微服务拆分、核心服务双机热备、国产化全离线打包、多层数据容灾、自动故障自愈、标准化上线回滚完整落地方案，所有脚本、配置、部署逻辑适配国产 Linux 离线环境，行车核心服务实现故障无人干预自动切换，全程切换事件留痕告警，全链路多重兜底保障业务连续运行。
二、ISCS 标准化集群微服务拆分
2.1 七大独立微服务划分，明确容灾等级
按业务影响行车安全优先级分级，严格禁止高、低优先级服务混部同一服务器：
iscs-collect 上位采集服务 | 最高优先级 | 强制双机热备
对接各专业 OPC UA 网关、测点降噪预处理、标准化 Kafka 消息生产；全线数据源头，故障直接丢失设备工况，必须一主一备自动切换。
iscs-scene 场景联动引擎 | 最高优先级 | 强制双机热备
自动化场景逻辑触发、跨子系统设备指令下发，直接控制环控风机、站台门、供电开关，主备部署杜绝联动失效。
iscs-screen 数字孪生大屏服务 | 中优先级 | 集群负载均衡
多 OCC 调度大厅、多车站运维大屏并发访问，多实例集群分摊 WebSocket 长连接压力，单实例崩溃不影响其余大屏终端。
iscs-alarm 三级告警服务 | 中优先级 | 单机 + 定时全量备份
告警收敛、分级推送、告警记录入库，配套 MySQL 每日自动备份，无需双机。
iscs-auth RBAC 权限服务 | 低优先级 | 单机部署
账号、角色、菜单、数据权限拦截，改动频次极低，访问量小，无需集群 / 热备。
iscs-td TDengine 时序查询服务｜中优先级｜单机 + 时序库定时导出备份
历史曲线、SOE 事故工况查询，TDengine 独立服务器部署，避免占用业务服务器磁盘。
iscs-log 日志审计服务｜低优先级｜单机部署
日志归集、ES 检索、操作审计导出，配套独立 Elasticsearch 单机，不占用行车服务资源。
2.2 中间件集群 / 主备容灾规范
Kafka 消息队列：3 节点集群，消息副本数 = 2，单节点磁盘损坏消息不丢失；分区自动重分配，业务无感知；
MySQL 业务库：一主一从复制，主库故障可一键切换从库读写，每日凌晨全量 SQL 备份 + binlog 增量日志留存；
TDengine 时序库：单机独立部署，每日全量超级表导出备份，原始数据 TTL 7 天、聚合数据 TTL 90 天；
Elasticsearch 日志库：单机部署，USER_OPERATE 审计索引禁止自动删除，按月离线归档备份。
2.3 架构五大核心设计原则
行车核心业务强制双机热备，低优先级服务独立单机，资源物理隔离，杜绝资源争抢；
服务之间仅通过 Kafka 异步通信，无同步接口调用，单服务崩溃不会连锁雪崩；
程序内置配置外置分离，安装包不含现场环境参数，一套程序包适配多线路、多车站；
所有故障、切换、运维操作自动生成告警 + 写入审计日志，全程可溯源；
多层数据备份机制，数据库、时序库、审计日志均配置定时离线归档，防止介质损坏永久丢失数据。
三、国产化离线打包完整加固方案
3.1 Maven 离线依赖打包 POM 配置
<!-- 离线依赖下载插件，打包时自动拷贝全部jar至lib目录，内网无需联网 --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-dependency-plugin</artifactId><version>3.3.0</version><executions><execution><id>copy-all-deps</id><phase>package</phase><goals><goal>copy-dependencies</goal></goals><configuration><outputDirectory>${project.build.directory}/lib</outputDirectory><excludeTransitive>false</excludeTransitive><stripVersion>false</stripVersion><!-- 排除外网监控、云服务依赖，适配内网工控 --><excludeGroupIds>org.springframework.cloud,com.aliyun</excludeGroupIds></configuration></execution></executions></plugin><!-- Spring Boot 打包，分离外置配置，不打包环境 YAML --><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><version>2.7.15</version><configuration><excludes><!-- 移除本地开发环境配置，现场统一使用外置 config 目录 --><exclude><groupId>*</groupId><artifactId>*</artifactId></exclude></excludes><layout>ZIP</layout></configuration></plugin>3.2 标准化离线安装包固定目录结构
所有服务统一目录结构，运维操作标准统一，避免路径混乱误删文件：
plaintext
iscs-collect/
├── bin/ # 运维脚本，只读权限，禁止现场修改
│ ├── start.sh # 正常启动脚本
│ ├── stop.sh # 安全停止（先释放OPC连接、提交Kafka offset）
│ ├── monitor.sh # 双机心跳检测、自动切换脚本
│ ├── backup.sh # 本地临时日志、缓存数据备份
│ └── health.sh # 健康状态检测脚本
├── config/ # 外置配置目录，分dev/test/prod三套环境yml
│ ├── application-prod.yml
│ └── logback-spring.xml
├── lib/ # 全部离线依赖jar包，打包一次性生成
├── logs/ # 程序运行日志，自动滚动压缩
├── backup/ # 本地自动备份文件存储目录
└── app.jar # 业务主程序包
3.3 国产系统 Shell 脚本
同时适配麒麟、统信 x86_64/aarch64 双 CPU 架构，自动识别系统架构；
脚本内置国产离线 JDK，无需服务器预装 Java 环境，完全零依赖；
脚本启动前自动校验目录权限、磁盘空间，磁盘低于 10% 直接拒绝启动，防止磁盘爆满；
停止脚本优雅停机：优先释放 OPC 长连接、同步提交 Kafka 消费位移，而非强制 kill 进程；
所有脚本输出操作日志至 logs/operate.log，运维启停操作全程留痕审计。
四、核心行车服务双机热备
4.1 主备完整切换业务逻辑
两台同配置服务器部署完全一致采集/联动服务，本地文件持久化角色标识（role.conf）；
备节点每 2 秒通过健康接口检测主节点在线状态，连续 5 次无响应判定主服务故障；
判定故障后备节点修改本地 role.conf 为 main，自动开启 OPC 全量采集、Kafka 消息生产、联动逻辑执行；
自动调用告警接口生成一级切换告警，推送调度大屏声光提醒；
原故障主机修复重启后，读取心跳判定当前已有主节点，自动切换为 backup，不抢占业务；
所有主备切换事件写入本地日志 + Kafka 日志主题，ES 永久归档，事故复盘可完整追溯切换时间、原因。
4.2 心跳监控脚本 monitor.sh
#!/bin/bash
ISCS 采集服务双机心跳监控脚本
MAIN_HEALTH_URL="http://192.168.1.100:8080/actuator/health"SELF_ROLE_FILE="./config/role.conf"SWITCH_LOG="./logs/switch-record.log"ALARM_NOTIFY_URL="http://127.0.0.1:8080/iscs/alarm/switchNotice"HEART_FAIL_COUNT=0 MAX_FAIL_LIMIT=5 CHECK_INTERVAL=2初始化默认备机
echo “backup” > $SELF_ROLE_FILE
前置校验磁盘空间，低于 10% 禁止切换执行业务
check_disk(){DISK_RATE=$(df-h.|grep-v Filesystem|awk'{print $5}'|sed's/%//')if[$DISK_RATE-ge90];thenecho"[$(date+%Y-%m-%d%H:%M:%S)] 磁盘占用超过90%，禁止切换为主机">>$SWITCH_LOGreturn1 fireturn0}whiletruedo# 检测主机健康接口curl-s--connect-timeout2$MAIN_HEALTH_URL>/dev/null 2>&1if[$?-ne0];then HEART_FAIL_COUNT=$((HEART_FAIL_COUNT+1))echo"[$(date+%Y-%m-%d%H:%M:%S)] 主机心跳丢失，累计次数：$HEART_FAIL_COUNT">>$SWITCH_LOG# 达到故障阈值，执行主备切换if[$HEART_FAIL_COUNT-ge$MAX_FAIL_LIMIT];thenifcheck_disk;thenecho"[$(date+%Y-%m-%d%H:%M:%S)] 主机故障，本机升级为主节点，开启采集业务">>$SWITCH_LOGecho"main">$SELF_ROLE_FILE# 发送切换告警，增加容错，告警服务故障不阻塞切换逻辑curl-s--connect-timeout3$ALARM_NOTIFY_URL>/dev/null 2>&1 fi HEART_FAIL_COUNT=0 fielse# 主机恢复正常，本机维持备机ifgrep-q"main"$SELF_ROLE_FILE;thenecho"[$(date+%Y-%m-%d%H:%M:%S)] 主机恢复正常，本机降级为备机">>$SWITCH_LOGecho"backup">$SELF_ROLE_FILEfi HEART_FAIL_COUNT=0 fisleep$CHECK_INTERVALdone4.3 程序内部角色动态识别
程序启动后单独开启文件监听线程，实时监控role.conf内容变更：
角色为 main：完整启用 OPC采集、Kafka消息生产、自动化联动执行逻辑；
角色为 backup：仅维持 OPC连接缓存点位数据，禁止写入 Kafka、禁止触发联动指令；
角色变更瞬间输出结构化 SOE日志，同步存入 ES 日志审计库，切换全程可追溯。
4.4 主备切换数据一致性多重保障
Kafka 消息设置 2 副本持久化，切换间隙测点消息不会丢失；
OPC 网关支持多客户端并发长连接，备机提前缓存全部点位实时值，切换无数据空白窗口期；
切换瞬间内存快照缓存全量测点，大屏前端无数据断档；
切换产生的一级告警永久存入 MySQL 告警记录表，作为运维事件留存。
五、大屏集群 Nginx 负载均衡
数字孪生大屏存在大量 WebSocket 长连接，单实例连接上限低，使用国产离线编译 Nginx 做集群负载均衡，加固会话保持、心跳超时、断线重连兼容：
nginx
http { upstream iscs_screen_server { server 192.168.1.101:8081 weight=1 max_fails=3 fail_timeout=30s; server 192.168.1.102:8081 weight=1 max_fails=3 fail_timeout=30s; # 固定客户端会话绑定单台实例，避免 WebSocket 频繁断开 ip_hash consistent; } server { listen 80; server_name _; # 普通HTTP接口 location /iscs/ { proxy_pass http://iscs_screen_server; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_connect_timeout 5s; } # WebSocket长连接专属配置，延长心跳超时 location /iscs/screen/ws { proxy_pass http://iscs_screen_server; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; proxy_set_header Host $host; proxy_read_timeout 3600s; } } }六、中间件多层容灾备份
6.1 MySQL 业务库（告警、权限、操作审计记录）
每日凌晨 2 点全量逻辑备份，压缩加密存储；
开启 binlog 增量日志，支持任意时间点数据恢复；
一主一从复制架构，提供一键切换脚本，切换自动生成运维告警；
每日备份完成自动校验文件完整性，备份失败推送一级系统告警；
备份文件自动同步至离线存储服务器，按月归档留存 90 天。
6.2 TDengine 时序库（设备历史工况、SOE 曲线数据）
每日凌晨执行全量超级表导出备份，生成 CSV 归档文件；
原始秒级数据 TTL 7 天自动清理，5/15 分钟聚合均值 TTL 90 天；
备份文件命名携带日期，事故复盘可快速检索对应时段历史数据；
备份失败写入系统日志并推送运维大屏预警。
6.3 Kafka 3 节点消息集群
所有业务 Topic 副本数强制 2，单节点磁盘损坏消息不丢失；
分区自动负载均衡，节点下线分区自动迁移至其余两台；
定时清理超过 7 天无消费的冗余消息，控制磁盘占用；
消费堆积超过 5000 条自动推送预警告警。
6.4 Elasticsearch 日志审计库
iscs_log_user_operate 操作审计索引关闭 TTL 自动删除，永久在线存储；
POINT_SOE、系统异常日志 30 天自动过期清理；
每月 1 号自动导出审计索引离线压缩归档，用于安监长期资料留存；
ES 磁盘占用超过 80% 触发磁盘预警告警推送大屏。
七、统一运维监控、自动巡检与故障自愈
7.1 全服务标准化健康监控 Actuator 端点
所有服务统一开放健康接口，监控指标全覆盖：
服务进程存活、CPU/内存实时占用率；
OPC 网关长连接数量、断线重连次数；
Kafka 消费堆积条数、offset 同步状态；
数据库连接池活跃连接、空闲连接数；
服务器磁盘总占用、日志目录容量。
7.2 定时巡检脚本
每分钟轮询全部服务进程，进程消失执行优雅重启脚本，重启失败持续重试并推送告警；
磁盘分区占用超过 85% 生成预警告警，超过 90% 一级紧急告警；
Kafka 消费堆积阈值 5000 条触发预警，20000 条紧急告警；
每日凌晨执行全组件备份，自动校验备份文件完整性，失败告警通知运维；
所有巡检动作、巡检结果写入 ES 日志审计库，可按月导出运维巡检记录。
7.3 故障告警全链路联动
主备切换、进程崩溃、磁盘爆满、消息堆积、数据库备份失败全部生成分级告警；
一级紧急告警触发大屏红色弹窗 + 声光蜂鸣，二级预警橙色置顶；
每条故障告警携带服务器 IP、故障类型、故障阈值，运维快速定位根因；
告警永久存入 MySQL 告警记录表，搭配 ES 日志完整故障上下文用于复盘。
八、工控落地核心痛点
痛点 1：单机混部多服务，CPU/IO 资源争抢，采集、联动执行延迟，存在行车风险
加固方案：七大服务按业务优先级拆分，行车核心服务独立服务器双机热备，高低优先级完全物理隔离，杜绝资源抢占。
痛点 2：工控内网完全隔离外网，Maven 无法拉取依赖，现场无法打包部署
加固方案：离线依赖打包插件一次性下载全部 jar 至 lib 目录，内置国产 JDK，整套介质纯离线运行，无任何外网依赖。
痛点 3：采集、联动无备份单点故障，硬件损坏全线调度系统瘫痪
加固方案：一主一备双机热备，2 秒心跳检测，5 次失联自动切换，切换全程告警 + 日志留痕，10 秒内自愈无需人工介入。
痛点 4：大屏多终端 WebSocket 并发连接，单实例连接超限频繁断线卡顿
加固方案：多实例集群 + 国产离线 Nginx 负载均衡，一致性会话绑定单实例，延长 WebSocket 心跳超时，适配 24 小时大屏挂机场景。
痛点 5：数据库、时序库无备份机制，磁盘损坏告警、审计、工况数据永久丢失，安监验收失败
加固方案：MySQL 主从 + 每日加密备份、TDengine 每日导出、ES 按月归档，多层备份 + 备份完整性校验，备份失败主动告警。
痛点 6：服务故障依靠人工发现、人工重启，故障恢复时长不可控，影响行车调度
加固方案：每分钟定时巡检脚本，进程崩溃自动优雅重启；主备故障自动切换，全流程无人值守自愈。
痛点 7：多环境配置混杂，开发 / 测试 / 现场共用一套配置，上线频繁参数错乱
加固方案：配置文件外置分离，程序包不含任何现场环境参数，一套 jar 包适配所有线路、车站，环境切换仅修改 config 目录 yml。
痛点 8：运维启停、备份、切换操作无标准化流程，现场人员误操作易全线停机
加固方案：统一标准化目录、固定运维脚本入口，脚本内置磁盘 / 权限前置校验，危险操作自动记录审计日志，降低人为误操作风险。
痛点 9：主备切换无记录、无告警，故障切换后无法追溯切换时间、触发原因
加固方案：切换事件持久化本地日志、ES 审计日志、调度大屏一级告警三重留存，事故复盘完整溯源切换全过程。
痛点 10：WebSocket 负载均衡会话丢失，大屏频繁断开重连，影响调度监控
九、标准化上线、回滚加固操作流程
9.1 新版本上线标准化流程
前置执行 MySQL、TDengine、ES 审计索引全量离线备份，校验备份文件完整性；
优先停止备机服务，上传新版本离线安装包；
启动备机，调用健康接口、复测采集、联动、大屏全业务功能；
手动触发主备切换脚本，新版本升级为主节点承接全线业务；
原主机降级为备机，同步更新程序介质，复测业务功能；
全线路、全车站业务完整复测，所有运维操作写入审计日志归档。
9.2 版本快速回滚标准化流程
新版本出现重大业务故障，执行一键回滚脚本；
自动切换回上一稳定版本作为主节点，故障新版本降级为备机；
自动加载事前全量备份，恢复数据库、时序库数据；
生成一级版本回滚告警推送至大屏，完整记录回滚操作审计日志；
留存故障版本介质用于问题排查，不直接删除。
十、本篇总结
本篇完整输出 GoA4 地铁 ISCS 标准化集群拆分、核心行车服务双机热备、国产麒麟 / 统信离线打包、多层中间件容灾、自动巡检故障自愈、标准化上线回滚整套加固部署方案。严格区分七大微服务业务优先级，采集、联动引擎等高风险行车服务强制一主一备自动切换；配套纯内网离线打包介质方案、国产 Nginx 大屏负载均衡、MySQL 主从、TDengine 每日导出、ES 按月归档多层数据备份机制；内置心跳监控、定时巡检、进程自动重启、故障切换声光告警全套自愈运维脚本，所有故障、切换、运维操作三重留痕（本地日志 + ES 审计 + 调度大屏告警）。
全链路增加磁盘校验、优雅停机、备份完整性校验、WebSocket 会话稳定、角色文件动态监听多重生产级容错加固，整套部署体系零侵入修改前十七篇所有业务核心代码，适配国产化离线工控内网、无人驾驶少人值守、安监审计资料长期留存硬性验收标准，所有打包、监控、切换、备份脚本均可直接交付项目现场运维落地使用，同时适用于轨道交通工控毕业设计工程部署章节参考。
专栏连载说明
本人 8 年轨道交通综合监控一线开发实战，专栏多篇文章被社区官方收录，完整连载 GoA4 地铁 ISCS 全链路闭环全套方案：OPC 底层采集、Kafka 多消费组、自动化联动引擎、数字孪生大屏、TDengine 时序库、三级告警、RBAC 权限、全局高可靠日志审计、集群双机热备国产化部署，从底层代码开发到现场交付上线全流程完整覆盖。
