云原生 Go 服务优雅退出机制:平滑关机与连接池安全回收
在 Kubernetes(K8s)环境里,服务的滚动更新(Rolling Update)、 Pod 扩缩容和节点重新调度是每天都会发生的日常操作。当 K8s 准备销毁旧版本的 Pod 容器时,会给容器发送关机信号。
如果在编写 Go 服务代码时没有做优雅退出(Graceful Shutdown,平滑关机)处理,进程拿到关机信号后直接调用os.Exit(0)退出,线上就很容易出问题:
- 正在处理到一半的 HTTP 或 gRPC 请求会被强行打断,客户端直接收到
502 Bad Gateway报错; - 正在执行的数据库事务来不及提交或回滚,造成数据不一致;
- 异步消息队列(比如 Kafka、RabbitMQ)的消费者还没有给 Broker 返回 Ack 就被打断,导致消息被重复消费;
- 数据库和 Redis 的连接池没有发 FIN 包释放连接,下游数据库的连接句柄被挂住。
要做到滚动更新过程中用户无感知、接口零报错,Go 服务必须做好平滑关机和资源回收。本文来聊聊云原生容器生命周期里,Go 服务优雅退出的架构思路和代码实现。
云原生 Pod 终止生命周期与 SIGTERM 信号
要做好优雅退出,先要了解 K8s 销毁一个 Pod 时的信号传递和处理流程:
sequenceDiagram participant K8s as K8s 控制平面 (APIServer/Kubelet) participant Ingress as Ingress / Service 路由层 participant Pod as Go 微服务 Pod 容器 K8s->>Pod: 1. 发送 SIGTERM (15) 信号 K8s->>Ingress: 2. 把当前 Pod 从 Service 端点列表中摘除 Note over Pod: 开启优雅退出流程 Pod->>Pod: 3.1 捕获 SIGTERM,把 Readiness 探针置为 503 Pod->>Pod: 3.2 停止接收新 HTTP/RPC 请求 Pod->>Pod: 3.3 等待已有活跃请求全部处理完成 Pod->>Pod: 3.4 正常关闭 DB / Redis 连接池与 MQ 消费者 Note over Ingress,Pod: 4. 网关层彻底停止给该 Pod 分发新流量 alt 在 terminationGracePeriodSeconds 内完成 Pod->>K8s: 5. 进程以 0 状态码正常退出 else 超过宽限期 (默认 30s) K8s->>Pod: 6. 强行发送 SIGKILL (9) 杀掉进程 end关键节点与细节
- 发送
SIGTERM信号:Kubelet 会向容器的主进程(PID 1)发送SIGTERM(信号量 15)。 - 端点摘除与时延:与此同时,K8s 会把这个 Pod 从 Service 的 Endpoints 列表里删掉,Ingress 网关开始停止给它分发新流量。注意:网关更新端点列表是有几秒钟网络同步时延的!
- 优雅退出宽限期(
terminationGracePeriodSeconds):K8s 会给 Pod 预留一段宽限期(默认 30 秒)。如果在宽限期内容器还没自己退出,K8s 就会发送SIGKILL(信号量 9)强制把进程杀死。
所以,Go 服务的优雅退出流程需要捕获SIGTERM信号,收到信号后把健康检查探针置为 Unready、预留几秒缓冲时间等待网关同步、消化完积压的请求、关闭连接池,并在 30 秒内完成平滑关机。
生产级 Go 云原生优雅退出标准实现
Go 标准库net/http从 1.8 版本开始就支持server.Shutdown(ctx)方法了。但是在真正的云原生项目里,除了处理 HTTP 关机,还要把信号监听、Readiness 探针置灰以及数据库连接池回收整合起来。
下面是一段标准的云原生 Go 服务优雅退出代码封装:
package main import ( "context" "errors" "log/slog" "net/http" "os" "os/signal" "sync/atomic" "syscall" "time" ) type Application struct { httpServer *http.Server isReady int32 // 0: Unready, 1: Ready logger *slog.Logger } func NewApplication(logger *slog.Logger) *Application { app := &Application{ isReady: 1, logger: logger, } mux := http.NewServeMux() // 1. K8s Readiness 探针 mux.HandleFunc("/readiness", app.readinessHandler) // 2. 业务 API mux.HandleFunc("/api/v1/order", app.orderHandler) app.httpServer = &http.Server{ Addr: ":8080", Handler: mux, ReadTimeout: 10 * time.Second, WriteTimeout: 10 * time.Second, } return app } func (app *Application) readinessHandler(w http.ResponseWriter, r *http.Request) { // 如果收到关机信号,返回 503 Service Unavailable 告诉 K8s 别再发流量过来了 if atomic.LoadInt32(&app.isReady) == 0 { http.Error(w, "Service Unready (Shutting Down)", http.StatusServiceUnavailable) return } w.WriteHeader(http.StatusOK) _, _ = w.Write([]byte("OK")) } func (app *Application) orderHandler(w http.ResponseWriter, r *http.Request) { // 模拟耗时业务逻辑 (比如 2 秒) time.Sleep(2 * time.Second) w.WriteHeader(http.StatusOK) _, _ = w.Write([]byte(`{"status":"success"}`)) } func (app *Application) Run() { go func() { app.logger.Info("HTTP server starting", slog.String("addr", app.httpServer.Addr)) if err := app.httpServer.ListenAndServe(); err != nil && !errors.Is(err, http.ErrServerClosed) { app.logger.Error("HTTP server failed to listen", slog.Any("error", err)) os.Exit(1) } }() // 监听系统的终止信号: SIGINT (Ctrl+C) 和 SIGTERM (K8s 关机信号) sigChan := make(chan os.Signal, 1) signal.Notify(sigChan, syscall.SIGINT, syscall.SIGTERM) sig := <-sigChan app.logger.Info("Received termination signal, starting graceful shutdown...", slog.String("signal", sig.String())) app.gracefulShutdown() } func (app *Application) gracefulShutdown() { // 第一步: 把 Readiness 探针标记为 0 (Unready) atomic.StoreInt32(&app.isReady, 0) app.logger.Info("Step 1: Set readiness probe to Unhealthy") // 第二步: 挂起等待 3 秒,等 K8s Ingress / Endpoints 的异步路由同步完成 time.Sleep(3 * time.Second) app.logger.Info("Step 2: Waited 3s for Ingress/Endpoints sync") // 第三步: 给平滑关机加一个硬超时 Context (比如 15 秒) shutdownCtx, cancel := context.WithTimeout(context.Background(), 15*time.Second) defer cancel() // 停止接收新请求,并等待已有请求处理完 app.logger.Info("Step 3: Shutting down HTTP server...") if err := app.httpServer.Shutdown(shutdownCtx); err != nil { app.logger.Error("HTTP server shutdown error", slog.Any("error", err)) } else { app.logger.Info("HTTP server shut down gracefully") } // 第四步: 关闭数据库、Redis 连接池 app.logger.Info("Step 4: Closing DB and Redis connection pools...") app.closeResources() app.logger.Info("Graceful shutdown completed successfully. Exiting 0.") os.Exit(0) } func (app *Application) closeResources() { // 关闭数据库与连接池资源 // db.Close() // redisClient.Close() time.Sleep(500 * time.Millisecond) app.logger.Info("DB and Redis connection pools closed successfully") } func main() { logger := slog.New(slog.NewJSONHandler(os.Stdout, nil)) app := NewApplication(logger) app.Run() }关机踩坑与超时保底
做优雅退出的时候,有三个细节容易踩坑:
1. 死等卡死问题
如果某个 HTTP 接口里有死锁、或者调外部 API 没加超时,httpServer.Shutdown(ctx)会一直死等下去,直到触发 K8s 的 30 秒SIGKILL强杀。
- 规则:传给
Shutdown(ctx)的 Context一定要加上超时时间(比如 10~15 秒)。如果到时间还没处理完,直接报错退出,不能无限期等下去。
2. PID 1 进程拿不到信号(Dockerfile 格式写错)
在 Dockerfile 里,如果写成CMD my-service或ENTRYPOINT my-service(Shell 语法),Docker 会默认用/bin/sh -c启动,把它作为 PID 1 进程。而/bin/sh默认不会把SIGTERM信号转发给子进程my-service,导致服务根本接收不到关机信号,每次都是被 30 秒后的SIGKILL强行杀掉。
- 做法:Dockerfile 统一用 Exec 语法格式:
ENTRYPOINT ["/app/my-service"],或者在镜像里加上tini作为 PID 1 进程管理器。
3. 收到信号立马关闭端口
如果收到SIGTERM信号之后,立马就执行httpServer.Shutdown(),因为 K8s 的 Kubelet 节点和 Ingress 网关更新端点列表需要几秒钟的时延,网关这期间依然会把新请求发给正在关机的容器,导致前端收到502 Bad Gateway报错。
- 做法:就像上面代码里写的那样,收到信号后先把 Readiness 探针改成 503,然后
time.Sleep(3s)留出缓冲时间给网关同步,最后再去关 HTTP 端口。
总结
在云原生环境里,写好优雅退出和写好服务启动一样重要。
在 Go 代码里正确监听SIGTERM信号、配置 Readiness 探针置灰和延迟睡眠、用http.Server.Shutdown(ctx)消化完剩余请求,最后把数据库和 Redis 连接池关掉,就能解决发布更新时接口报错的问题,做到真正平滑的服务部署。
参考资料
- Go net/http Server.Shutdown Document
- Kubernetes Pod Termination Lifecycle
- Docker & Cloud Native Graceful Shutdown