news 2026/5/28 12:53:43

Flink SQL 的 JOB 管理语句SHOW / DESCRIBE / STOP(SQL CLI SQL Gateway 实战)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Flink SQL 的 JOB 管理语句SHOW / DESCRIBE / STOP(SQL CLI SQL Gateway 实战)

1. JOB 语句能做什么?

官方定位很明确:

Job statements are used for management of Flink jobs.
(JOB 语句用于 Flink 作业管理。)

也就是说,你不需要跑到 Web UI 或 REST API 才能看作业/停作业,在 SQL CLI/Gateway 里也可以“就地管理”。

2. SQL CLI 实战:三连操作(SHOW → DESCRIBE → STOP)

2.1 SHOW JOBS:列出集群作业

FlinkSQL>SHOWJOBS;+----------------------------------+----------+---------+-------------------------+|job id|job name|status|starttime|+----------------------------------+----------+---------+-------------------------+|228d70913eab60dda85c5e7f78b5782c|myjob|RUNNING|2023-02-11T05:03:51.523|+----------------------------------+----------+---------+-------------------------+

输出一般包含:job id / job name / status / start time

2.2 DESCRIBE JOB:查看某个 job 的信息

FlinkSQL>DESCRIBEJOB'228d70913eab60dda85c5e7f78b5782c';+----------------------------------+----------+---------+-------------------------+|job id|job name|status|starttime|+----------------------------------+----------+---------+-------------------------+|228d70913eab60dda85c5e7f78b5782c|myjob|RUNNING|2023-02-11T05:03:51.523|+----------------------------------+----------+---------+-------------------------+

当你从SHOW JOBS拿到 job_id 后,下一步通常就是DESCRIBE JOB确认目标是不是你要操作的那个。

2.3 STOP JOB:停止作业(带 SAVEPOINT 示例)

先设置 savepoint 目录(也可以由集群配置提供):

FlinkSQL>SET'execution.checkpointing.savepoint-dir'='file:/tmp/';[INFO]Executestatement succeeded.

然后停止作业并触发 savepoint:

FlinkSQL>STOP JOB'228d70913eab60dda85c5e7f78b5782c'WITHSAVEPOINT;+-----------------------------------------+|savepointpath|+-----------------------------------------+|file:/tmp/savepoint-3addd4-0b224d9311e6|+-----------------------------------------+

执行后会返回savepoint path,这通常就是你后续“从 savepoint 恢复”的关键凭证(路径要保存好)。

3. 语法与关键点(官方语义梳理)

3.1 SHOW JOBS

SHOWJOBS

作用:显示 Flink 集群中的作业。
限制:只在 SQL CLI 或 SQL Gateway 可用


3.2 DESCRIBE / DESC JOB

{DESCRIBE|DESC} JOB'<job_id>'

作用:显示指定 job_id 的作业信息。
限制:只在 SQL CLI 或 SQL Gateway 可用


3.3 STOP JOB:停止作业(可选 SAVEPOINT、可选 DRAIN)

STOP JOB'<job_id>'[WITHSAVEPOINT][WITHDRAIN]
WITH SAVEPOINT:停止前做一次 Savepoint
  • 含义:在停止作业前执行一次 savepoint

  • savepoint 目录配置来源:

    • 可在集群配置里设置execution.checkpointing.savepoint-dir
    • 也可通过SET 语句设置(并且SET 的优先级更高

也就是:你在 SQL CLI 里SET了 savepoint-dir,就会覆盖集群默认值。

WITH DRAIN:在最后一次 checkpoint barrier 前把 watermark 提到最大

官方解释是:

Increase the watermark to the maximum value before the last checkpoint barrier. Use it when you want to terminate the job permanently.

直白理解(不展开超出原文的机制细节):

  • WITH DRAIN是一种“更倾向永久终止”的停止方式
  • 它会在停止前把 watermark 推到最大值(在最后一次 checkpoint barrier 之前)

注意:STOP JOB同样只在 SQL CLI 或 SQL Gateway 可用。

4. 最佳实践:生产里怎么用更稳

4.1 停作业前先确认目标:SHOW → DESCRIBE

不要直接 copy job_id 就 stop,建议固定流程:

1)SHOW JOBS;
2)DESCRIBE JOB '<job_id>';(确认名称、状态、启动时间等)

这样能显著减少“停错作业”的概率。

4.2 需要可恢复,优先用 WITH SAVEPOINT

很多生产场景停作业的真实诉求是:可恢复、可迁移、可升级
这时优先:

SET'execution.checkpointing.savepoint-dir'='file:/tmp/';STOP JOB'<job_id>'WITHSAVEPOINT;

并保存返回的savepoint path

4.3 临时变更 savepoint-dir:用 SET 覆盖集群默认

如果你只是临时想把 savepoint 输出到某个位置,不想改集群配置,直接在会话里:

SET'execution.checkpointing.savepoint-dir'='file:/tmp/';

官方明确:SET 的优先级更高

5. 常见坑点提醒

  • 限制坑SHOW JOBS / DESCRIBE JOB / STOP JOB只在SQL CLI / SQL Gateway可用,不要在普通 TableEnvironment 的 Java 程序里指望它们能跑通。
  • 路径坑:开启WITH SAVEPOINT时,别忘了 savepoint-dir 的来源与优先级(SET > cluster config)。
  • 语义坑WITH DRAIN是用于“永久终止”的场景(官方这么建议),不要把它当成普通 stop 的默认选项随手用。

6. 总结

Flink SQL 的 JOB 管理语句很少,但非常实用:

  • SHOW JOBS:列出集群作业

  • DESCRIBE JOB:查看指定作业

  • STOP JOB:停止作业

    • WITH SAVEPOINT:停止前做 savepoint,路径由execution.checkpointing.savepoint-dir决定(SET 优先)
    • WITH DRAIN:提升 watermark 到最大值,用于永久终止场景
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/26 18:21:24

还在手动管理日程?用Open-AutoGLM实现全自动提醒,效率翻倍!

第一章&#xff1a;Open-AutoGLM 日程安排提醒Open-AutoGLM 是一个基于 AutoGLM 架构的开源日程管理与智能提醒系统&#xff0c;旨在通过自然语言理解能力自动解析用户输入的任务内容&#xff0c;并生成结构化日程安排。该系统支持多平台同步、语音输入解析以及基于上下文的智能…

作者头像 李华
网站建设 2026/5/26 5:58:23

Open-AutoGLM参会人员通知(内部首发日程曝光)

第一章&#xff1a;Open-AutoGLM参会人员通知&#xff08;内部首发日程曝光&#xff09;会议核心议程概览 主题演讲&#xff1a;AutoGLM架构设计理念与开源生态构建技术分论坛&#xff1a;模型微调、推理优化与多模态集成实践闭门研讨&#xff1a;企业级部署中的安全合规挑战关…

作者头像 李华
网站建设 2026/5/26 15:00:29

Open-AutoGLM技术深度解析(会议智能整理新范式)

第一章&#xff1a;Open-AutoGLM技术深度解析&#xff08;会议智能整理新范式&#xff09;Open-AutoGLM 是新一代面向会议场景的智能语言理解与生成框架&#xff0c;融合了多模态感知、上下文建模与自动化摘要生成能力&#xff0c;重新定义了会议内容处理的技术边界。该系统基于…

作者头像 李华
网站建设 2026/5/27 15:20:26

别再错过收益波动!构建你的专属Open-AutoGLM收益预警系统(附源码)

第一章&#xff1a;Open-AutoGLM收益预警系统概述Open-AutoGLM收益预警系统是一套基于大语言模型与自动化数据处理技术构建的智能监控平台&#xff0c;专为金融、投资及企业财务场景设计。系统通过实时采集多源异构数据&#xff0c;结合自然语言理解能力&#xff0c;动态识别潜…

作者头像 李华
网站建设 2026/5/28 3:00:39

基于Flink的实时大数据异常检测系统设计与实现

基于Flink的实时大数据异常检测系统设计与实现 关键词&#xff1a;Flink流处理、实时异常检测、状态管理、窗口计算、大数据系统设计 摘要&#xff1a;在金融风控、物联网设备监控、服务器日志分析等场景中&#xff0c;实时发现异常数据是保障系统安全和业务稳定的关键。传统批…

作者头像 李华
网站建设 2026/5/28 3:00:59

CSP月测试卷三

一、选择题&#xff08;共15题&#xff0c;每题4分&#xff0c;满分60分&#xff09;请将正确答案的序号填入答题栏&#xff0c;多选、错选、不选均不得分。1、已知某二叉树的前序序列为ABCDEF&#xff0c;中序序列为BADCFE&#xff0c;则其后序序列为&#xff08;&#xff09;…

作者头像 李华