news 2026/6/23 2:58:23

第4节:我应该选择哪种Kafka?

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
第4节:我应该选择哪种Kafka?

Kafka不再是一个单纯的消息引擎系统,而是能够实现精确一次(Exactly-once)处理语义的实时流处理平台。

  1. Apache Kafka

Apache Kafka是最“正宗”的Kafka,也应该是你最熟悉的发行版了。自Kafka开源伊始,它便在Apache基金会孵化并最终毕业成为顶级项目,它也被称为社区版Kafka。咱们专栏就是以这个版本的Kafka作为模板来学习的。更重要的是,它是后面其他所有发行版的基础。也就是说,后面提到的发行版要么是原封不动地继承了Apache Kafka,要么是在此之上扩展了新功能,总之Apache Kafka是我们学习和使用Kafka的基础。

  1. Confluent Kafka

我先说说Confluent公司吧。2014年,Kafka的3个创始人Jay Kreps、Naha Narkhede和饶军离开LinkedIn创办了Confluent公司,专注于提供基于Kafka的企业级流处理解决方案。2019年1月,Confluent公司成功融资D轮1.25亿美元,估值也到了25亿美元,足见资本市场的青睐。

这里说点题外话, 饶军是我们中国人,清华大学毕业的大神级人物。我们已经看到越来越多的Apache顶级项目创始人中出现了中国人的身影,另一个例子就是Apache Pulsar,它是一个以打败Kafka为目标的新一代消息引擎系统。至于在开源社区中活跃的国人更是数不胜数,这种现象实在令人振奋。

还说回Confluent公司,它主要从事商业化Kafka工具开发,并在此基础上发布了Confluent Kafka。Confluent Kafka提供了一些Apache Kafka没有的高级特性,比如跨数据中心备份、Schema注册中心以及集群监控工具等。

  1. Cloudera/Hortonworks Kafka

Cloudera提供的CDH和Hortonworks提供的HDP是非常著名的大数据平台,里面集成了目前主流的大数据框架,能够帮助用户实现从分布式存储、集群调度、流处理到机器学习、实时数据库等全方位的数据处理。我知道很多创业公司在搭建数据平台时首选就是这两个产品。不管是CDH还是HDP里面都集成了Apache Kafka,因此我把这两款产品中的Kafka称为CDH Kafka和HDP Kafka。

当然在2018年10月两家公司宣布合并,共同打造世界领先的数据平台,也许以后CDH和HDP也会合并成一款产品,但能肯定的是Apache Kafka依然会包含其中,并作为新数据平台的一部分对外提供服务。

最后我们来复习一下今天的内容:

  • Apache Kafka,也称社区版Kafka。优势在于迭代速度快,社区响应度高,使用它可以让你有更高的把控度;缺陷在于仅提供基础核心组件,缺失一些高级的特性。

  • Confluent Kafka,Confluent公司提供的Kafka。优势在于集成了很多高级特性且由Kafka原班人马打造,质量上有保证;缺陷在于相关文档资料不全,普及率较低,没有太多可供参考的范例。

  • CDH/HDP Kafka,大数据云公司提供的Kafka,内嵌Apache Kafka。优势在于操作简单,节省运维成本;缺陷在于把控度低,演进速度较慢。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/23 2:55:14

ClaudeCode Agent核心循环:四层防御式执行架构解析

1. 这不是“写个循环”那么简单:ClaudeCode Agent核心循环的真实定位很多人看到“Agent核心循环”这个词,第一反应是:“不就是while True: think() → act() → observe() → repeat()?教科书上都画过流程图。”我最初也这么想——…

作者头像 李华
网站建设 2026/6/23 2:37:16

VS Code核心原理:Electron架构、TS智能感知与跨平台一致性

1. 它不是“另一个编辑器”,而是现代开发工作流的中枢神经Visual Studio Code——这个在开发者日常对话里常被简称为“VS Code”的工具,早已超越了传统文本编辑器的定义边界。它不靠庞大臃肿的IDE式功能堆砌取胜,而是以极轻量的Electron外壳为…

作者头像 李华
网站建设 2026/6/23 2:32:24

Vue2 编辑返回保留分页页码解决方案

Vue2 编辑返回保留分页页码解决方案 问题根源 this.$router.back() 只是单纯回退历史记录,列表页分页、搜索筛选、页码是存在组件 data 里的,路由回退后组件会重新加载,丢失之前分页状态。 四种主流方案(按推荐程度排序&#xff0…

作者头像 李华
网站建设 2026/6/23 2:17:30

2026年光谱照度计技术解析与实战选型指南

在照明品质、光生物安全、植物工厂和显示技术快速迭代的2026年,一台精准可靠的光谱照度计已成为实验室和产线不可或缺的检测工具。无论是在LED照明产品的色温与显色指数管控,还是植物工厂中精准补光的PAR测量,光谱照度计都承担着“光之标尺”…

作者头像 李华
网站建设 2026/6/23 2:17:19

ACE-Step UI终极指南:免费开源AI音乐生成神器

ACE-Step UI终极指南:免费开源AI音乐生成神器 【免费下载链接】ace-step-ui 🎵 The Ultimate Open Source Suno Alternative - Professional UI for ACE-Step 1.5 AI Music Generation. Free, local, unlimited. Stop paying for Suno! 项目地址: http…

作者头像 李华