Apache Kafka：分布式消息系统的核心特性
Apache Kafka 是一个分布式、高吞吐、低延迟的发布-订阅消息系统，专为处理实时数据流而设计。它能够高效地处理海量数据，同时保证消息传递的可靠性和顺序性，是现代大数据架构中的关键组件。
一、核心数据流向
下图清晰地展示了 Kafka 生产者、Broker 集群（包含 Topic 和 Partition）、消费者组之间的数据流向与核心交互关系：
流程说明：
- 生产者将消息发布到指定的 Topic。
- Topic 由多个 Partition 组成，每个 Partition 有 Leader 副本（负责读写）和 Follower 副本（用于数据冗余）。
- Broker 集群中的节点共同承载所有 Partition 的存储与处理。
- 消费者组中的各个 Consumer 以负载均衡的方式从不同 Partition 拉取（pull）消息进行消费，实现并行处理。
- 一个 Partition 在同一时刻只能被同一个消费者组内的一个 Consumer 消费，确保了消息的顺序性和消费进度的精确管理。
二、主要使用场景
- 日志收集：集中收集和存储来自不同服务的日志数据。
- 消息系统：实现微服务之间的解耦与异步通信。
- 流量削峰：在用户请求高峰期，先将请求写入 Kafka，后端服务按自身处理能力进行消费，平滑处理流量洪峰。
- 实时流处理：作为流式数据处理管道的基础组件。
- 数据持久化：提供高可靠性的数据存储，丢数据风险低。
三、核心概念解析
- Broker：Kafka 集群中的服务器节点，负责存储和处理消息。
- Topic：消息的逻辑分类，类似于数据库中的表名。
- Partition：Topic 的物理分片，是 Kafka 实现并行处理的核心。一个 Topic 可以包含多个 Partition，这些 Partition 可以分布在不同的 Broker 上。
- Consumer Group：消费者组，组内的消费者共同分担消费任务。一个 Partition 只能被同一个消费者组内的一个消费者消费，而一个消费者可以消费多个 Partition。
四、Kafka 分区机制的优势
- 扩展性：分区可分布在不同节点，利用多台机器资源，提升集群吞吐量。
- 并行消费：消费者组内可实现负载均衡，多个消费者并行处理数据。
- 顺序性保证：只能保证单个 Partition 内的消息有序，不能保证整个 Topic 全部有序。
五、Kafka 消息不丢失保障机制
1. 生产者端配置
1.1 确认机制（acks）
acks=all或acks=-1：要求 Kafka 的 Leader 分区副本必须等待所有在 ISR 列表中的 Follower 副本都成功写入消息后，才向生产者返回成功确认。acks=0：发送即忘，不等待任何确认，性能最高但不可靠，极易丢失消息。acks=1：只有 Leader 写入成功就返回确认，如果 Leader 在消息同步给 Follower 之前宕机，消息会丢失。
1.2 开启重试机制（retries > 0）
- 当网络抖动、Leader 切换等可恢复的异常发生时，生产者会自动重新发送消息。
1.3 开启幂等性（enable.idempotence=true）
- Kafka 会为每个生产者分配一个唯一的 ID（PID）和序列号，若生产者因重试而发送了重复消息，Broker 也能识别并去重，确保消息在单个分区内恰好一次写入。
2. 服务端配置
- 配置合理的副本数（建议 ≥ 3）。
- 设置最小同步副本数（建议 ≥ 2）。
- 禁止非 ISR 副本选举。
3. 消费者端配置
- 关闭自动提交 offset，采用手动提交 offset。
- 实现业务幂等性：由于手动提交 offset 可能导致重复消费（例如：处理成功但提交失败），消费者业务逻辑需要实现幂等性，即一条消息被处理多次产生的结果与处理一次相同。常见方法包括：
- 数据库唯一键约束
- Redis 记录已处理消息
分区决定吞吐量，副本决定高可用
