Kafka Topic与Partition的原理剖析和使用管理

Kafka可以将主题划分为多个分区，根据分区规则会把不同的消息存储在不同的分区上，只要分区规则设计的合理，那么所有的消息将均匀地分布在不同的分区上，这样就实现了负载均衡和 消息的水平扩展。另外，多个订阅者可以从一个或多个分区中同时消费数据，以实现海量数据并发处理的能力。 消息以追加的方式添加到指定的分区中，多个分区顺序写磁盘的总效率要高于随机写内存，这也是Kafka高吞吐率的重要原因之一（NIO）！