1、银行系统中的消息分发利器Kafka（一）银行系统中的消息分发利器Kafka（二）Partition 上次我们说到，Kafka可以存储数据，而且数据按照Topic进行分类。这些存储的数据可能会很大，这可能会给Kafka的Broker带来很大的存储压力。
2、概述在技术选型和面试中，理解这四种消息队列的特性至关重要。ActiveMQ x 的维护状况相对较少，不适用于大规模吞吐场景，因此我们主要关注Kafka、RabbitMQ和RocketMQ这三者。 主要分析1 KafkaKafka，由LinkedIn开发，现为Apache项目，是大数据处理中的重要组件。
3、KafkaProducer接收到消息后首先对其进行序列化，然后结合本地缓存的元数据信息一起发送给partitioner去确定目标分区，最后追加写入到内存中的消息缓冲池（accumulator）。此时KafkaProducer#send方法成功返回。
4、业界有很多著名的消息中间件，比如ZeroMQ，rabbitMQ，kafka等。 消息队列本身也跟缓存系统一样，可以用很少的资源支撑很高的并发请求，用它来支撑部分允许异步化的高并发写入是很合适的，比使用数据库直接支撑那部分高并发请求要减少很多的机器使用量。
Kafka和Netty等系统利用了零拷贝技术，例如Kafka通过Java NIO的transferTo方法，直接操作底层，减少用户态与内核态切换，以及数据拷贝，显著提升了I/O吞吐量。根据性能测试，零拷贝技术在相同硬件条件下，可使文件传输时间缩短约65%，从而显著提高文件传输性能。
没错，kafka就是速度无敌，本文将探究kafka无敌性能背后的秘密。 首先要有个概念，kafka高性能的背后，是多方面协同后、最终的结果，kafka从宏观架构、分布式partition存储、ISR数据同步、以及“无孔不入”的高效利用磁盘/操作系统特性，这些多方面的协同，是kafka成为性能之王的必然结果。
Kafka 框架的数据吞吐量高的原因有以下几点： 分布式架构：Kafka采用分布式架构，可以将数据分散到多个节点上进行处理和存储，从而提高系统的吞吐量。 零拷贝：Kafka使用零拷贝技术，可以避免数据在内存和网络之间的多次拷贝，从而减少CPU的开销，提高系统的吞吐量。
Kafka使用零拷贝（Zero-Copy）技术来提供它的性能，所谓的零拷贝是指将数据直接从磁盘文件复制到网卡设备中，而不需要经由应用程序之手，减少了内核和用户模式之间的上下文切换，零拷贝技术通过DMA技术实现。
Kafka 和 Nginx 都有实现零拷贝技术，这将大大提高文件传输的性能。拷贝技术，本质上讲就是通过减少非必要的内存拷贝以及上下文切换，来提高文件在通道间复制速度的一种技术。
消息队列的数据既是离线数仓的原始数据，也是实时计算的原始数据，这样可以保证实时和离线的原始数据是统一的。 计算层 Flink 有了源数据，在 计算层 经过Flink实时计算引擎做一些加工处理，然后落地到存储层中不同存储介质当中。
Flink 在蚂蚁实时特征平台中的深度应用主要体现在构建高性能数据处理框架，满足AI场景对特征实时计算的需求，以及提供高效特征 Serving 和仿真回溯服务。蚂蚁特征平台的目标是数据自给自足，让算法团队无需数据工程团队支持，实现特征研发到上线的全流程自动化。
SmartNews的数据湖架构师戚清雨在Flink Forward Asia 2022大会上分享了他们构建的高效数据湖实践，这一创新性策略分为五个关键环节：数据湖构建、Iceberg v1的挑战与解决方案、实时更新优化、Iceberg v2的革命性突破，以及未来展望。
实时数据的接入其实在底层架构是一样的，就是从kafka那边开始不一样，实时用flink的UDTF进行解析，而离线是定时（目前是小时级）用camus拉到HDFS，然后定时load HDFS的数据到hive表里面去，这样来实现离线数据的接入。实时数据的接入是用flink解析kafka的数据，然后在次写入kafka当中去。
Kafka的原理：基于发布订阅模式的分布式流处理平台。Kafka的核心原理主要基于以下几个方面： 发布订阅模式：Kafka采用发布订阅模式，支持一对多的方式进行数据传输。生产者发布消息到主题，而一个或多个消费者可以订阅这些主题，从其中获取数据进行处理。这种模式下，Kafka能够高效地处理大量数据的传输和分发。
总之，Kafka的工作原理是将消息存储在分区中，同时支持多个消费者组订阅同一个topic，以实现高吞吐量的消息传递。
Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流数据（ActivityStream）和运营数据处理管道（Pipeline）的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。Kafka的副本机制是多个服务端节点对其他节点的主题分区的日志进行复制。