kafka标签_AtomGit开源社区

kafka

第4节：我应该选择哪种Kafka？

本文介绍了Apache Kafka及其主要发行版本的特点：1. Apache Kafka是开源社区版，作为其他发行版的基础，迭代快但功能较为基础；2. Confluent Kafka由原开发团队创立，提供企业级扩展功能如跨数据中心备份，但文档资源较少；3. CDH/HDP Kafka是大数据平台集成版本，运维简单但更新较慢。文章同时指出中国开发者在开源社区的突出贡献，并强调不同版本在功能完备性、运

 guslegend
2026-06-22 13:21:16

 264

 4

#kafka
Faust：把 Kafka Streams 搬到 Python 里

Faust 是 Robinhood 开源的 Python 流处理库（6.8k Star），将 Kafka Streams 功能引入 Python 生态。它无需 DSL，基于 async/await 语法，支持静态类型检查，通过装饰器定义流处理逻辑。Faust 提供分布式 K/V 存储和状态管理，支持窗口聚合与故障恢复，单核每秒可处理数万事件，天然支持水平扩展。与主流 Python 库（如 NumP

taiyanglogic632
2026-06-16 21:23:52

 295

 8

#kafka #python #分布式 +1
【Kafka源码解读和使用指南】第67篇：Kafka请求处理机制深度解析——生产请求与获取请求的完整链路

摘要 Kafka的高吞吐性能源于其精巧的请求处理链路设计。本文深入解析Kafka Broker端核心请求处理机制：请求处理架构：采用Reactor模型，由Acceptor线程、N个Processor线程（网络IO）和M个Handler线程（业务处理）组成通过RequestChannel实现请求队列的线程间传递 ProduceRequest处理流程：请求校验（权限/格式/大小等）追加到Le

xyghehehehe
2026-06-14 08:52:06

 117

#kafka #linq #数据库 +1
【Kafka源码解读和使用指南】第58篇：Kafka权限控制ACL源码解析——谁能读，谁能写，谁说了算

摘要本文深入解析Kafka ACL权限控制机制，从权限模型五要素（Principal/PermissionType/Operation/Host/Resource）到核心实现类SimpleAclAuthorizer。ACL规则存储在ZooKeeper的/kafka-acl路径下，内存中通过aclCache缓存加速访问，变更通过ZkNodeChangeNotificationListener同步。

xyghehehehe
2026-06-13 09:46:06

 52

#kafka #分布式 #集群
【Kafka源码解读和使用指南】第57篇：Kafka身份认证源码解析——SASL/PLAIN认证是怎么实现的

摘要 Kafka SASL/PLAIN认证实现深度解析：从JAAS配置到挑战应答全流程。文章首先区分身份认证与权限控制的核心差异，随后通过服务端/客户端配置示例展示SASL/PLAIN实战部署。源码层面重点剖析三个核心组件：1) PlainLoginModule如何通过JAAS架构加载凭证；2) SaslChannelBuilder如何构建安全通信管道；3) SaslClientAuthentic

xyghehehehe
2026-06-13 09:43:52

 44

#kafka #分布式 #架构
大厂Java面试实战：JVM、Spring Boot、Redis、Kafka、Spring Cloud、Spring AI与RAG场景问答解析

某互联网大厂正在招聘一名 Java 后端开发工程师，业务方向横跨。会议室里，面试官表情严肃，坐在他对面的，是简历写得花里胡哨、说话有点飘、时不时还想抖机灵的程序员——。面试官翻开简历，推了推眼镜：“谢飞机是吧？今天我们不聊虚的。我们按真实业务场景来，三轮面试，看看你到底是会 Java，还是只会在简历上开飞机。谢飞机挺直腰板：“面试官您放心，我这个人最大的优点就是基础扎实，缺点就是扎得不够深。面试官

 PipChief
2026-06-12 20:12:37

 169

 4

#java #jvm #redis +1
Faust：把 Kafka Streams 搬到 Python 里

Faust 是一个由 Robinhood 开源的 Python 流处理库，它将 Kafka Streams 的功能引入 Python 生态系统，无需专用 DSL，仅需 Python 基础即可上手。Faust 支持异步处理、静态类型检查，并内置分布式键值存储，通过 Kafka 实现状态恢复与水平扩展。单核每秒可处理数万事件，与主流 Python 库（如 NumPy、Django）深度兼容。虽然官方已

 nianhuaweb463
2026-06-12 19:16:45

 174

 2

#kafka #python #分布式 +1
kafka-python：Python 生态中最成熟的 Kafka 客户端

kafka-python是Python生态中最成熟的Kafka客户端，自2014年维护至今，GitHub星标近6000，PyPI月下载量达千万级。它遵循Java官方客户端API风格，同时融入Python特性如迭代器和上下文管理器。主要组件KafkaConsumer支持消费者组协议、事务性topic等高级功能；KafkaProducer采用异步发送模型，内置完整事务支持和多种压缩算法。项目明确区分线

 functionflux
2026-06-12 08:21:18

 314

 8

#kafka #python #分布式 +1
DeepSeek 行业应用 —— 企业、教育、科研、开发者生态

DeepSeek 凭借强大的技术能力、低成本、开源免费、安全可控等优势，已深度融入企业、教育、科研、媒体、医疗、金融、政务等各行各业，降本增效、提升效率、创新服务模式，推动数字经济高质量发展。未来，随着多模态能力持续增强、行业模型深度优化、部署成本进一步降低，DeepSeek 将进一步渗透到更多细分行业、更多场景，让 AI 真正普惠大众、服务社会，成为数字时代的核心基础设施。

贫民窟的勇敢爷们
2026-06-11 21:30:25

 216

 8

#kafka
【Kafka源码解读和使用指南】第40篇：Kafka网络层源码解析（三）——RequestChannel请求的“传送带“

摘要本文深入解析Kafka网络层的核心组件RequestChannel，将其类比为连接网络层和API层的"传送带"。文章从三个维度展开分析：数据结构设计：采用1个共享请求队列（有界）+N个专属响应队列（无界）的架构，平衡了并发处理与资源控制需求；请求响应模型：详细剖析Request和Response对象的生命周期及多种响应类型（Send/NoOp/Close）；关键机制：包括背压控制（通过

 xyghehehehe
2026-06-11 19:56:41

 269

 6

#kafka #数据库 #分布式 +1
【Kafka源码解读和使用指南】第38篇：Kafka网络层源码解析（一）——Reactor模式的极致实现

摘要 Kafka网络层采用Reactor模式实现高性能网络通信，其核心设计包括：主从Reactor多线程模型：单Acceptor线程接收连接，多个Processor线程处理I/O，与标准Reactor模式相比增加了RequestChannel解耦网络与业务层自主实现NIO而非使用Netty，主要考虑内存控制、批量操作优化和协议定制需求 SocketServer作为核心组件，通过Acceptor

xyghehehehe
2026-06-11 19:51:29

 308

 5

#kafka #分布式 #集群
消息队列个人学习笔记

1.最重要的一个，默认publisher(task) 未报错即代表消息已经推送到了消息队列中，但是实际上神秘小故障有可能导致实际上消息队列并没有成功收到(具体故障可以问AI)，因此我们需要使用消息队列自带的Publisher Confirm机制，来确保消息队列确实收到了消息，再修改DB状态。2.如果发送消息成功，但是由于神秘小故障，导致进程在修改outbox表的状态前就挂掉了，会导致下次publi

bllovepigpig
2026-05-20 20:09:43

 381

 11

#学习 #数据库 #kafka +1
【Kafka源码解读和使用指南】第34篇：Kafka消费者配置全解析——提升消费性能的20个关键参数

Kafka消费者核心参数调优指南本文深度解析Kafka消费者20个关键配置参数，帮助开发者优化消费性能。主要内容包括：参数全景图：将核心参数分为拉取行为、消费控制、心跳会话、Offset管理和网络序列化五大类拉取行为参数： fetch.min.bytes：控制最小拉取数据量（默认1字节） fetch.max.wait.ms：设置最大等待时间（默认500ms） max.partition.fe

xyghehehehe
2026-06-10 07:35:34

 192

 4

#kafka #linq #分布式 +1
《Java 100 天进阶之路》第95篇：消息队列基础（RocketMQ/Kafka）（2026版）

消息队列基础（RocketMQ/Kafka）（2026版）一文搞懂消息队列三大作用（解耦、异步、削峰）、两大模型（点对点/发布订阅）。深度解析 RocketMQ（NameServer/Broker/Tag）与 Kafka（Partition/Offset/ISR/KRaft）核心概念，提供 Spring Boot 生产级代码（异步发送 + 本地消息表补偿、Redis 幂等去重）。附避坑清单与面试高

 折哥|智能物流与Java实战
2026-06-09 08:30:00

 678

 15

#java-rocketmq #java #rocketmq +3
改简历比写代码还费时间？试试这款开源AI简历工具Magic Resume

本文介绍了开源AI简历工具Magic Resume，它能解决传统简历制作中排版耗时、修改繁琐等问题。该工具提供实时预览、主题切换、AI纠错和一键导出PDF等功能，尤其适合程序员和设计师。文章详细演示了Windows系统下的部署步骤，包括克隆仓库、安装依赖和启动服务。此外，还推荐使用cpolar内网穿透实现远程访问，方便随时随地编辑简历。Magic Resume作为开源项目，既保障数据安全又提供高度

 libin9iOak~
2026-06-08 16:03:51

 1.2w

 5

#服务器 #prometheus #运维 +4
亲身踩坑：qData 功能清单写着支持 Kafka，但数据源列表里找不到？

明明 qData 官方文档、功能清单里白纸黑字写着支持 Kafka 数据源，结果你打开「数据源管理」页面，MySQL、Oracle、PG 都好好的，就是没有 Kafka 这个类型。qData 的功能清单写「支持 Kafka 接入」，意思是：平台内核、Spark 流式任务、数据开发模块，都能消费Kafka。不绕弯子，直接说结论：不是 BUG，不是部署失败，也不是阉割，是 qData 的数据源分类机

 bjf8155
2026-06-08 09:59:11

 185

 7

#kafka #分布式
【Kafka源码解读和使用指南】第15篇：Kafka集群元数据源码解析——生产者如何“认识“整个集群

4.2 Metadata更新触发条件 // 在KafkaProducer.send()方法中触发检查 public Future send(ProducerRecord record) { // 1. 检查Topic是否已知 if (!metadata.containsTopic(record.topic())) { metadata.requestUpdate(); // 标记需要更新 } //

xyghehehehe
2026-06-08 09:25:16

 212

 5

#kafka #linq #分布式 +1
【知识获取与分享社区项目 | 项目日记第 24 天】终章总结：从认证、发布、计数、Feed、搜索到 RAG：完整复盘一个知识社区后端系统

知识获取与分享社区是一个知识内容社区后端项目，整体可以理解为一个面向知识创作者的内容社区。注册登录↓发布 Markdown / 图文知文↓↓通过 Feed、搜索、详情页消费内容↓使用 AI 摘要和单篇知文 RAG 问答提升阅读效率用户身份如何安全管理；大文件和 Markdown 正文如何发布；Feed 流如何保证读取性能；搜索如何做到相关性、排序和深分页稳定；AI 问答如何围绕单篇知文准确回答；派

 2401_88139521
2026-06-06 21:05:33

 899

 19

#java #elasticsearch #spring boot +3
03_CSDN_GEO技术实现

标签：GEO、JSON-LD、Schema、AI爬虫、前端优化GEO（生成式引擎优化）的核心不是内容和外链，而是。本文聚焦技术实现，适合前端开发者、技术负责人阅读。

Nister_GEO
2026-06-06 18:13:29

 358

 8

#python #涛思数据 #kafka
CSDN AI数字营销是什么怎么用

受众是程序员、研发、技术决策者；解决博主 / 企业：不会选题、写文慢、发文没流量、私域引流违规、投放无数据的痛点。统一查看：站内阅读、各平台曝光、卡片点击、引流转化率、用户画像，用数据优化内容方向。CSDN 发文后，一键同步：知乎、掘金、头条、微信公众号等平台，不用重复排版发文。，替代私自贴二维码（避免文章限流删文），安全导流私域。区别于通用数字营销，

高阳-seo
2026-06-05 17:46:53

 186

 5

#kafka
Spring Kafka 自定义 containerFactory 导致 Acknowledgment 注入失败问题排查

它不会自动读取。

小楠_cxy
2026-06-05 17:39:18

 345

 6

#spring #kafka
【知识获取与分享社区项目 | 项目日记第 22 天】项目梳理上篇：从 0 到 1 复盘一个知识社区后端：认证、发布、Feed、搜索与 AI 问答

AI 部分分成两个能力。用户输入正文↓调用 DeepSeek↓生成不超过 50 字中文摘要↓服务端做格式清洗和截断第二个是 RAG 问答。用户围绕单篇知文提问↓检查该知文是否已索引↓从 OSS 拉取 Markdown↓按标题和长度切片↓写入 Elasticsearch 向量库↓向量召回相关片段↓按 postId 过滤当前知文上下文↓构造 Prompt↓DeepSeek 流式生成↓SSE 返回前端这

 2401_88139521
2026-06-04 16:31:11

 761

 19

#java #spring boot #kafka +3
Hadoop（CDH6、CDP7）在Qwen3.7大模型训练中的作用，（含部署、运行操作步骤）

在训练大模型前，首先需要搭建一个高可用的 Hadoop 集群（包含 NameNode、DataNode 等），确保有充足的存储空间（HDFS）和计算能力（MapReduce/YARN）。清洗完毕的高质量语料会被保存为 Parquet 或 JSONL 格式，并存入 HDFS 的特定目录下（例如 /ai/train/qwen3_data/），等待被训练脚本读取。原始数据（如网页文本、日志）非常杂乱，需

 yumgpkpm
2026-05-27 16:09:55

 521

 7

#hadoop #大数据 #分布式 +4
kafka结合AI模型

本文介绍了基于AI的Nginx日志监控系统的部署方案。系统分为三部分：1)在192.168.227.161机器部署Ollama引擎容器并加载Qwen模型；2)在156业务节点配置监控任务，包括静态阈值检查和动态趋势分析，并集成AI诊断和微信告警功能；3)启动Celery任务调度服务。系统采用本地私有化部署方式，使用阿里开源的Qwen模型，具有中文理解能力强、运维分析专业、资源消耗低等优势，可实现高

 光之国的猫.
2026-05-26 21:57:21

 321

 3

#kafka #人工智能 #分布式
书匠策AI到底能帮你把毕业论文“省“到什么程度？一个科普博主的亲测报告

好工具不是替你写论文，而是帮你跨过那些"卡住你"的坎。书匠策AI帮你跨过选题的坎、开题的坎、大纲的坎、格式的坎。剩下的思考、修改、答辩准备，还得你自己来。*，微信搜"书匠策AI"。这份拆解报告，希望能帮到正在和论文"死磕"的你。咱们下期见！

书匠策AI学术
2026-05-24 11:55:58

 31

#人工智能 #eureka #kafka +3
Kafka知识点汇总

Kafka 作为 Apache 基金会的顶级项目，由 LinkedIn 于 2011 年开源，已从最初的消息队列演化为一个成熟的分布式事件流平台——既能做消息缓冲，也能做日志采集、实时数据管道和流处理。需要根据业务逻辑（如用户ID、地区、时间等）自行决定分区号。可以实现 Partitioner 接口，覆盖 partition() 方法。@Override// 自定义逻辑：例如将消息全部发到分区 0

Lyyaoo.
2026-05-22 17:44:42

 558

 13

#kafka #分布式
【知识获取与分享社区项目 | 项目日记第 9 天】一主多从模型：follower 伪从、列表缓存与用户计数异步维护

第 1 篇：关注/取关如何写 following 主表和 outbox 表第 2 篇：Canal 如何订阅 outbox binlog 并投递 Kafka这一篇继续看事件真正被消费之后，系统如何更新多个“伪从”。following 主表：权威事实follower 表：粉丝视角伪从Redis ZSet：关注/粉丝列表缓存伪从Redis SDS：用户计数伪从Caffeine：大 V 用户 Top 列表

 2401_88139521
2026-05-22 17:27:41

 592

 16

#缓存 #spring boot #redis +3
kafka（启动集群，集成spring，自定义配置）

Apache Kafka 是一个开源的分布式流处理平台，最初由 LinkedIn 开发，后来成为 Apache 项目。Kafka 主要用于高吞吐量、低延迟的实时数据流处理，常用于日志收集、实时分析、消息传递等场景。

小程xy
2024-11-11 09:08:18

 3423

 71

#kafka #spring #分布式
AI 评标系统双场景技术实现：标书合规检测与围标串标智能识别

本文分享了AI评标系统的双场景技术实现，包括投标方标书合规检测和评标方围标串标识别。系统采用四层微服务架构，整合OCR、NLP、知识图谱等技术，实现高效准确的检测功能。标书合规检测通过三级机制（关键词匹配、语义相似度、大模型校验）确保96.3%的准确率；围标识别则结合文本相似度、行为特征和关系网络分析，准确率达92.5%。文章详细介绍了核心技术选型、算法实现及工程化落地经验，包括高并发处理、模型优

 jiangnan920
2026-05-18 21:25:31

 949

 11

#深度优先 #rabbitmq #kafka +1
Kafka

Kafka是一个分布式流处理平台，最初由LinkedIn开发，用于高效处理海量日志数据。它具有高吞吐、持久化存储、分布式架构等优势，支持消息队列、日志采集、实时数据处理等多种应用场景。Kafka采用生产者-消费者模型，通过Topic组织数据，分区存储在Broker集群中，确保高可用性和扩展性。其发展历程从2010年至今，逐步增强事务支持、Exactly Once语义，并实现无Zookeeper的K

百里自来卷
2025-04-06 19:47:11

 1703

 17

#kafka #分布式
岩屑识别项目的一些Q&A

前端 Vue 使用上传图片和业务参数；Nginx 做上传大小和超时限制；Spring Boot 接收 MultipartFile，但不调用getBytes()，不转 Base64，不解码图片；Spring Boot 通过 InputStream 把图片流式写入 MinIO；MySQL 保存文件元数据和任务状态；Kafka 只传 taskId、fileId、bucketName、objectKey、

qq_53053053
2026-05-19 16:11:48

 586

 12

#spring boot #kafka
Java-220 RocketMQ 核心原理与最佳实践：消息发送、消费、存储详解

本文深入剖析 Apache RocketMQ 核心原理与生产最佳实践，涵盖消息发送（同步/异步/OneWay）、消息消费（Push/Pull、集群/广播、并行度调优）、消息存储（CommitLog、ConsumeQueue、IndexFile）三大核心维度。详解 SendStatus 四种状态（FLUSH_DISK_TIMEOUT、FLUSH_SLAVE_TIMEOUT、SLAVE_NOT_AVA

武子康
2026-05-19 11:51:21

 417

 9

#rocketmq #java-rocketmq #java +3
消息队列深度对比：Kafka vs RabbitMQ vs RocketMQ

消息队列（Message Queue，MQ）是一种异步通信机制，用于在分布式系统中实现应用解耦、异步处理、流量削峰等目标。生产者将消息发送到队列，消费者从队列中读取消息进行处理。特性RabbitMQ开发语言Scala/JavaErlangJava最初开发者LinkedInAlibaba开源时间201120072012最新版本3.7.x3.13.x5.2.x协议支持自定义协议自定义协议、gRPC定位

 monkeyMrHou
2026-05-18 09:31:08

 689

 14

#kafka #rabbitmq #rocketmq
Kafka（）

特点应用场景模型两种模式kafka集群必须有zookeepertopic(主题）：逻辑结构，类似mysql表，我们要在一个主题上存取数据RabbitMQ 更适合业务异步解耦RocketMQ 更适合金融事务场景Kafka 更适合高吞吐日志流与实时计算消费者组：将若干个消费者组合在一起，共同消费kafka中topic的数据消费者组中活跃消费者数量小于等于topic分区数量一个topic的一个分区只能由

 weixin_74390886
2026-05-15 19:19:30

 402

 3

#kafka #分布式
rabbitmq和kafka之间的详细的区别

RabbitMQ 与 Kafka 核心区别在于：RabbitMQ 是传统消息队列，侧重可靠投递与复杂路由；Kafka 是分布式流平台，侧重高吞吐、持久化与流处理。下面从核心定位、架构、性能、可靠性、路由、消息模型、适用场景等维度详细对比。

小楼昨夜又东风126
2026-05-13 16:09:18

 308

 3

#rabbitmq #kafka #分布式
# synchronized、监视器锁、Mark Word、轻量级锁与重量级锁：一次系统梳理

因为是重量级路径的核心结构。当锁发生竞争、需要阻塞线程、需要唤醒线程，或者涉及wait()notify()这些复杂语义时，轻量级路径已经不够用了。这时锁会膨胀为重量级锁，底层就会使用。典型的owner 当前持有锁的线程recursions 重入次数EntryList 竞争锁失败后等待进入同步区的线程集合cxq 竞争队列，具体实现和版本有关WaitSet 调用 wait() 后进入等待状态的线程集合

 huaiixinsi
2026-05-13 08:00:00

 416

 15

#开发语言 #java #kafka +3
书匠策AI实测：我用它把课程论文的“死亡周期“从7天压缩到了70分钟

选题废物、框架白痴——智能选题+大纲帮你兜底格式强迫症、调格式调到想哭——免费套模板时间紧张、任务堆成山——效率直接起飞课程论文、读书报告、小论文——全部适配书匠策AI别再对着空白文档发呆了。先让书匠策AI帮你把骨架搭好，你只管往里填肉就行。下期咱们聊聊怎么用AI三分钟搞定文献综述，关注我，论文路上不掉队！🚀。

书匠策AI学术
2026-05-12 12:36:56

 30

#人工智能 #深度学习 #microsoft +4
【渐进式披露】：从 UI 设计原则到 AI Agent 的上下文工程核心策略

本文探讨了渐进式披露（Progressive Disclosure）从UI设计原则到AI Agent核心策略的演变。这一诞生于1980年代的交互设计理念，通过分层展示信息来降低认知负荷，在AI时代被重新发现为解决LLM注意力稀释问题的关键策略。文章分析了渐进式披露的理论基础（认知负荷理论）、在AI领域的范式迁移（保持信噪比），以及对抗Context Rot（上下文信息过载）的四种实践模式：提示词分

 拾-光
2026-05-11 16:03:08

 1249

 37

#ui #人工智能 #kafka +4
ELK+Kafka实战

1）概述Logstash 是一个具有实时管道功能的开源数据收集引擎。Logstash 可以动态统一来自不同来源的数据，并将数据规范化到您选择的目标中。为了多样化的高级下游分析和可视化用例，清理和使所有数据平等化。虽然 Logstash 最初在日志收集方面推动了创新，但它的能力远远超出了该用例。任何类型的事件都可以通过广泛的输入、过滤和输出插件进行增强和转换，许多本地编解码器进一步简化了摄入过程。L

卧室小白
2026-05-09 20:51:43

 485

 5

#elk #kafka #分布式
你的 Kafka 该怎么办？一份选型决策指南 | 流湖之变（三）

回到企业决策——存量分层、新项目决策树、AI 能力作为选型维度、团队组织因素、成本真相。

科里 Coralyx
2026-05-09 17:09:33

 378

 13

#人工智能 #kafka #语言模型
Kafka调优与运维

9.2 Broker 端调优9.3 OS 级调优9.4 JVM 调优（含 G1 vs ZGC vs Shenandoah 选型）9.4.1 为什么 Kafka Broker 默认推 G1，而不是 ZGC？（高频追问）核心结论一句话：具体拆解：1）Kafka Broker 的内存模型决定了堆很小Broker 堆里到底放了什么？2）ZGC 的优势场景与 Kafka 不匹配3）ZGC 在小堆上的反向代价

 沪漂一族
2026-05-08 20:49:11

 433

 11

#java #kafka
Kafka 从原理到实践：分区副本机制、生产消费可靠性、以及如何避开那些年踩过的坑

本文介绍了Kafka的核心原理与实战部署指南，从JDK环境配置到Kafka集群搭建，详细讲解了ZooKeeper和Kafka的配置、启动流程，并演示了生产者-消费者模型的实现。文章包含完整的安装步骤、配置文件示例和常用命令，特别针对远程调试场景提出了cpolar穿透解决方案，解决了内网环境下的开发测试难题。通过图文并茂的方式，帮助开发者快速掌握Kafka的基本操作和典型应用场景，为构建稳定高效的消

 java学习笔记本
2026-05-07 15:39:11

 1w

 31

#kafka #分布式
知光项目学习ing

saveCode 会用 scene + identifier 生成唯一 key，格式是 auth:code:{scene}:{identifier}，然后用 Redis Hash 存储 code、maxAttempts、attempts，并设置验证码 TTL。JWT 这里不是“加密/解密”，而是“签名/验签”。register：校验是否同意协议，校验验证码，创建用户，若传入密码则进行密码策略校验和

 木也会迂腐
2026-05-03 17:01:34

 493

 15

#java #kafka
【Kafka核心】架构模型：Producer、Broker、Consumer、Consumer Group、Topic、Partition、Replica

本文系统解析Kafka 3.x+核心架构，涵盖Producer、Broker、Consumer、Group、Topic、Partition、Replica七大实体，深入KRaft新架构、ISR机制、零拷贝、幂等性、Exactly-Once等关键技术，构建从设计哲学到落地实践的完整知识闭环。

小江的记录本
2026-05-02 08:00:00

 645

 9

#kafka #架构 #分布式 +4
消息队列（MQ）技术全景科普：从选型到AI+未来

消息队列（MQ）是分布式系统的核心组件，主流产品各具特色：RabbitMQ擅长灵活路由和低延迟，适合企业级集成；Kafka以高吞吐著称，是流处理的首选；RocketMQ提供金融级可靠性，支持事务和顺序消息；Pulsar采用云原生架构，支持多租户和跨地域复制。在高可用方面，RabbitMQ通过镜像队列实现容灾，Kafka依赖分区副本机制，RocketMQ采用主从架构，Pulsar则通过计算存储分离保

 冷小鱼
2026-04-29 23:50:12

 1575

 23

#人工智能 #kafka #rabbitmq +1
如何选择适合项目的「限流 / 熔断 / 降级」方案

文章摘要：针对AI项目特点（大模型响应慢、外部API不稳定、资源消耗大），推荐采用Resilience4j作为核心方案，它集限流、熔断、降级于一体，适合单体项目；集群部署可搭配Redisson实现分布式限流；高并发场景使用Bucket4j；小型项目可选Guava RateLimiter。关键原则是必须同时具备熔断和限流功能，避免雪崩风险。技术栈组合建议：Resilience4j（熔断降级）+Red

wbkang
2026-04-29 09:51:16

 591

 12

#java #kafka #sentinel +2
Kafka与RabbitMQ深度解析与场景选型

Kafka与RabbitMQ深度对比：定位决定选型 RabbitMQ是面向业务消息的智能代理，擅长可靠投递与灵活路由，支持复杂交换机和队列绑定，提供毫秒级延迟，适合订单处理、异步任务等业务场景。Kafka是分布式流处理平台，采用分区日志模型，具备超高吞吐量（百万级TPS）和数据持久化能力，适合日志采集、实时分析等大数据场景。两者定位不同：RabbitMQ侧重业务消息的可靠投递，Kafka专注海量数

 盐煽小星球
2026-04-23 15:19:47

 533

 13

#kafka #rabbitmq #分布式
RabbitMQ - 与其他消息队列的对比：Kafka / RocketMQ / ActiveMQ

RabbitMQ与其他消息队列对比摘要本文对比了四种主流消息队列(RabbitMQ、Kafka、RocketMQ和ActiveMQ)的核心特性与适用场景。RabbitMQ基于AMQP协议，提供灵活路由和可靠消息传递，适合企业级应用；Kafka专为高吞吐量设计，适合日志处理和大数据场景；RocketMQ结合了RabbitMQ和Kafka的优点，适合金融级交易；ActiveMQ则适合传统企业应用集成

 Jinkxs
2026-04-19 05:00:00

 2.3w

 15

#rabbitmq #kafka #rocketmq