kafka原理与参数浅析

什么是消息队列为什么需要消息队列?消息队列解决了什么问题 应用解耦异步处理流量削峰常见消息队列 组件推出时间所属开发语言Kafka2012年Linkin开源,ApacheScala和JavaPulsar2016年Yahoo开源,ApacheJavaRocketMQ2012年阿里开源,ApacheJavaRabbitMQ2007年Pivotal开源,MozillaErlangNSQ2013年itly开源,MITGoKafka介绍Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 ...

从1到亿,如何玩好异步消息?CQRS架构下的异步事件治理实践

转载自: https://mp.weixin.qq.com/s/mwZQYk1vJu6rOGzxuNeGyg 本期作者 引言 哔哩哔哩已有接近一亿的日均活跃用户,用户互动非常频繁,这也为后端系统带来巨大挑战,为了实现更好的架构扩展性,我们采用了微服务+ CQRS的架构,在这种架构下,又会带来哪些问题,我们又是如何解决的呢?本文介绍异步事件处理railgun平台, ...

Kafka是如何保证消息不丢失的

转载自 https://mp.weixin.qq.com/s/O1lKrO3zl0hA-mlb79gw7Q 既然使用消息中间件就一定涉及到一个重要问题,如何保证消息不丢失?使用Kafka也不例外。 简单来说,一条消息会经历如下三个位置的流转:生产者、服务端、消费者。那么如何保证消息不丢失也要从三个角度来考虑:生产者发送消息、服务端存储消息、消费者消费消息。 ...

3000帧动画图解MySQL为什么需要binlog、redo log和undo log

全文建立在MySQL的存储引擎为InnoDB的基础上先看一条SQL如何入库的: 这是一条很简单的更新SQL,从MySQL服务端接收到SQL到落盘,先后经过了MySQL Server层和InnoDB存储引擎。 Server层就像一个产品经理,分析客户的需求,并给出实现需求的方案。 InnoDB就像一个基层程序员,实现产品经理给出的具体方案。 在MySQL”分析需求,实现方案“的过程中,还夹杂着内存操作和磁盘操作,以及记录各种日志。 他们到底有什么用处?他们之间到底怎么配合的?MySQL又为什么要分层呢?InnoDB里面的那一块Buffer ...

一次「找回」TraceId的问题分析与过程思考(转载文章)

1. 问题背景和思考1.1 问题背景在一次排查线上告警的过程中,突然发现一个链路信息有点不同寻常(这里仅展示测试复现的内容): 在机器中可以清楚的发现“2022-08-02 19:26:34.952 DXMsgRemoteService ”这一行日志信息并没有携带TraceId,导致调用链路信息戛然而止,无法追踪当时的调用情况。 1.2 问题复现和思考在处理完线上告警后,我们开始分析“ ...