Kafka为什么会这么快

摘要:北京时间20200330关于【Kafka为什么会这么快】的具体情况和说明,让www.wnfdcw.cn新闻频道以图文形式为您慢慢道来。

向您推荐
继续播放

性能对比

为什么kafka会这么快呢?发布订阅模式

一个普通的发布订阅模型如下图所示:

发布订阅模式

顺序写入

kafka每次收到新的消息之后都会将消息存储在尾部,按照顺序存储消息。但是消息一旦存储无法删除。

当消费者消费时也是顺序消费,每个消费者会有一个偏移量,记录当前消费的消息的位置。如下图所示:

顺序消费

write操作

数据会先从用户空间拷贝到内核空间,然后再由内核空间写入IO设备。而MMFile则省去了一次用数据从户空间到内核空间复制的开销。读取快

读取快主要是因为零拷贝(Zero Copy)技术。上面介绍到数据从内存空间写入磁盘的步骤,那么从磁盘读取数据刚好相反,具体过程如下:

read操作

数据先从磁盘读取到内核空间,然后再从内核空间复制到用户空间,然后再到Socket,最后传输到消费者。

Linux提供了一种sendFile系统调用,可以将数据直接由磁盘拷贝到内核空间。省去了一次数据从用户空间到内核空间的复制。这就是所谓的零拷贝技术。

上面从读写两个角度分析了为什么kafka吞吐量高,其实还有一个重要的原因。批量数据压缩

kafka不会对每个消息都做压缩,而是对一批消息压缩,然后将数据统一发送。将所有的消息变为一个批量文件,然后直接丢给消费者。

综上所述,kafka通过MMFile技术快速将数据顺序写入磁盘,在读取时通过零拷贝技术快速读取,然后通过批量数据压缩将数据传输到消费者。这就是kafka快的秘诀。然而鱼与熊掌不可兼得,速度和可靠性不可能同时满足,需要根据实际业务情况在二者之间作出取舍。例如当用kafka做日志聚合和网站用户行为分析时速度要比可靠性重要,而在某些消息不允许丢失的场景,可靠性可能是首选。


查看更多

实时推荐

金贡心态炸裂猛击桌面,战马火速赶到双眼带火:你再砸键盘试试
推荐 2020-05-27 15:45 976 1502
小朋友模仿老师接电话 网友:叫你模仿,没叫你超越
推荐 2020-05-27 15:45 561 5554
淄博高新区公安破获系列盗窃案:顺手牵羊回老家 法网难逃终被抓
推荐 2020-05-27 15:45 966 4902
《传闻中的陈芊芊》, 七擒七放孟过的过程中,女主的人设崩了?
推荐 2020-05-27 15:45 829 3694
晴天为您备伞 阴天给您挡雨--保险给您困境中的“底气”
推荐 2020-05-27 15:44 437 8326
何炅又道歉了,深夜发文“我没资格点评表演”,这是他的错吗
推荐 2020-05-27 15:44 845 5977
女性担心老太快,推荐多吃3种食物,美容养颜,滋润身体!
推荐 2020-05-27 15:44 336 1295
这个“仁”,还是这么厉害
推荐 2020-05-27 15:44 698 9571
《青你2》即将收官,邀请李宇春后,官微再官宣特邀主持人
推荐 2020-05-27 15:44 240 3955
今日收评:指数表现弱势沪指跌0.3%,家具家装板块大涨
推荐 2020-05-27 15:44 669 2832
杜海涛也要买的车,威马EX6 Plus成明星单品
推荐 2020-05-27 15:44 757 3687
重庆:中小学入学资格禁止与商品房销售挂钩
推荐 2020-05-27 15:44 861 8610
辽宁男篮不利消息?曝外援回归又有变数 郭士强带队冲冠遇困境
推荐 2020-05-27 15:44 736 6297
《海贼王》中的名刀背景:谈日本刀的分类与等级
推荐 2020-05-27 15:44 177 8124
英特尔宣布兼容LGA1200插槽的TS15A盒装散热器即将到货
推荐 2020-05-27 15:44 323 8718
泽塔奥特曼:主武器曝光,和欧布三叉戟相比,就多了个弓型枪头
推荐 2020-05-27 15:44 504 1132
懒惰一点也不坏!这6个懒习惯,能让你长寿
推荐 2020-05-27 15:44 615 3109
川大华西医院第三批援助武汉医疗队护士日记
推荐 2020-05-27 15:44 568 9957
罚款!和驾照说再见!这些贵阳人“遭了”
推荐 2020-05-27 15:44 196 9608
realme 首款智能手表发布,支持心率和血氧检测,不到 400 元
推荐 2020-05-27 15:44 545 801
东安:张波检查县十七届人大五次会议筹备工作
推荐 2020-05-27 15:44 264 4736
格尔木市市场监督管理局开展儿童玩具强制性产品认证专项执法检查
推荐 2020-05-27 15:44 242 3338
邓伦曾视她为宝贝,因执着被公司雪藏,现片段不断接戏手软
推荐 2020-05-27 15:44 359 1436
新发基金连续十个月首募规模超千亿 权益类市场“爆款”频出
推荐 2020-05-27 15:44 639 3305
铁矿石需求回升,中国港口的海运铁矿石库存连续六周下降
推荐 2020-05-27 15:44 99 5391
红米K30 5G版评测,主要说缺点
推荐 2020-05-27 15:44 506 7220
《新警察故事》隐藏很深的彩蛋:除了帅气的吴彦祖,还有陈奕迅?
推荐 2020-05-27 15:44 860 1053
洛龙区这里要建中学和幼儿园,看看你家孩子上学是不是更方便了
推荐 2020-05-27 15:44 660 2429
女人不吃早餐会有三种危害
推荐 2020-05-27 15:44 279 2298
代表委员热议破“SCI至上”:科技评价从“数论文”转为看实绩
推荐 2020-05-27 15:44 874 4066
涉违规行为 巴西里约热内卢州长官邸遭警方搜查
推荐 2020-05-27 15:44 402 591
【长图解】听!河北好声音
推荐 2020-05-27 15:44 923 5928
华为!又是华为,这概念又要被爆炒了
推荐 2020-05-27 15:44 877 6808
小飞机飞出大能量 冰城警察“花式”助企显身手
推荐 2020-05-27 15:44 269 8734
重磅!中国新一代大型地球同步轨道卫星公用平台
推荐 2020-05-27 15:44 190 3486
沃尔玛联手ThredUp推出女性与儿童二手服饰转售业务
推荐 2020-05-27 15:44 501 4462
中庄司法所:积极举办法律援助联络员集中培训会
推荐 2020-05-27 15:44 589 1457
国产服务器发展现状及盘点
推荐 2020-05-27 15:44 251 2047
iPhone 13部分配置提前亮相,没刘海用取消充电口用无线充电
推荐 2020-05-27 15:44 717 2900
恩施市芭蕉民族初级中学开展心理健康讲座
推荐 2020-05-27 15:44 424 4434
巴东交警送考下乡 便民服务暖人心
推荐 2020-05-27 15:44 977 9316
海口脱贫户“老陈”多元种养增收 日子越过越红火
推荐 2020-05-27 15:44 933 6673
王媛媛:用行动践行使命的最美“逆行者”
推荐 2020-05-27 15:44 683 9436
月薪7000元,你会选择买什么样的手机呢,苹果还是华为?
推荐 2020-05-27 15:44 971 4870
五子棋被让八子都赢不了 传闻中的陈芊芊遭“官方吐槽”
推荐 2020-05-27 15:44 325 6906
海口市农工党:加强幼儿园中小学生活垃圾分类教育
推荐 2020-05-27 15:44 803 1932
热剧《传说中的陈芊芊》太上头?主题曲《时光话》甜蜜上线酷狗
推荐 2020-05-27 15:44 946 9559
厚街交警大队开展“一盔一带”宣传进校园活动
推荐 2020-05-27 15:44 152 7300
45岁佘诗曼至今单身未婚 欧阳震华催她冻卵 担忧年龄太大生育有危险
推荐 2020-05-27 15:44 307 5186
《传闻中的陈芊芊》剧情高甜,女主赵露思傻萌、撒娇自如切换
推荐 2020-05-27 15:44 958 8138
潍莱高铁全线站房主体结构施工全部完成 进入全力冲刺阶段
推荐 2020-05-27 15:44 542 1940
《向往的生活》彭昱畅跟张子枫互动太亲密,张婧仪的表情却耐人寻味
推荐 2020-05-27 15:44 193 5735
《长安诺》将播,杨超越大婚造型超仙,看到男女主追了
推荐 2020-05-27 15:44 289 8035
湖北荆门漳河机场纳入国家航空应急救援试点建设
推荐 2020-05-27 15:44 698 8472
原创 他8岁演《西游记》走红,今成现实版霸道总裁,孙俪给他当证婚人
推荐 2020-05-27 15:44 514 9101
新款红旗H5将上市,外观、内饰均有小改,并新增轻混系统
推荐 2020-05-27 15:44 512 7044
Delta Lake,让你从复杂的 Lambda 架构中解放出来
推荐 2020-05-27 15:44 757 1082
睡前为孩子做一件事,孩子的变化超乎你想象
推荐 2020-05-27 15:44 725 6929
原创 说起来明星反串角色,我只佩服一个明星,比林青霞还要经典!
推荐 2020-05-27 15:44 250 9085
《极限挑战》邓伦因情商低被吐槽“不礼貌”,宋小宝及时帮解围!
推荐 2020-05-27 15:44 974 9028
《向往》黄磊做饭惹上事!看清没滤镜的“饭菜”,黄晓明直呼没胃口
推荐 2020-05-27 15:44 322 1540
伊丽莎白泰勒:名利和爱情,抵不过珠宝300件
推荐 2020-05-27 15:44 928 1770
原创 甄嬛有多爱允礼,把她的两个孩子的名字,连起来你就知道了
推荐 2020-05-27 15:44 255 7464
原创 《谁说我结不了婚》首播,潘粤明卷发造型喜感呆萌,陈数演技精湛
推荐 2020-05-27 15:44 111 5136
五杀率最高的3个英雄,阿轲根本排不上,攻越高越肉的坦克是榜首
推荐 2020-05-27 15:44 658 8028
原创 比黄渤丑,比王宝强矮,妻子却貌美如花,电视剧播放量超20亿
推荐 2020-05-27 15:44 677 7675
AMD Matisse Refresh处理器测试成绩泄露:力压10代酷睿
推荐 2020-05-27 15:44 555 9070
吃鸡必捡四大枪械配件,缺一不可,枪口成首选!
推荐 2020-05-27 15:44 945 2716
布加迪发布的新车,是由实习生设计的,有种四驱兄弟的既视感
推荐 2020-05-27 15:44 445 4327
厨师长教你口味茄条好吃的做法,几分钟就能做好,简单实用
推荐 2020-05-27 15:44 821 1912
被赞最帅杨过,主演经典版《雪山飞狐》,如今70岁的他风采依旧
推荐 2020-05-27 15:44 911 1202
《向往3》直播卖农产品翻车?请薇娅卖水果,网友很多消费者都给了差评!
推荐 2020-05-27 15:44 151 1572
100%王牌,宝马 5 系中期改款(G30 LCI)详细解析
推荐 2020-05-27 15:44 430 4601
国产鑫源复古车,离地间隙180mm,碟刹配ABS,445CC单缸油冷电喷
推荐 2020-05-27 15:44 365 7872
原创 她曾是古装皇后,塌鼻界的颜王,如今50岁撞脸陈乔恩
推荐 2020-05-27 15:44 541 9295
原创 于和伟结婚28年零绯闻,看到他妻子照片后,网友:感觉好熟悉!
推荐 2020-05-27 15:44 796 4215
罗平县委副书记、县长海建才到老厂、九龙等地调研
推荐 2020-05-27 15:43 190 9998
河南化院顶岗实习就业拉开序幕
推荐 2020-05-27 15:43 109 8694
夏季建议你多穿这些亚麻衫,清凉大气显年轻,穿出不一样的复古美
推荐 2020-05-27 15:43 626 2028
2020年Q1全球安卓手机排行榜:三星A51荣登榜首小米占两款
推荐 2020-05-27 15:43 822 8607
商合杭铁路芜湖长江公铁大桥公路桥桥面铺装全面完工
推荐 2020-05-27 15:43 439 1727
宁夏首批近29万名小学生返校复课
推荐 2020-05-27 15:43 169 9024
AMR发布全新架构,高通和三星确定率先使用,华为性能或再次垫底
推荐 2020-05-27 15:43 661 5176
创始人谈Windows任务管理器:理论上可杀死所有进程
推荐 2020-05-27 15:43 730 9879
“家庭医生”守护居民健康
推荐 2020-05-27 15:43 846 8729
“归巢妈妈”的新生活
推荐 2020-05-27 15:43 229 2781
曝光!为了2块钱,泉州一男子多次辱骂公交司机,甚至还想动手打人
推荐 2020-05-27 15:43 705 8242
从万里茶道到直播带货 湖北茶叶再寻“路”
推荐 2020-05-27 15:43 890 3109
原创 娱乐圈“最懒”女明星,一休息就是半年,如今依然戏约不断
推荐 2020-05-27 15:43 604 1669
曾经手机变砖也要刷机,现在为啥没人刷机了?老王告诉你原因
推荐 2020-05-27 15:43 216 4778
魏桥镇:协同作战,全力攻坚,汇聚创城强大合力
推荐 2020-05-27 15:43 791 1160
守护“舌尖上的安全”——莆田市城厢区加强疫情期间农产品质量安全监管
推荐 2020-05-27 15:43 338 2542
国产摩托车有哪些?这些品牌要知道
推荐 2020-05-27 15:43 661 2603
山东积极做好夏粮收购工作,目前全省小麦均价1.2元/斤
推荐 2020-05-27 15:43 139 7325
他犯了死罪,在行刑当天,因脖子上印有一个字,被李世民无罪释放
推荐 2020-05-27 15:43 313 3202
冒险家+飞行家=林肯中国加速起飞
推荐 2020-05-27 15:43 339 691
纯电有“毒”?小鹏步前途后尘?
推荐 2020-05-27 15:43 585 6331
原创 都有自己非常独特风格路线手机,这4款是当前最值得选的全屏手机
推荐 2020-05-27 15:43 173 3819
62岁谢大脚带母亲出门,逛菜市场打扮太严实,街上没一个认出她
推荐 2020-05-27 15:43 769 2909
63岁还在拍戏谋生!曾是“林黛玉”丈夫,因琅琊榜再次翻红
推荐 2020-05-27 15:43 483 1031