kafka一條消息對(duì)應(yīng)多個(gè)topic Kafka稀疏索引的優(yōu)缺點(diǎn)?
Kafka稀疏索引的優(yōu)缺點(diǎn)?kafka的優(yōu)點(diǎn):1、允許多個(gè)生產(chǎn)者和消費(fèi)者12、接受broker的橫向拓展3、副本集機(jī)制,實(shí)現(xiàn)程序數(shù)據(jù)冗余度,能保證數(shù)據(jù)不丟失4、是從topic將數(shù)據(jù)通過分類5、是從安排
Kafka稀疏索引的優(yōu)缺點(diǎn)?
kafka的優(yōu)點(diǎn):
1、允許多個(gè)生產(chǎn)者和消費(fèi)者1
2、接受broker的橫向拓展
3、副本集機(jī)制,實(shí)現(xiàn)程序數(shù)據(jù)冗余度,能保證數(shù)據(jù)不丟失
4、是從topic將數(shù)據(jù)通過分類
5、是從安排人手發(fā)送高壓縮數(shù)據(jù)的,減少數(shù)據(jù)傳輸開銷,增加吞高量
6、支持什么多種模式的消息
7、設(shè)計(jì)和實(shí)現(xiàn)磁盤實(shí)現(xiàn)方法數(shù)據(jù)的持久化
8、低性能的處理信息,在大數(shù)據(jù)的情況下,可以只要亞秒級(jí)的消息網(wǎng)絡(luò)延遲
9、一個(gè)消費(fèi)者也可以支持多種topic的消息
10、對(duì)CPU和內(nèi)存的消耗比較比較小
11、對(duì)網(wǎng)絡(luò)開銷也比較比較小
12、支持什么跨數(shù)據(jù)中心的數(shù)據(jù)復(fù)制
13、接受鏡像集群
缺點(diǎn):
1、導(dǎo)致是批量修改發(fā)送中,所以才數(shù)據(jù)達(dá)將近真正的的實(shí)時(shí)地
2、相對(duì)于mqtt協(xié)議不支持
3、不意見物聯(lián)網(wǎng)傳感數(shù)據(jù)然后接入
4、沒法意見統(tǒng)一分區(qū)內(nèi)消息有序,無法實(shí)現(xiàn)程序全局消息有序
5、監(jiān)控不完備,需要完全安裝插件
6、不需要對(duì)付zookeeper參與元數(shù)據(jù)管理
7、會(huì)丟了數(shù)據(jù),并且不支持事務(wù)
8、很可能會(huì)重復(fù)一遍消費(fèi)數(shù)據(jù),消息會(huì)亂序,用下能保證三個(gè)固定設(shè)置的partition內(nèi)部的消息是穩(wěn)定有序的,可是一個(gè)topic有多個(gè)partition的話,就沒法絕對(duì)的保證有序了,必須zookeeper的支持,topic象要人工創(chuàng)建角色,防御部署和維護(hù)像是都比mq高
kafka連接器原理?
kafka將所有消息組織成多個(gè)topic的形式存儲(chǔ),而每個(gè)topic又可以不全部拆分成多個(gè)partition,每個(gè)partition又由一個(gè)一個(gè)消息橫列。每個(gè)消息都被標(biāo)識(shí)了三個(gè)單調(diào)遞增序列號(hào)屬於其過來的先后順序,并按順序存儲(chǔ)文件在partition中。
滴滴kafkamanager使用說明?
用戶不使用kafkatopic的流程變?yōu)?:
在kafkamanager上可以申請(qǐng)租戶(appid),聲望兌換到填寫的租戶密碼(app-password);
憑借appid再申請(qǐng)創(chuàng)建新的topic,或者申請(qǐng)已存在地的topic的生產(chǎn)和消費(fèi)權(quán)限;
在用kafkaclient時(shí)設(shè)置中好隨機(jī)的appid和app-password,相應(yīng)的topic鑒權(quán),臨時(shí)限流都在kafkabroker端結(jié)束。