kafka查看topic消息數(shù)量 怎樣查看kafka topic的分組?
怎樣查看kafka topic的分組?classlogclient(object):定義初始化初始化(self,kafkahost,kafkaport):self.kafkahostself=卡夫卡霍
怎樣查看kafka topic的分組?
classlogclient(object):定義初始化初始化(self,kafkahost,kafkaport):self.kafkahostself=卡夫卡霍斯特.kafkaport=kafkaportdeffixlen(self,s,l):s=s[0:8]工作節(jié)點s[8:]fixed=s“”*(l-len(s))返回fixedDefSendLog(self,topic,filename):嘗試:client=kafkaclient( 卡夫卡霍斯特, 卡夫卡波特)producer=simpleproducer(客戶端,主題)f=open(文件名,“rb”)fname=路徑.basename(f.name)ftext=f.read()生產(chǎn)者發(fā)送消息(自定(fname,30)ftext)f.關閉()客戶端.close()打印“kafkasent”文件名異常,例如:printex
streaming怎么獲取kafka數(shù)據(jù)?
構造函數(shù)是KafkaUtils.createDstream創(chuàng)建(ssc,[zk],[consumer group id],[per topic,partitions])接收器用于接收數(shù)據(jù)。使用Kafka的高級消費API。對于所有接收器,接收到的數(shù)據(jù)將保存在spark執(zhí)行器中,然后使用spark流啟動作業(yè)來處理數(shù)據(jù)。默認情況下,數(shù)據(jù)將丟失。wal日志可以啟用并存儲在HDFS上