spark為啥不能導入kafka相關包？那一次試過了用sparkstreaming讀取文件logstash啟動時的TCPServer的數(shù)據(jù)。只不過要是你有多臺logstash的時候，這種就比較不好辦了

spark為啥不能導入kafka相關包？

那一次試過了用sparkstreaming讀取文件logstash啟動時的TCPServer的數(shù)據(jù)。只不過要是你有多臺logstash的時候，這種就比較不好辦了——就算你給logstash集群先申請一個VIP，也很難考慮說微博轉發(fā)完全符合。所以才一般來說，更多的選擇是常規(guī)kafka等隊列由sparkstreaming去以及訂閱者某些數(shù)據(jù)。

大數(shù)據(jù)主要學習哪些內容？

這是一個相當好的問題，以及一名IT從業(yè)者，另外確實是一名教育工作者，我來能回答看看。

大數(shù)據(jù)經(jīng)多年的發(fā)展，早漸漸地自然形成了一個都很異常龐大且系統(tǒng)的知識體系，整體的技術成熟度也巳經(jīng)都很高了，所以才當前學習大數(shù)據(jù)技術也會有一個也很好的學習體驗。

而大數(shù)據(jù)牽涉到的內容比較比較多，但是大數(shù)據(jù)技術與行業(yè)領域也有比較密切的聯(lián)系，所以才在去學習大數(shù)據(jù)的時候，既也可以從技術角度出發(fā)，也可以不立足行業(yè)來學習大數(shù)據(jù)。這對學生來說，這個可以從大數(shù)據(jù)技術體系來學，而是對職場人來說，可以結合自身的行業(yè)和崗位任務來自學大數(shù)據(jù)。

論是學生那就職場人，要想怎么學習大數(shù)據(jù)都是需要掌握100元以內幾個都差不多內容：

第一：計算機基礎知識。計算機基礎知識對此自學大數(shù)據(jù)技術是非常重要的，其中操作系統(tǒng)、編程語言和數(shù)據(jù)庫這三方面知識是要先怎么學習的。編程語言也可以從Python就開始學起，不過如果不是未來要普通機電設備專業(yè)的大數(shù)據(jù)開發(fā)，也這個可以從Java就開始學起。計算機基礎知識的學習更具一定的難度，學習過程中要非常重視實驗的作用。

第二：數(shù)學和統(tǒng)計學基礎知識。大數(shù)據(jù)技術體系的核心目的是“數(shù)據(jù)價值化”，數(shù)據(jù)價值化的過程一定都離不開數(shù)據(jù)分析，因為另外數(shù)據(jù)分析基礎的數(shù)學和統(tǒng)計學知識就比較好重要了。數(shù)學和統(tǒng)計學基礎是對大數(shù)據(jù)從業(yè)者未來的成長空間有比較不重要的影響，所以要先非常重視這兩個方面知識的學習。

第三：大數(shù)據(jù)平臺基礎。大數(shù)據(jù)開發(fā)和大數(shù)據(jù)分析都都離不開大數(shù)據(jù)平臺的支撐，大數(shù)據(jù)平臺比較復雜到分布式存儲和分布式計算等基礎性工作功能，手中掌握大數(shù)據(jù)平臺也會相對于大數(shù)據(jù)技術體系自然形成較深的認知程度。對于初學者來說，也可以從Hadoop和Spark正在學起。

我從事外貿互聯(lián)網(wǎng)行業(yè)多年，目前也在帶計算機專業(yè)的研究生，比較多的研究方向集中在一起在大數(shù)據(jù)和人工智能領域，我會先后寫一些關于互聯(lián)網(wǎng)技術方面的文章，很有興趣朋友可以參與我，我相信當然會有了。

要是有互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等方面的問題，或是是考研方面的問題，都可以在評論區(qū)留言，或則私聊我！