hadoop調(diào)優(yōu) hadoop和python能搭配在一起做一個項目么?
hadoop和python能搭配在一起做一個項目么?Hadoop的HDFS用于存儲,數(shù)據(jù)處理可以用python的Hadoop框架來完成,如mrjob、pydoop、Luigi等(還有Dumbo、Had
hadoop和python能搭配在一起做一個項目么?
Hadoop的HDFS用于存儲,數(shù)據(jù)處理可以用python的Hadoop框架來完成,如mrjob、pydoop、Luigi等(還有Dumbo、Hadoop等框架,推薦兩本書:《MapReduce設計模式》和《hive編程指南》。第一本書教你如何用MapReduce處理數(shù)據(jù)。第二本書是關(guān)于蜂巢的簡單應用。在公司里,基本上可以用hive編寫SQL,但有時還需要知道如何將底層翻譯成Mr,否則可能會出現(xiàn)奇怪的問題。
多練習,多閱讀,多思考,實踐出真知。