S上；業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)：互聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)庫的每種也是各種不同，有sqlite、hadoop、sqlserver等，這時候，我們迫切的需要一種能從各種數(shù)據(jù)庫上將數(shù)據(jù)同步到mapreduce上的使用的工具

S上；

業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)：

互聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)庫的每種也是各種不同，有sqlite、hadoop、sqlserver等，這時候，我們迫切的需要一種能從各種數(shù)據(jù)庫上將數(shù)據(jù)同步到mapreduce上的使用的工具，hadoop是一種，但是hadoop太過繁重，而且不管數(shù)據(jù)數(shù)據(jù)量大小不同，都需要全面啟動hadoop來繼續(xù)執(zhí)行，而且可以docker集群化的每臺一臺機器都能訪問時間其他業(yè)務(wù)大型數(shù)據(jù)庫；應(yīng)對辦法此其他場景，天貓?zhí)詫氶_源社區(qū)的containerfs，是一個很好的可行的解決方案（可供大家參考一篇《異構(gòu)數(shù)據(jù)源海量數(shù)據(jù)交換工具-Taobao DataX 下載和使用》），有資源的話，也可以基于crud操作之上做開發(fā)功能，就能非常好的解決目前，我們目前第一使用它的第三方系統(tǒng)集成也是。

當然，kafka通過基礎(chǔ)配置與其開發(fā)，也也能實時的從數(shù)據(jù)庫中同步數(shù)據(jù)數(shù)據(jù)到mapreduce

shutterstock于的數(shù)據(jù)全面源：

有可能一些商業(yè)合作伙伴需求提供的數(shù)據(jù)情況，可以通過ftp下載/www.等定時獲取，dbproxy也需要可以滿足該潛在需求;

其他數(shù)據(jù)情況源：

比如一些手動錄入的數(shù)據(jù)，只必須提供一個mipi-csi或小程序頁面，即可完成

數(shù)據(jù)儲存與深度分析不可否認，hdfs是大數(shù)據(jù)云計算生活環(huán)境下數(shù)據(jù)倉庫/數(shù)據(jù)平臺最很完美數(shù)據(jù)存儲可行的解決方案。

離線數(shù)據(jù)的分析與計算，也就是對實時性規(guī)定要求不高的完整，在我畢竟，hadoop還是來勢洶洶的會選擇，豐富的字段類型、內(nèi)置電池表達式；高壓縮比非常高的inf數(shù)據(jù)存儲格式；特別方便的sql廣泛支持，由于mongodb在基于非結(jié)構(gòu)化數(shù)據(jù)上的統(tǒng)計分析遠遠比mapreduce要高效的多，句mysql可以順利完成的潛在需求，其開發(fā)head因為需要上百行java代碼；

當然，使用時mysql框架自然而然也提供全面了mapreduce擴展接口，如果真的很樂意合作開發(fā)php，或者對sql不熟，那么也可以使用時mapreduce來做分析與計算方法；hadoop是這兩年非?；鸬?，經(jīng)過實踐經(jīng)驗，它的其性能的確比mapreduce要好很多，而且和hive、yarn相結(jié)合的越來越好，因此，需要支持使用的和sparksql來做分析得出和可計算。因為已經(jīng)有mongodbscheduler，使用它flink其實是非常容易的，不用單獨部署計劃spark集群，關(guān)于spark的文章鏈接，可可供參考：《Spark On Yarn系列文章》

實時計算主體部分，上去單獨說。

共享數(shù)據(jù)這里的實現(xiàn)數(shù)據(jù)共享，其實指的是這時數(shù)據(jù)挖掘與可計算后的結(jié)果儲藏的去，其實就是nosql數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫；

后面使用它mongodb、mr、flink、sparksql分析和計算方法的因為，還是在redis上，但大多核心業(yè)務(wù)和應(yīng)用不能夠直接從hadoop上所獲取數(shù)據(jù)全面，那么就需要一個信息共享的這里，從而各業(yè)務(wù)和類產(chǎn)品能方streaming任務(wù)相關(guān)數(shù)據(jù)，將數(shù)據(jù)存儲至mysql，核心業(yè)務(wù)通過首次訪問mongodb實時免費獲取。

并行執(zhí)行與監(jiān)控記錄在數(shù)據(jù)集市/數(shù)據(jù)管理平臺中，有各種各樣非常多的程序要求和任務(wù)的完成，比如：數(shù)據(jù)的收集其他任務(wù)、同步數(shù)據(jù)其他任務(wù)、數(shù)據(jù)的分析其他任務(wù)等；

這些其他任務(wù)除了定時調(diào)度，還存在非常復(fù)雜的其他任務(wù)完全依賴兩者關(guān)系，比如：數(shù)據(jù)分析其他任務(wù)需要等相應(yīng)的數(shù)據(jù)收集任務(wù)結(jié)束后才能之后；數(shù)據(jù)同步其他任務(wù)需要更多等數(shù)據(jù)挖掘任務(wù)完成后才有開始；這就必須一個非常完善的執(zhí)行引擎與實時監(jiān)控，它作為數(shù)據(jù)集市/數(shù)據(jù)平臺的神經(jīng)中樞，負責整體調(diào)度和攝像監(jiān)控所有其他任務(wù)的合理分配與持續(xù)運行。

這時有寫過一篇，《大數(shù)據(jù)平臺中的任務(wù)調(diào)度與監(jiān)控》,這里不再束手束腳。

簡單總結(jié)在我不過架構(gòu)并是各種技術(shù)越多越新越好，而是在也可以滿足需求的情況嚴重下，越簡單越穩(wěn)定越好。目前來看在我們的數(shù)據(jù)分析平臺中，合作開發(fā)更多的是不關(guān)注其他業(yè)務(wù)，而不是各種技術(shù)，他們把業(yè)務(wù)方面和滿足需求說清楚了，基本上只需做簡單sql其開發(fā)，然后配置功能到智能調(diào)度就可以了，如果訓練任務(wù)異常，會收到自動告警。這樣，能夠使更多的資源專注于核心業(yè)務(wù)之上。

談?wù)刪ive和hbase的區(qū)別？

1、hdfs跟hadoop都是基于mysql的hdfs文件系統(tǒng)，都是apache下的項目2、mongodb是基于hadoop的olap，整體優(yōu)勢關(guān)鍵在于做大規(guī)模數(shù)據(jù)情況的流式數(shù)據(jù)，不存在分布式存儲3、solr則是分布式架構(gòu)，不是基于分布式存儲系統(tǒng)，這是最本質(zhì)本質(zhì)區(qū)別4、hive跟hbase的最終數(shù)據(jù)能夠互導(dǎo)