大數(shù)據(jù)采集平臺有哪些？謝謝。據(jù)我所知，有幾個(gè)大數(shù)據(jù)收集平臺根據(jù)數(shù)據(jù)來源：1。系統(tǒng)日志收集平臺。大多數(shù)企業(yè)都有系統(tǒng)日志采集平臺，在企業(yè)業(yè)務(wù)平臺上，每天都會產(chǎn)生大量的日志數(shù)據(jù)。通過對這些日志數(shù)據(jù)的收集和清

大數(shù)據(jù)采集平臺有哪些？

謝謝。據(jù)我所知，有幾個(gè)大數(shù)據(jù)收集平臺根據(jù)數(shù)據(jù)來源：

1。系統(tǒng)日志收集平臺。大多數(shù)企業(yè)都有系統(tǒng)日志采集平臺，在企業(yè)業(yè)務(wù)平臺上，每天都會產(chǎn)生大量的日志數(shù)據(jù)。通過對這些日志數(shù)據(jù)的收集和清理后的分析，企業(yè)可以發(fā)現(xiàn)這些日志數(shù)據(jù)的潛在價(jià)值。

2. 網(wǎng)絡(luò)數(shù)據(jù)采集平臺。這種數(shù)據(jù)采集平臺一般都是通過爬蟲來采集的。在服務(wù)器上構(gòu)建爬蟲對目標(biāo)網(wǎng)站集進(jìn)行爬網(wǎng)，然后對每天爬網(wǎng)的數(shù)據(jù)進(jìn)行清理，最終得到企業(yè)所需的數(shù)據(jù)。

3. 數(shù)據(jù)庫收集平臺。這主要是基于企業(yè)的產(chǎn)品。產(chǎn)品與數(shù)據(jù)庫交互產(chǎn)生的數(shù)據(jù)也是有價(jià)值的數(shù)據(jù)源，從中可以獲得一些新的用戶需求。

最后，阿里云和騰訊云也是大型大數(shù)據(jù)采集平臺。

論文寫不下去了，數(shù)據(jù)一般去哪里搜集？

寫論文真是一件傷腦筋的事。

可在CNKI上找到文獻(xiàn)和數(shù)據(jù)。如果有條件的話，可以在學(xué)校下載，大學(xué)師生也有賬號可以查閱和下載文獻(xiàn)。

2. 相關(guān)數(shù)據(jù)可從相關(guān)行業(yè)的期刊上獲取。

3數(shù)據(jù)調(diào)查還可以自己制作問卷收集數(shù)據(jù)。

以上希望能對您有所幫助。[玫瑰

這里有三個(gè)非常好的網(wǎng)絡(luò)爬蟲工具，可以自動(dòng)捕獲網(wǎng)站數(shù)據(jù)。它們易于操作，易于學(xué)習(xí)和理解，不需要編寫一行代碼。感興趣的朋友可以試試看：

這是一款非常好的國產(chǎn)網(wǎng)絡(luò)爬蟲軟件。目前只支持windows平臺，個(gè)人使用完全免費(fèi)。它只需要簡單的創(chuàng)建任務(wù)和設(shè)置詞條，就可以收集大部分的網(wǎng)頁數(shù)據(jù)，內(nèi)置大量的數(shù)據(jù)收集模板，可以輕松抓取天貓、京東、淘寶、大眾點(diǎn)評等熱門網(wǎng)站，官方有非常詳細(xì)的入門教學(xué)文檔和示例，非常適合初學(xué)者學(xué)習(xí)和掌握：這是一款非常智能的網(wǎng)絡(luò)爬蟲軟件，完全兼容三種操作平臺，個(gè)人使用全部免費(fèi)，基于人工智能技術(shù)，可以輕松識別網(wǎng)頁中的數(shù)據(jù)，包括列表、鏈接、圖片等，支持自動(dòng)翻頁和數(shù)據(jù)導(dǎo)出功能，對于小白的使用，非常好，當(dāng)然官方也有非常豐富的入門教程，可以幫助初學(xué)者更好的掌握和使用：

目前，分享這三款不錯(cuò)的網(wǎng)絡(luò)爬蟲工具，對于日常爬蟲的大多數(shù)網(wǎng)站來說，就夠了，只要熟悉使用過程，就可以很快掌握，當(dāng)然，如果你懂Python等編程語言，也可以使用scratch等框架，網(wǎng)上有相關(guān)教程和資料，介紹非常詳細(xì)，如果你感興趣，可以搜索，希望上面的分享內(nèi)容能對你有所幫助，歡迎你發(fā)表評論和留言。

除了網(wǎng)絡(luò)爬蟲，還有哪些方法可以采集數(shù)據(jù)？

Lcnc（低代碼，無代碼）近年來得到了快速發(fā)展。原因之一是需求驅(qū)動(dòng)。它有望解決軟件開發(fā)者對數(shù)字和工業(yè)4.0的巨大需求缺口。

現(xiàn)在市場上有一些成熟的解決方案，比如中國的明道云、清流云、大達(dá)云，國外的outsystems。

技術(shù)特點(diǎn)：通過提供SaaS或PAAS服務(wù)平臺，將通用的、可重用的代碼組成組件模塊，通過圖形界面拖放組件組成應(yīng)用程序。

在通用的企業(yè)信息管理系統(tǒng)開發(fā)中，特別適用于辦公系統(tǒng)（OA）、企業(yè)資源計(jì)劃系統(tǒng)（ERP）、客戶關(guān)系管理系統(tǒng)（CRM），可以顯著提高開發(fā)效率，降低開發(fā)成本。

如果SaaS平臺提供的通用服務(wù)模塊不能滿足業(yè)務(wù)需求，需要定制，建議使用開源框架。

Jeecgboot是一個(gè)基于代碼生成器的快速開發(fā)平臺。采用前端和后端分離的架構(gòu)。在lcnc低代碼/無代碼模式下，有助于解決軟件開發(fā)項(xiàng)目中大量的重復(fù)性工作，使開發(fā)人員更加關(guān)注業(yè)務(wù)邏輯。它不僅可以快速提高企業(yè)的發(fā)展速度，而且有助于企業(yè)在不喪失活力的前提下節(jié)約成本。

常用功能：在線表單配置（表單設(shè)計(jì)器）、移動(dòng)配置功能、工作流配置（在線設(shè)計(jì)過程）、報(bào)表配置功能、在線圖表配置、插件功能（可插拔）等

Jeecgboot基于Java spring boot框架開發(fā)后臺服務(wù)，并基于螞蟻設(shè)計(jì)思想開發(fā)了管理系統(tǒng)。最新版本是2.1.4

我是一個(gè)已經(jīng)工作多年的web應(yīng)用程序架構(gòu)師。請關(guān)注我，多了解it專業(yè)知識。

國外有很多低代碼軟件開發(fā)平臺，比如OutSystems/Mendix等等，國內(nèi)有沒有類似的？

當(dāng)然，這是合法的。數(shù)據(jù)來源于工商系統(tǒng)的開放數(shù)據(jù)。任何人都可以查看。這些信息本來是公開的，但天眼查軟件將公開的信息收集起來，建立數(shù)據(jù)庫，按要素進(jìn)行分類，制作了一個(gè)專注于工商信息的搜索引擎。從技術(shù)上講，它與百度相似，因此信息來源不同。

但由于天眼沙平臺不能像百度那樣靠競爭排名來回收成本甚至利潤，所以采用會員制的方式。一般來說，用戶每天可以免費(fèi)查看一定數(shù)量的信息，超過數(shù)量限制的將被收費(fèi)。畢竟，數(shù)據(jù)存儲服務(wù)器、帶寬租賃以及管理人員和技術(shù)人員的工資都是成本。企業(yè)要想健康發(fā)展，就必須有健康的盈利模式。

當(dāng)然，那些每天都要查看大量工商信息的人可以為信息付費(fèi)。當(dāng)然，他們也可以選擇去工商信息公開平臺查詢。但是，在工商信息公開平臺上查詢時(shí)需要輸入驗(yàn)證碼，效率要低得多。而且，在工商信息系統(tǒng)中查詢工商信息，一般需要先知道企業(yè)的詳細(xì)名稱，批量查詢的功能很弱（不知道是否在一定程度上保護(hù)了企業(yè)的隱私）。從某種意義上說，像天眼沙這樣的平臺，對于需要頻繁查詢大量信息的人來說，可以算是一種高效的工具。在一定程度上，這些人可以依靠這些信息獲利。

綜上所述，天涯沙等平臺的信息來源合法，收費(fèi)合理，存在完全合法。

另外，如果您關(guān)注天眼沙，您可能會注意到天眼沙的網(wǎng)站和app上有這樣一句話：“財(cái)政部設(shè)立的國家中小企業(yè)發(fā)展基金”。我認(rèn)為相關(guān)部門應(yīng)該允許公開標(biāo)注這一信息。畢竟，政府部門在某種意義上是政府公信力的代名詞。因此，眼睛檢查的使用是可以保證的。

類似“天眼查”，付費(fèi)就能查詢個(gè)人和企業(yè)信息數(shù)據(jù)來源，它的存在合法嗎？為什么？

網(wǎng)頁數(shù)據(jù)采集，有很多現(xiàn)成的爬蟲軟件可以直接使用，下面我簡單介紹三款，分別是后羿、章魚和火車頭，操作簡單，易學(xué)易懂，感興趣的朋友可以試試看：

這是一款非常智能的網(wǎng)頁爬蟲軟件，支持跨平臺，個(gè)人使用完全免費(fèi)，對于大多數(shù)網(wǎng)站來說，只需輸入網(wǎng)址，軟件就會自動(dòng)識別和提取相關(guān)字段信息，包括列表、表格、鏈接、圖片等，不需要配置任何采集規(guī)則，一鍵取下，支持自動(dòng)翻頁和數(shù)據(jù)導(dǎo)出功能，對于小白來說，很容易學(xué)習(xí)和掌握：

這是一款很好的國產(chǎn)數(shù)據(jù)采集軟件，與后羿采集器相比比如八達(dá)通采集器目前只支持windows平臺，需要手動(dòng)設(shè)置采集字段和配置規(guī)則，所以比較麻煩，也比較靈活。它有大量內(nèi)置的數(shù)據(jù)采集模板，可以輕松采集京東、天貓等熱門網(wǎng)站。官方教程非常詳細(xì)，小白也很容易掌握：

當(dāng)然，除了以上三款爬蟲軟件外，還有很多其他的軟件也支持網(wǎng)站數(shù)據(jù)采集，比如做數(shù)字、申策等也很不錯(cuò)，如果你熟悉Python的話，Java等編程語言，你也可以自己編程來抓取數(shù)據(jù)，網(wǎng)上有相關(guān)教程和資料，介紹很詳細(xì)，如果你感興趣，可以搜索，希望以上分享的內(nèi)容能對你有所幫助，也歡迎評論，留言補(bǔ)充。