代碼 為什么我們不會(huì)代碼的人一般對(duì)網(wǎng)絡(luò)“爬蟲(chóng)”軟件不感興趣?
為什么我們不會(huì)代碼的人一般對(duì)網(wǎng)絡(luò)“爬蟲(chóng)”軟件不感興趣?對(duì)于那些不會(huì)寫(xiě)代碼和看代碼的人來(lái)說(shuō),爬蟲(chóng)軟件既麻煩又不合理。這是浪費(fèi)時(shí)間??梢灾苯訌幕ヂ?lián)網(wǎng)上復(fù)制和粘貼網(wǎng)頁(yè)。當(dāng)然可以,但是使用起來(lái)不是很靈活。不用
為什么我們不會(huì)代碼的人一般對(duì)網(wǎng)絡(luò)“爬蟲(chóng)”軟件不感興趣?
對(duì)于那些不會(huì)寫(xiě)代碼和看代碼的人來(lái)說(shuō),爬蟲(chóng)軟件既麻煩又不合理。這是浪費(fèi)時(shí)間??梢灾苯訌幕ヂ?lián)網(wǎng)上復(fù)制和粘貼網(wǎng)頁(yè)。當(dāng)然可以,但是使用起來(lái)不是很靈活。不用Python和其他語(yǔ)言處理數(shù)據(jù)很容易。接下來(lái),簡(jiǎn)要介紹Excel數(shù)據(jù)采集的過(guò)程,以及實(shí)驗(yàn)環(huán)境win7office2013,主要內(nèi)容如下:
1。創(chuàng)建一個(gè)新的EXCEL文件,雙擊打開(kāi)該文件,然后選擇“數(shù)據(jù)”->“來(lái)自網(wǎng)絡(luò)”,如下所示:
2。在彈出子窗口中輸入要抓取的頁(yè)面,在此處抓取http://www.pm25.in/rank以頁(yè)面數(shù)據(jù)為例,分別點(diǎn)擊“go”—>“import”,如下所示:
3。導(dǎo)入成功后,數(shù)據(jù)如下:如果要定期刷新數(shù)據(jù),可以點(diǎn)擊“全部刷新”->“連接屬性”自定義刷新頻率。默認(rèn)值為60分鐘:
在彈出的“選擇屬性”窗口中,設(shè)計(jì)刷新頻率并定期刷新數(shù)據(jù):
到目前為止,我們已經(jīng)完成使用Excel抓取數(shù)據(jù)。一般來(lái)說(shuō),整個(gè)過(guò)程很簡(jiǎn)單,但是靈活性不是很高,如果頁(yè)面比較復(fù)雜,捕獲的數(shù)據(jù)量也比較多,后期直接在Excel中處理也不是很方便,問(wèn)題的主人已經(jīng)懂python了,所以建議用python直接捕獲,這是很好的更靈活。Python提供了很多爬蟲(chóng)包和框架,比如requests、BS4、lxml、scrapy等,可以快速抓取數(shù)據(jù),也方便后期處理(比如panda、numpy等),學(xué)習(xí)一下吧,你可以很快開(kāi)始,網(wǎng)上有相關(guān)的資料和教程,希望上面的分享內(nèi)容能對(duì)你有所幫助。