java和python在爬蟲方面的優(yōu)勢和劣勢是什么？python網(wǎng)絡(luò)功能強(qiáng)大，模擬登陸、解析javascript，短處是網(wǎng)頁解析python寫起程序來真的很便捷，著名的python爬蟲有scrapy等

java和python在爬蟲方面的優(yōu)勢和劣勢是什么？

python

網(wǎng)絡(luò)功能強(qiáng)大，模擬登陸、解析javascript，短處是網(wǎng)頁解析python寫起程序來真的很便捷，著名的python爬蟲有scrapy等

java

java有很多解析器，對網(wǎng)頁的解析支持很好，缺點(diǎn)是網(wǎng)絡(luò)部分java開源爬蟲非常多，著名的如 nutch 國內(nèi)有webmagicjava優(yōu)秀的解析器有htmlparser、jsoup對于一般性的需求無論java還是python都可以勝任。如需要模擬登陸、對抗防采集選擇python更方便些，如果需要處理復(fù)雜的網(wǎng)頁，解析網(wǎng)頁內(nèi)容生成結(jié)構(gòu)化數(shù)據(jù)或者對網(wǎng)頁內(nèi)容精細(xì)的解析則可以選擇java。

寫爬蟲用什么語言好？

爬蟲選擇什么工具呢？

1.爬蟲是網(wǎng)絡(luò)蜘蛛機(jī)器人，自動爬取數(shù)據(jù)，按我們制定的規(guī)則獲取數(shù)據(jù)

2.為什么要用爬蟲呢，私人定制搜索引擎，獲得更多的數(shù)據(jù)，不再是互聯(lián)網(wǎng)時代而是大數(shù)據(jù)時代

3.爬蟲的原理：控制節(jié)點(diǎn)（url分配器）、爬蟲節(jié)點(diǎn)（按照算法爬取數(shù)據(jù)存儲到數(shù)據(jù)庫）、資源庫（存儲爬取的數(shù)據(jù)庫供應(yīng)搜索）

4.爬蟲的設(shè)計思路：爬取的網(wǎng)絡(luò)地址、http協(xié)議獲取對應(yīng)的html頁面

5.爬蟲語言選擇：

PHP：雖然冠名“世界上最好的語言”，但是作為爬蟲的缺點(diǎn)：沒有多線程的概念，對異步的支持不多，并發(fā)不足，爬蟲要求效率高

C/c ：運(yùn)行效率和性能最高的語言，但是學(xué)習(xí)成本非常高，代碼成型較大

Java：生態(tài)圈非常廣大，python最大的競爭者，本身非常笨重體量積，爬蟲需要經(jīng)常修改代碼

Python：語言優(yōu)美、代碼簡介、第三方功能模塊多scrapy、調(diào)用替他語言接口、成熟較高的分布式策略

Python爬鏈接爬蟲怎么寫？

首先我們要清晰一點(diǎn)是，所有的網(wǎng)頁我們能看到的不管是文字還是圖片還是動畫，都是以html標(biāo)記的，然后瀏覽器把這些標(biāo)記可視化的美觀的展示給我們，如果我們要做網(wǎng)絡(luò)爬蟲，那么我們的爬蟲是沒有視覺的，只有邏輯，在爬蟲眼里只有html標(biāo)簽，其他的樣式在爬蟲眼里都是浮云，所以爬蟲其實(shí)就是讀取html標(biāo)簽(這里涉及一個知識點(diǎn)就是要能得到html標(biāo)簽，需要用到一個庫是request庫，通過網(wǎng)絡(luò)請求拿到html元素)，然后把html標(biāo)簽中自己想要的東西給提取出來，這個就是一個網(wǎng)絡(luò)爬蟲了。 邏輯就這么簡單。 如果有python使用經(jīng)驗的，建議使用爬蟲框架scrapy