用Python寫(xiě)爬蟲(chóng)，用什么方式、框架比較好？我更多地使用我自己的刮痕。當(dāng)然，較小的項(xiàng)目是直接請(qǐng)求的。數(shù)據(jù)庫(kù)，再看需求，小項(xiàng)目直接用SQLite，MySQL和mongodb也可以關(guān)于Python爬蟲(chóng)，

用Python寫(xiě)爬蟲(chóng)，用什么方式、框架比較好？

我更多地使用我自己的刮痕。當(dāng)然，較小的項(xiàng)目是直接請(qǐng)求的。數(shù)據(jù)庫(kù)，再看需求，小項(xiàng)目直接用SQLite，MySQL和mongodb也可以

關(guān)于Python爬蟲(chóng)，有很多第三方庫(kù)，比如scratch等，小編寫(xiě)了一系列的文章，關(guān)于爬蟲(chóng)，可以參考學(xué)習(xí)，[大數(shù)據(jù)開(kāi)發(fā)工件-Scratch spider框架（代碼輸入部分）-今天的標(biāo)題]https://m.toutiaocdn.com/i6612149341303865859/？app=newsuarticle&timestamp=1599008220&useuunewustyle=1&reqid=202009020857002103422021488be6&groupid=6612149341303865859&ttfrom=copylink&utmsource=copylink&utmmedium=toutiaoios&utmcampaign=clientushare

首先，我們需要弄清楚我們能看到的所有網(wǎng)頁(yè)，無(wú)論是文本，圖片或動(dòng)畫(huà)，用HTML標(biāo)記，然后瀏覽器會(huì)以視覺(jué)和美學(xué)的方式向我們展示這些標(biāo)記。如果我們想做網(wǎng)絡(luò)爬蟲(chóng)，那么我們的爬蟲(chóng)就沒(méi)有視覺(jué)，只有邏輯，只有爬蟲(chóng)眼中的HTML標(biāo)簽，而其他東西在爬蟲(chóng)眼中，表達(dá)式都是浮云，所以爬蟲(chóng)其實(shí)是在讀HTML標(biāo)簽（這里涉及的一個(gè)知識(shí)點(diǎn)就是獲取HTML標(biāo)簽）。一個(gè)需要使用的庫(kù)是請(qǐng)求庫(kù)（通過(guò)web請(qǐng)求獲取HTML元素），然后從HTML標(biāo)記中提取它們想要的內(nèi)容。這是一個(gè)網(wǎng)絡(luò)爬蟲(chóng)。邏輯就這么簡(jiǎn)單。如果您有使用python的經(jīng)驗(yàn)，建議您使用crawler框架scratch