各位python達人，怎樣寫一個爬取網站目錄的？如果需要少量數據，可以使用python2附帶的urllib2爬蟲程序。如果你想要大量的數據，你需要一個特殊的爬蟲框架，scratch。作為一個爬蟲，你首

各位python達人，怎樣寫一個爬取網站目錄的？

如果需要少量數據，可以使用python2附帶的urllib2爬蟲程序。如果你想要大量的數據，你需要一個特殊的爬蟲框架，scratch。作為一個爬蟲，你首先需要分析你想要爬網的網頁的頁面結構，也就是說，你需要知道你想要的元素在DOM樹中的位置，然后使用可以操作DOM的包，比如beautiful soup或者XPath，來解析DOM，得到你想要的值，用Python抓取web信息時，需要學習幾個模塊，如urlib、urllib2、urllib3、requests、httplib和re模塊（即正則表達式）。根據不同的場景，采用不同的模塊來高效、快速地解決問題。

）：

這抓取新浪主頁的源代碼。這是整個網頁的信息。如果你想提取有用的信息，你必須學會使用字符串方法或正則表達式。

平時多在網上閱讀文章和教程，很快就能學會。

。