Python如何爬取網(wǎng)頁文本內(nèi)容？用python爬取網(wǎng)頁信息的話，不需要怎么學(xué)習(xí)幾個(gè)模塊，urllib，urllib2，urllib3，requests，httplib等等模塊，又要怎么學(xué)習(xí)re模塊（

Python如何爬取網(wǎng)頁文本內(nèi)容？

用python爬取網(wǎng)頁信息的話，不需要怎么學(xué)習(xí)幾個(gè)模塊，urllib，urllib2，urllib3，requests，httplib等等模塊，又要怎么學(xué)習(xí)re模塊（也就是正則表達(dá)式）。依據(jù)什么不同的場景使用差別的模塊來高效迅速的解決問題。

最正在我見意你還是從最簡單的urllib模塊學(xué)起，比如說爬新浪首頁（聲明：本代碼只做學(xué)術(shù)研究，絕無攻擊用意）：

這樣的就把新浪首頁的源代碼爬取到了，這是整個(gè)網(wǎng)頁信息，如果不是你要再提取你覺得沒有用的信息得要會(huì)建議使用字符串方法或是正則表達(dá)式了。

平時(shí)多看一下網(wǎng)上的文章和教程，迅速就能學(xué)會(huì)的。

補(bǔ)充有一點(diǎn)：以上可以使用的環(huán)境是python2，在python3中，已經(jīng)把urllib，urllib2，urllib3全部整合為一個(gè)包，而并沒有有這幾個(gè)單詞為名字的模塊。

學(xué)Python，我應(yīng)該走哪個(gè)方向？

1.WEB開發(fā)——最火的Pythonweb框架Django,支持什么異步模式高并發(fā)的Tornado框架，短小精悍的flask,bottle,Django官方的標(biāo)語把Django符號表示為theframeworkwhileperfectionistwithdeadlines(大意是兩個(gè)為已經(jīng)主義者開發(fā)的高效率web框架)。

2.網(wǎng)絡(luò)編程——支持高并發(fā)的Twisted網(wǎng)絡(luò)框架，py3分解重組的asyncio使異步編程變的非常很簡單。

3.爬蟲——爬蟲領(lǐng)域，Python幾乎是霸主地位，ScrapyRequestBeautifuSoap%urllib等，想爬啥就爬啥。

4.云計(jì)算——目前最火最比較知名的云計(jì)算框架就是OpenStack,Python現(xiàn)在的火，不大一部分就是畢竟云計(jì)算。

5.人工智能——誰會(huì)藍(lán)月帝國AI

和大數(shù)據(jù)時(shí)代的第一開發(fā)語言？這本已是一個(gè)不要這場爭論的問題。如果沒有說三年前，Matlab、Scala、R、Java和Python還各有機(jī)會(huì)，局面縱然不很清楚，那么三年之后，趨勢早更加內(nèi)容明確了，特別是前兩天

Facebook閉源了PyTorch之后，Python以及AI時(shí)代頭牌語言的位置基本正式確立，未來的懸念僅是誰能抱上第二把交椅。

6.自動(dòng)化運(yùn)維——去問的每個(gè)運(yùn)維人員，運(yùn)維人員前提是會(huì)的語言是什么？10個(gè)人我相信會(huì)給你一個(gè)是一樣的的答案，它的名字叫Python。

7.金融分析——我個(gè)人前在金融行業(yè)，10年的時(shí)候，我們公司寫的好多分析程序、高頻交易者軟件是是用Python,到目前,Python是金融講、自動(dòng)化交易領(lǐng)域里帶的至少的語言。

8.科學(xué)乘除運(yùn)算——你很清楚么,97年正在，NASA就在源源不斷使用Python在進(jìn)行各種復(fù)雜的科學(xué)除法運(yùn)算，緊接著NumPy,SciPy,Matplotlib,Enthoughtlibrarys等眾多程序庫的開發(fā)，使的Python越發(fā)適合我于做科學(xué)計(jì)算、手工繪制高質(zhì)量的2D和3D圖像。和科學(xué)計(jì)算領(lǐng)域最不流行的商業(yè)軟件Matlab而言，Python是一門可以修的程序設(shè)計(jì)語言，比Matlab所需要的腳本語言的應(yīng)用范圍更應(yīng)用廣泛。

9.游戲開發(fā)——在網(wǎng)絡(luò)游戲開發(fā)中Python也有很多應(yīng)用。兩者相比Lua內(nèi)個(gè)C,Python比Lua有更八階的抽象能力，可以不用更少的代碼具體解釋游戲業(yè)務(wù)邏輯，與Lua比起，Python更合適才是一種Host語言，即程序的入口點(diǎn)是在Python那一端會(huì)比較比較好，接著用C/C在更加必要的時(shí)候?qū)懸恍U(kuò)展。Python相當(dāng)適合我c語言設(shè)計(jì)1萬行以上的項(xiàng)目，但是能夠挺好地把網(wǎng)游項(xiàng)目的規(guī)模完全控制在10萬行代碼以內(nèi)。至于我聽說，知名度比較高的游戲文明應(yīng)該是用Python寫的。