爬蟲(chóng)怎么爬取js動(dòng)態(tài)生成的數(shù)據(jù)？我用Jsoup寫(xiě)爬蟲(chóng)，一般遇到html返回沒(méi)有的內(nèi)容。但是瀏覽器顯示有的內(nèi)容。都是分析頁(yè)面的http請(qǐng)求日志。分析頁(yè)面JS代碼來(lái)解決。1、有些頁(yè)面元素被隱藏起來(lái)了-gt

爬蟲(chóng)怎么爬取js動(dòng)態(tài)生成的數(shù)據(jù)？

我用Jsoup寫(xiě)爬蟲(chóng)，一般遇到html返回沒(méi)有的內(nèi)容。但是瀏覽器顯示有的內(nèi)容。都是分析頁(yè)面的http請(qǐng)求日志。分析頁(yè)面JS代碼來(lái)解決。

1、有些頁(yè)面元素被隱藏起來(lái)了-gt換selector解決

2、有些數(shù)據(jù)保存在js/json對(duì)象中-gt截取對(duì)應(yīng)的串，分析解決

3、通過(guò)api接口調(diào)用-gt偽造請(qǐng)求獲得數(shù)據(jù)

還有一個(gè)終極方法

4、使用phantomjs或者casp

C語(yǔ)言，將用戶(hù)輸入的字符串中的所有數(shù)字提取出來(lái)？

用javascript編寫(xiě)一個(gè)函數(shù)做的：

你試試看 function chek(){ var char#34123abcd4ef56g7#34

var a#34#34 var b#34#34

for(var i0iltchar.l:#34 a #34 數(shù)字:#34 b) }

Token是什么？和session、cookie相比，使用場(chǎng)景有什么區(qū)別？

在Web開(kāi)發(fā)領(lǐng)域，相信大家對(duì)于Cookie和Session都很熟悉，Cookie和Session都是會(huì)話(huà)保持技術(shù)的解決方案。隨著技術(shù)的發(fā)展，Token機(jī)制出現(xiàn)在我們面前，不過(guò)很多開(kāi)發(fā)者對(duì)于Token和Cookie、Session的區(qū)別及使用場(chǎng)景分辨不清。

Cookie和Session的用途要知道我們?cè)L問(wèn)網(wǎng)站都是通過(guò)HTTP協(xié)議或HTTPS協(xié)議來(lái)完成的，HTTP協(xié)議它本身是無(wú)狀態(tài)的協(xié)議（即：服務(wù)器無(wú)法分辨哪些請(qǐng)求是來(lái)源于同個(gè)客戶(hù)）。而業(yè)務(wù)層面會(huì)涉及到客戶(hù)端與服務(wù)器端的交互（同網(wǎng)站下多個(gè)頁(yè)面間能共享數(shù)據(jù)），此時(shí)服務(wù)器端必須要保持會(huì)話(huà)狀態(tài)，這樣才能進(jìn)行用戶(hù)身份的鑒別。

由于HTTP無(wú)狀態(tài)的特性，如果要實(shí)話(huà)客戶(hù)端和服務(wù)器端的會(huì)話(huà)保持，那就需要其它機(jī)制來(lái)實(shí)現(xiàn)，于是Cookie和Session應(yīng)運(yùn)而生。

通常情況下，Session和Cookie是搭配在一起使用的。

Token是什么上面說(shuō)到的Session和Cookie機(jī)制來(lái)保持會(huì)話(huà)，會(huì)存在一個(gè)問(wèn)題：客戶(hù)端瀏覽器只要保存自己的SessionID即可，而服務(wù)器卻要保存所有用戶(hù)的Session信息，這對(duì)于服務(wù)器來(lái)說(shuō)開(kāi)銷(xiāo)較大，而且不利用服務(wù)器的擴(kuò)展（比如服務(wù)器集群時(shí)，Session如何同步存儲(chǔ)是個(gè)問(wèn)題)！

所以有些人認(rèn)為，如果會(huì)話(huà)信息由客戶(hù)端保存并且無(wú)法偽造，就可以 這個(gè)問(wèn)題不能解決嗎？然后是令牌機(jī)制。

Token，俗稱(chēng) "token "，由以下部分組成:

Uid:用戶(hù)的唯一標(biāo)識(shí)。

時(shí)間戳:當(dāng)前時(shí)間戳

Sign:防止第三方偽造數(shù)據(jù)的簽名字符串；簽名密鑰存儲(chǔ)在服務(wù)器上，其他任何人都無(wú)法知道。

其他附加參數(shù)。

令牌機(jī)制下的認(rèn)證過(guò)程實(shí)際上與Cookie機(jī)制非常相似，主要有以下過(guò)程:

1.用戶(hù)登錄進(jìn)行身份認(rèn)證，認(rèn)證成功后，服務(wù)器生成令牌并返回給客戶(hù)端；

2.客戶(hù)端收到令牌后，保存在客戶(hù)端(可以保存在Cookie、LocalStorage、SessionStorage中)；

3.當(dāng)客戶(hù)端再次請(qǐng)求服務(wù)器時(shí)，將令牌作為請(qǐng)求頭放入頭中；

4.服務(wù)器接收請(qǐng)求頭中的令牌，并根據(jù)已建立的規(guī)則再次對(duì)用戶(hù)參數(shù)進(jìn)行簽名。如果兩個(gè)簽名一致，則認(rèn)為成功，否則數(shù)據(jù)篡改請(qǐng)求失敗。

(生成簽名示例圖)

(驗(yàn)證簽名示例圖)

令牌和Cookie會(huì)話(huà)Cookie的區(qū)別實(shí)際上是充當(dāng)一個(gè)令牌，但它是 "有狀態(tài) "Token token是無(wú)狀態(tài)的，更有利于分布式部署。

那個(gè) 這是我的看法。你怎么看待這個(gè)問(wèn)題？歡迎在下方評(píng)論區(qū)交流~我是科技領(lǐng)域的創(chuàng)作者，有十年互聯(lián)網(wǎng)行業(yè)經(jīng)驗(yàn)。歡迎關(guān)注我了解更多科技知識(shí)！