如何抓取網(wǎng)站里面的數(shù)據(jù) 如何用python抓取js生成的數(shù)據(jù)?
如何用python抓取js生成的數(shù)據(jù)?有幾種方法,如phantom JS、WebKit、selenium等。如果您對(duì)爬行的性能沒有任何要求,請(qǐng)嘗試selenium或Watir。Web自動(dòng)化測(cè)試腳本可以
如何用python抓取js生成的數(shù)據(jù)?
有幾種方法,如phantom JS、WebKit、selenium等。如果您對(duì)爬行的性能沒有任何要求,請(qǐng)嘗試selenium或Watir。Web自動(dòng)化測(cè)試腳本可以很好地使用它做很多事情。使用瀏覽器執(zhí)行JS,然后從dom獲取數(shù)據(jù)。另一方面,如果你知道JS通過Ajax或API獲取數(shù)據(jù),你可以直接獲取數(shù)據(jù)源,得到JSON或XML,然后處理數(shù)據(jù)
如果你對(duì)爬行的性能沒有任何要求,可以試試selenium或Watir。Web自動(dòng)化測(cè)試腳本可以很好地使用它做很多事情。使用瀏覽器執(zhí)行JS,然后從dom獲取數(shù)據(jù)。另一方面,如果您知道JS是通過Ajax或API獲取數(shù)據(jù)的,那么直接轉(zhuǎn)到數(shù)據(jù)源,獲取JSON或XML,然后處理數(shù)據(jù)