如何用JAVA獲取html網(wǎng)頁中我所需要的數(shù)據(jù)？一般網(wǎng)頁（至少我們公司是）的翻頁功能都是如下方式：1，js向服務(wù)端請求json數(shù)據(jù)，傳遞給服務(wù)器的參數(shù)包括page和count兩個(gè)信息。2，js根據(jù)js

如何用JAVA獲取html網(wǎng)頁中我所需要的數(shù)據(jù)？

一般網(wǎng)頁（至少我們公司是）的翻頁功能都是如下方式：

1，js向服務(wù)端請求json數(shù)據(jù)，傳遞給服務(wù)器的參數(shù)包括page和count兩個(gè)信息。

2，js根據(jù)json將html輸出到某元素上。如果你要抓取的網(wǎng)頁是采用這種形式的話，你可以打開瀏覽器自帶的url請求追蹤功能，得到j(luò)s與服務(wù)器交互的url以及參數(shù)。程序中不停地加大page，獲取json數(shù)據(jù)并解析。當(dāng)然，如果網(wǎng)頁是采用非異步的翻頁模式，不是采用json通訊，而是每次都由服務(wù)器產(chǎn)生新頁面的話，你可能就需要解析html并獲取數(shù)據(jù)了，但是本質(zhì)上還是上面加粗的那一條：獲取與服務(wù)器交互的URL并請求數(shù)據(jù)。但愿我把這事兒說明白了；都說溝通是個(gè)技能點(diǎn)，答主貌似未曾點(diǎn)亮過.......