Python自動化測試和爬蟲哪個方向比較好呢？很糾結(jié)以后是做自動化測試還是爬蟲？我對這兩個帖子很熟悉，所以我敢說幾句。1. 自動測試和爬蟲是兩個不同的方向。盡管看起來很多技術(shù)棧是相同的（seleniu

Python自動化測試和爬蟲哪個方向比較好呢？很糾結(jié)以后是做自動化測試還是爬蟲？

我對這兩個帖子很熟悉，所以我敢說幾句。

1. 自動測試和爬蟲是兩個不同的方向。盡管看起來很多技術(shù)棧是相同的（selenium和appnium、數(shù)據(jù)包捕獲工具等），crawler的核心是反爬網(wǎng)，而測試的核心是業(yè)務。

2. 爬蟲崗位核心競爭力：爬蟲是反爬蟲，即反爬蟲能力。許多目標網(wǎng)站可以通過定義字體庫和識別瀏覽器指紋來實現(xiàn)反爬網(wǎng)。僅僅通過selenium等渲染工具無法滿足一個合格的爬蟲工程師的技術(shù)要求。讓我說爬行動物最需要的是對抗能力。如果他們沒有很強的自學能力和抗壓能力，最好做這類業(yè)務的測試工作，否則幾年后就可能下崗。

3. 測試崗：大部分測試都是純業(yè)務，不同于爬蟲的對抗崗。工作中幾乎沒有未知的場景，因此相對而言，更大的壓力在于業(yè)務場景。我只想評判這部分。

4. 就業(yè)與市場：測試的崗位需求遠大于爬蟲，升級曲線相對平穩(wěn)。如果你對自己的能力不是很有信心，建議進行測試。爬蟲是一種比較復雜的工作，一開始可能很難找到工作。不過，高中畢業(yè)后的工資還是不錯的，后期的技術(shù)發(fā)展前景也比較好，但估計能堅持下來的人很少（堅持下來的基本上都是丹尼爾）。事實上，很多人會做整個堆棧或后端。畢竟爬蟲確實是一項艱苦的工作，而且它有很好的爬蟲能力（基本的前后都比較熟悉）。

最后：事實上，這取決于個人職業(yè)規(guī)劃。如果你對自己的能力更有信心，你可以成為一個爬蟲。如果你想要穩(wěn)定性，你應該做自動化測試。畢竟，爬蟲太難了。

Python是什么，什么是爬蟲？具體該怎么學習？

Python是為數(shù)不多的既簡單又功能強大的編程語言之一。它易于學習和理解，易于上手，代碼更接近自然語言和正常的思維方式。據(jù)統(tǒng)計，Python是世界上最流行的語言之一。

爬蟲是利用爬蟲技術(shù)捕獲論壇、網(wǎng)站數(shù)據(jù)，將所需數(shù)據(jù)保存到數(shù)據(jù)庫或特定格式的文件中。

具體學習：

1）首先，學習python的基本知識，了解網(wǎng)絡請求的原理和網(wǎng)頁的結(jié)構(gòu)。

2）視頻學習或找專業(yè)的網(wǎng)絡爬蟲書學習。所謂“前輩種樹，后人乘涼”，按照大神的步驟進行實際操作，就能事半功倍。

3）網(wǎng)站的實際操作，在有了爬蟲的想法后，找到更多的網(wǎng)站進行操作。

寫爬蟲用什么語言好？

爬蟲選擇什么工具？

1. Crawler是一個網(wǎng)絡蜘蛛機器人，它能自動地抓取數(shù)據(jù)并根據(jù)我們的規(guī)則獲取數(shù)據(jù)

2。為什么使用爬蟲？私人定制搜索引擎獲取更多數(shù)據(jù)的時代不再是互聯(lián)網(wǎng)時代，而是大數(shù)據(jù)時代

3。爬蟲的原理：控制節(jié)點（URL分配器）、爬蟲節(jié)點（根據(jù)算法抓取數(shù)據(jù)并存儲在數(shù)據(jù)庫中）、資源庫（存儲爬蟲數(shù)據(jù)庫提供搜索）。爬蟲的設計思想：爬蟲的網(wǎng)絡地址，通過HTTP協(xié)議得到相應的HTML頁面

5。爬蟲語言選擇：

PHP:雖然被評為“世界上最好的語言”，但作為爬蟲的缺點：沒有多線程的概念，對異步的支持很少，并發(fā)性不足，爬蟲對效率的要求很高

C/C Java:python最大的競爭對手，它非常龐大和笨重。爬蟲需要經(jīng)常修改代碼

Python：語言優(yōu)美，代碼介紹，多方功能模塊，調(diào)用替代語言接口，成熟的高分布式策略

PYT Java]Java有很多解析器，非常支持網(wǎng)頁解析。缺點是有很多Java開源爬蟲，比如nutch，中國有優(yōu)秀的webmagicjava解析器，比如Htmlparser和jsoup，可以滿足Java和python的通用需求。如果需要模擬登陸和反采集，選擇python更方便。如果需要處理復雜的網(wǎng)頁，解析網(wǎng)頁內(nèi)容生成結(jié)構(gòu)化數(shù)據(jù)或精細解析網(wǎng)頁內(nèi)容，可以選擇Java。

java和python在爬蟲方面的優(yōu)勢和劣勢是什么？

根據(jù)課題的描述，課題要解決的主要問題是：如何基于復雜場景（多接口耦合）進行接口自動測試。

以上最佳實踐也是很多洞，涉水而出。我嘗試了很多方法，甚至開發(fā)了一個關(guān)鍵字驅(qū)動的自動化測試框架。讓我們談談基于場景的自動化的困難，以及為什么最終選擇Python robot框架。

參照關(guān)鍵字驅(qū)動測試的思想，將接口請求發(fā)送、響應驗證和響應內(nèi)容返回三部分封裝為“請求驗證”關(guān)鍵字。

同時封裝“content extraction”關(guān)鍵字，提取接口響應體的具體數(shù)據(jù)。這樣就可以得到前一個接口返回的具體數(shù)據(jù)作為下一個接口的輸入?yún)?shù)。

就是這樣。任何場景都可以通過“request verification”關(guān)鍵字、“content extraction”關(guān)鍵字和“request verification”關(guān)鍵字進行驗證

這里我們需要考慮選擇哪些方法和工具。首先，基于測試庫體系結(jié)構(gòu)框架的思想，用Python實現(xiàn)了關(guān)鍵字方法。robot框架工具的核心思想是關(guān)鍵字驅(qū)動，其主要功能是關(guān)鍵字庫、資源導入和用例編寫。建議將關(guān)鍵字方法作為庫導入后，每個關(guān)鍵字在自然語言中映射一次，方便業(yè)務測試人員使用。

Robot框架還支持數(shù)據(jù)驅(qū)動。你可以了解它。