被我們公司的后端大佬說(shuō)你們前端真的沒(méi)什么技術(shù)含量，我該怎么懟回去？直接回復(fù)：dute正在移動(dòng)磚塊。你還有優(yōu)越感嗎？他們都是敢死隊(duì)。你還在死亡的路上嗎？你覺(jué)得自己優(yōu)越嗎？webmagic怎么做成分布式的

被我們公司的后端大佬說(shuō)你們前端真的沒(méi)什么技術(shù)含量，我該怎么懟回去？

直接回復(fù)：dute正在移動(dòng)磚塊。你還有優(yōu)越感嗎？他們都是敢死隊(duì)。你還在死亡的路上嗎？你覺(jué)得自己優(yōu)越嗎？

webmagic怎么做成分布式的？

本文構(gòu)建了一個(gè)基于redis的分布式爬蟲(chóng)實(shí)現(xiàn)，代碼如下：

public class redischeduler implements scheduler{

private jedispool pool

private static final string queueuprefix=“queueu”

private static final string SETuprefix=“SETu”

public redischeduler（string host）{

pool=new jedispool（new jedispool config（）主機(jī)）

}

@Override

public void push（請(qǐng)求，任務(wù)）{

Jedis Jedis=池.getResource（）

//使用sortedset進(jìn)行URL重復(fù)數(shù)據(jù)消除

如果（絕地武士團(tuán)（設(shè)置前綴）任務(wù).getUUID()， 請(qǐng)求.getUrl（））==null）{

//用列表保存隊(duì)列絕地武士（隊(duì)列前綴）任務(wù).getUUID()， 請(qǐng)求.getUrl())

　　 絕地武士扎德（設(shè)置前綴）任務(wù).getUUID()， System.currentTimeMillis公司()， 請(qǐng)求.getUrl（））

}

}

@Override

公共請(qǐng)求輪詢（任務(wù)）{

Jedis Jedis=池.getResource（）

字符串url=絕地武士.lpop（隊(duì)列前綴）任務(wù).getUUID（））

返回新請(qǐng)求（url）

}

}