網(wǎng)絡(luò)爬蟲(chóng)原理：聚焦爬蟲(chóng)的工作原理和過(guò)程

聚焦網(wǎng)絡(luò)爬蟲(chóng)面向有特殊需求的人群，它會(huì)根據(jù)預(yù)先設(shè)定的主題順著某個(gè)垂直領(lǐng)域進(jìn)行抓取，而不是漫無(wú)目的地隨意抓取。與通用網(wǎng)絡(luò)爬蟲(chóng)相比，聚焦網(wǎng)絡(luò)爬蟲(chóng)會(huì)根據(jù)一定的網(wǎng)頁(yè)分析算法對(duì)網(wǎng)頁(yè)進(jìn)行篩選，保留與主題有關(guān)的網(wǎng)頁(yè)鏈接，舍棄與主題無(wú)關(guān)的網(wǎng)頁(yè)鏈接。其目的性更強(qiáng)。聚焦網(wǎng)絡(luò)爬蟲(chóng)的工作原理如圖1所示。

關(guān)于圖1中各環(huán)節(jié)的介紹如下。

(1)根據(jù)需求確定聚焦網(wǎng)絡(luò)爬蟲(chóng)的采集目標(biāo)，以及進(jìn)行相關(guān)的描述。

(2)獲取初始URL。

(3)根據(jù)初始URL抓取對(duì)應(yīng)的網(wǎng)頁(yè)，并獲得新LRL。

(4)從新URL中過(guò)濾掉與采集目標(biāo)無(wú)關(guān)的URL。因?yàn)榫劢咕W(wǎng)絡(luò)爬蟲(chóng)對(duì)網(wǎng)頁(yè)的采集有著明確的目標(biāo)，所以與目標(biāo)無(wú)關(guān)的URL都會(huì)被過(guò)濾掉。

(5)將過(guò)濾后的URL放入U(xiǎn)RL隊(duì)列。

(6)根據(jù)一定的抓取策略，從URL隊(duì)列中確定URL優(yōu)先級(jí)，并確定下一步要抓取的URL。

圖1 聚焦網(wǎng)絡(luò)爬蟲(chóng)的工作原理

(7)從下一步要抓取的URL中讀取新URL，以準(zhǔn)備根據(jù)新URL抓取下一個(gè)網(wǎng)頁(yè)。

(8)若聚焦網(wǎng)絡(luò)爬蟲(chóng)滿足設(shè)置的停止條件，或沒(méi)有可獲取的URL時(shí)，停止采集;若網(wǎng)絡(luò)爬蟲(chóng)沒(méi)有滿足設(shè)置的停條件，則繼續(xù)根據(jù)新URL抓取對(duì)應(yīng)的網(wǎng)頁(yè)，并重復(fù)步驟(3)~步驟(8)。

綜上所述，聚焦網(wǎng)絡(luò)爬蟲(chóng)的工作原理較為復(fù)雜。除了做通用網(wǎng)絡(luò)爬蟲(chóng)的任務(wù)之外，聚焦網(wǎng)絡(luò)爬蟲(chóng)還需要多做3個(gè)任務(wù)，包括確定采集目標(biāo)、過(guò)濾與采集目標(biāo)無(wú)關(guān)的URL，以及確定下一步要抓取的URL。