本發明公開了一種網絡爬蟲的任務有效性檢測方法、裝置和設備及存儲介質,用于檢測網絡爬蟲執行采集任務的有效性。該方法包括:記錄網絡爬蟲在執行爬取網頁數據任務的過程中的日志;對日志進行處理和分析,以確定在預設時間段內與主URL相關的至少一個指標的值,其中,一個主URL對應多個子URL,所述至少一個指標的值是基于所述主URL以及所述主URL對應的子URL的日志進行確定的;確定所述至少一個指標中任一指標的值是否大于或者等于每個指標自身對應的預設閾值,其中,一個指標對應一個預設閾值;若確定結果為是,則確定上述任一指標的值大于或者等于對應的預設閾值的主URL所對應的任務失效。
聲明:
“網絡爬蟲的任務有效性檢測方法、裝置和設備及存儲介質” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
我是此專利(論文)的發明人(作者)