今天試著優(yōu)化一下查詢關鍵詞排名代碼百度關鍵詞排名如何,在有大量關鍵詞的時候百度關鍵詞排名如何,可能單線程查詢排名速度會比較慢,這次試著用進程和線程同時運行,查詢關鍵詞排名速度非??炝恕?/p>
首先運行一下效果看看:
檢測一下,查詢關鍵詞排名的準確性:
代碼核心原理
進程池+多線程實現(xiàn),進程池根據(jù)你電腦的cpu核數(shù)同時進行運行,線程池根據(jù)查詢頁數(shù)開啟線程數(shù)。前10頁依次查詢,遇到當前頁有排名,就return返回,不再執(zhí)行后面線程
def task_pool(): info = connect_db() # get_cookies() with ProcessPoolExecutor(max_workers=8) as executor: executor.map(main,list(info))def range_thr2(keyword,web_name): q = Queue() for page in range(0,100,10): t = Thread(target=spider_index,args=(keyword,q),kwargs={'page':str(page)}) t.start() html = q.get() ranking = parse_ranking(html,web_name) # print(ranking) t.join() return ranking這樣實現(xiàn)了快速查詢關鍵詞排名的任務了。
掃描二維碼推送至手機訪問。
版權聲明:本文由信途科技轉載于網(wǎng)絡,如有侵權聯(lián)系站長刪除。