網站搭建
如何設置robots來避免蜘蛛黑洞
發布時間：2021-07-24 點擊：1205
對于百度搜索引擎來說，蜘蛛黑洞是指網站以極低的成本創建大量參數過多、內容相同但具體參數不同的動態URL。它就像一個無限的圓形“黑洞”困住了蜘蛛。Baiduspider浪費了大量的資源，抓取了無效的web頁面。
例如，許多網站都有篩選功能。通過篩選功能生成的網頁往往被搜索引擎捕獲，其中很大一部分具有較低的檢索價值，如“以500-1000的價格出租房屋”。首先，網站（包括現實中的）基本上沒有相關資源。其次，站內用戶和搜索引擎用戶沒有這種檢索習慣。這類網頁是由搜索引擎進行抓取的，只能占用網站寶貴的抓取配額。那么如何避免這種情況呢？
robots.txt的文件用法中有一個規則：disallow:/*？*，也就是說，禁止搜索引擎訪問網站中的所有動態頁面。這樣，網站優先顯示高質量頁面，屏蔽低質量頁面，為Baiduspider提供了更加友好的網站結構，避免了黑洞的形成。
