Marketing / SEO - Google 具有兩種爬蟲 Discovery & Refresh

在 2022/01/07 的一場 Google SEO 視訊 上 Google 的研究人員 John Mueller 提到了這個資訊。 以下節錄重點 Googlebot 並不會以網站為單位的去抓取資料，而是會以一個網頁為單位的去抓資料。會有兩種爬蟲來去處理。 Discovery 爬蟲會用來發掘網站中的新頁面 Refresh 爬蟲則爬取那些更新的網頁，且是已發掘過的網頁 所以當發現某些頁面並不常更新的話，Googlebot 就不會那麼常去爬取網頁了。Googlebot 會識別這些網站並調整...