廣州網站最佳化公司淺談百度蜘蛛索引抓取網頁的速度為什麼變慢了

網頁被百度蜘蛛抓取之後☁•，會拿回去分析☁•，如果有價值☁•，會放入索引庫☁•，使用者透過搜尋引擎才能找到這個網頁☁•，因此網頁能夠順利的被抓取是一切SEO行為的基礎☁•，下面跟著廣州網站最佳化公司一起來看一下哪些原因能夠導致抓取失敗·│▩│↟：

一▩·、url規範

百度支援抓取的url長度不超過1024☁•，如果您的連結長度過長☁•，請在保證正常訪問的情況下☁•，適當精簡☁•，保證連結能被百度正常抓取和收錄•↟₪✘◕。

二▩·、重定向錯誤

重定向是指百度spider訪問連結時發生了跳轉☁•，如果跳轉後的連結超長或者連續跳轉的次數超過5次☁•，就會發生重定向錯誤而導致抓取失敗•↟₪✘◕。

三▩·、伺服器連線錯誤

這種情況是指☁•，由於伺服器響應過慢或您的網站遮蔽了百度spider☁•，而導致百度無法訪問您的網站•↟₪✘◕。從而會導致百度無法正常收錄或者更新您網站的內容•↟₪✘◕。您可能看到以下具體錯誤·│▩│↟：連線超時▩·、連線失敗▩·、連線被拒▩·、無響應▩·、響應遭到截斷▩·、連線重置▩·、標頭遭到截斷▩·、超時•↟₪✘◕。

如何處理伺服器連線錯誤↟│？

減少動態網頁請求的過多網頁載入•↟₪✘◕。如果網站為多個網址提供相同內容☁•，則會被視為動態提供內容（例如☁•，www.example.com/shoes.php?color=red&size=7與www.example.com/shoes.php?size=7&color=red提供的內容相同）•↟₪✘◕。動態網頁的響應時間可能會很長☁•，並會因此導致超時問題•↟₪✘◕。或者☁•，伺服器可能會返回超載狀態☁•，要求百度spider放慢抓取該網站的速度•↟₪✘◕。一般來說☁•，建議您儘量使用簡短的引數並謹慎使用•↟₪✘◕。

確保您網站的託管伺服器沒有停止執行▩·、超載或配置不當•↟₪✘◕。如果連線問題▩·、超時問題或響應問題仍然存在☁•，請與您的網站託管服務提供商聯絡☁•，並考慮增強您的網站處理流量的能力•↟₪✘◕。

檢查網站是否不小心遮蔽了百度spider的IP•↟₪✘◕。您可能會由於系統級問題而阻止了百度訪問☁•，例如DNS配置問題▩·、配置不當的防火牆或DoS防護系統▩·、內容管理系統配置問題•↟₪✘◕。防禦系統是保證託管服務正常執行的關鍵因素之一☁•，並且這些系統通常會配置為自動阻止超量的伺服器請求•↟₪✘◕。由於百度spider發出的請求通常要比普通使用者多☁•，因此可能會觸發這些防禦系統☁•，導致它們阻止百度spider訪問並抓取您的網站•↟₪✘◕。要解決此類問題☁•，您需要確定網站基礎架構中的哪個部分在阻止百度spider☁•，然後取消該阻止•↟₪✘◕。如果您沒有控制防火牆的許可權☁•，就需要與您的託管服務提供商聯絡解決此問題•↟₪✘◕。

四▩·、robots封禁問題

在抓取診斷工具中如果返回的抓取失敗結論是robots封禁☁•，請確認您是否對該網址設定了robots☁•，阻止百度spider抓取網站的某些內容☁•，如果您未使用robots檔案遮蔽百度☁•，請點選旁邊的報錯連結☁•，百度會立即更新您站點的robots資訊；如果是您的誤操作導致了封禁☁•，請及時修改robots檔案☁•，避免造成您的網站在百度收錄量和流量的下降•↟₪✘◕。

五▩·、DNS問題

DNS錯誤是指由於伺服器停止執行或DNS到您網域的路由存在問題☁•，導致百度spider無法與DNS伺服器通訊•↟₪✘◕。

如何處理DNS錯誤↟│？

確保百度能夠抓取您的網站•↟₪✘◕。對重要網頁（例如您的首頁）採用抓取診斷工具☁•，如果它能順利返回您的首頁內容☁•，那麼您就可以認為百度能夠正常訪問您的網站•↟₪✘◕。

對於持續的或反覆出現的DNS錯誤☁•，請與您的DNS提供商聯絡•↟₪✘◕。通常情況下☁•，您的DNS提供商即為網站託管服務提供商•↟₪✘◕。

配置您的伺服器☁•，使其能夠以404或500等HTTP錯誤程式碼對不存在的主機名作出響應•↟₪✘◕。

六▩·、404錯誤

一般情況下☁•，當百度spider訪問到不存在的網頁（因為您刪除或重新命名了網頁且沒有將舊網址重定向到新網頁☁•，或者連結中存在拼寫錯誤）時☁•，就會出現“未找到”狀態錯誤（通常是404 HTTP狀態程式碼）•↟₪✘◕。

七▩·、訪問遭拒絕

一般情況下☁•，百度會透過跟蹤網頁間的連結來查詢內容•↟₪✘◕。百度spider必須能夠訪問某個網頁才能抓取該網頁•↟₪✘◕。如果您意外地看到了“訪問遭拒”錯誤☁•，可能是由於以下幾種原因導致的·│▩│↟：

（1）百度spider無法訪問您網站上的網址☁•，因為您網站上的所有或部分內容要求使用者登入後才能檢視•↟₪✘◕。

（2）您的伺服器要求使用者使用代理進行身份驗證☁•，或者您的託管服務提供商阻止百度spider訪問您的網站•↟₪✘◕。

八▩·、引數錯誤

由於請求的語法格式有誤☁•，不符合伺服器對請求的某些限制☁•，或者請求本身存在一定的錯誤☁•，伺服器無法理解此請求☁•，導致抓取失敗•↟₪✘◕。

九▩·、socket讀寫錯誤

當百度spider訪問伺服器☁•，進行tcp通訊的時候☁•，socket讀寫發生異常☁•，導致資料不能正常返回•↟₪✘◕。請檢查伺服器連線狀況和防火牆設定是否符合預期•↟₪✘◕。

十▩·、讀取http頭或者頁面內容時失敗

您的伺服器收到了我們的完整請求☁•，但是返回資訊時不完整☁•，http頭或者響應正文發生了截斷☁•，導致網頁內容不能正常讀取•↟₪✘◕。