對于SEO人員來說,百度官方的工具往往是用來查看站點指標是否符合預期。其中,“抓取診斷”是網(wǎng)絡管理員經(jīng)常使用的工具。許多網(wǎng)站管理員說,在網(wǎng)站上使用“抓取診斷”時,經(jīng)常會有診斷失敗的提示,那么問題是什么呢?
Web爬行診斷概述
百度抓取診斷工具,主要是從百度蜘蛛的角度來了解網(wǎng)站的內(nèi)容,其結(jié)果反饋,代表著蜘蛛對網(wǎng)站內(nèi)容的理解,通常對失敗的站點抓取診斷,與百度蜘蛛爬行有直接關(guān)系。
網(wǎng)站“爬行診斷”失敗的原因是什么?
1、禁止使用Robots.txt
如果你用機器人屏蔽百度爬行網(wǎng)站的Robots.txt目錄,當你在那個目錄中生成內(nèi)容時,百度很難對目錄下的內(nèi)容進行抓取,而抓取診斷也會失敗報警。
2、網(wǎng)站訪問速度
很多站長說,在本地測試中,我的網(wǎng)站返回了HTTP狀態(tài)代碼200,但是爬行診斷已經(jīng)顯示在爬行中,沒有反饋結(jié)果。
由于服務器線路的不同,百度蜘蛛抓取速度可能會延遲太長,它會產(chǎn)生明顯的可訪問性,但會有抓取診斷失敗。
當您遇到這個問題時,需要定期監(jiān)控服務器的訪問速度,優(yōu)化網(wǎng)站的開放速度。
3、cdn緩存更新
我們知道cdn緩存更新需要時間。雖然您在管理平臺的后臺實時在線更新,但由于不同服務提供商的技術(shù)不對稱,往往會產(chǎn)生一定的時間延遲。
這將不可避免地導致網(wǎng)站爬行失敗。
4、帶跳躍的抓取診斷
如果你更新舊內(nèi)容和修改網(wǎng)站,并使用301或302進行跳轉(zhuǎn),由于配置錯誤,重定向次數(shù)太多,這也會導致百度爬行失敗。
5、DNS緩存服務
由于存在DNS緩存,當您在本地查詢URL時,可以正常訪問它們,但除去上面提到的全部問題,爬行診斷仍然失敗,因此您需要更新本地DNS緩存,或使用代理IP,可以非常順利地訪問檢閱站點。
網(wǎng)站“爬行診斷”常見問題:
對于百度抓取診斷工具,搜索引擎優(yōu)化顧問被問到的問題最多:百度抓取診斷幫助包括哪些?
從目前許多SEO工作人員的反饋結(jié)果來看,沒有合理的數(shù)據(jù)作為支持,這可以證明抓取診斷工具有利于百度收錄,但可能對百度快照更新有一定的影響。
工作日 8:30-12:00 14:30-18:00
周六及部分節(jié)假日提供值班服務