九九热线视频精品99-动漫高h纯肉无码视频在线观看-午夜理论无码片在线观看免费-99精品国产在热久久无码-亚洲国产成人乱码

蜘蛛抓取失敗的原因有那些,服務器導致蜘蛛抓取失敗的原因

2012/3/15 15:14:09   閱讀:2874    發布者:2874

  服務器是網站生存的基礎,不論是什么原因造成的服務器封禁,都直接影響蜘蛛的抓取,影響網站的用戶體驗,不利于seo工作的展開。我其將以自己的親身經歷,結合網絡上一些朋友對這類問題的分析,總結出造成服務器封禁的三點主要原因:

 

1、人為操作失誤

對搜索引擎蜘蛛認識不夠,對一些冒充搜索引擎spider的IP無法正確判斷,繼而誤封搜索引擎IP。這樣會導致搜索引擎不能成功抓取網站,無法成功抓取新網頁,以及將之前已經成功抓取并收錄的頁面判定為無效鏈接,然后搜索引擎將會對這些死鏈接進行清除,繼而網站頁面收錄減少,最終導致網站在搜索引擎的排名下降。

解決方法:正確認識各搜索引擎蜘蛛,而搜索引擎使用的 IP 地址會隨時發生變化,為確保能夠正確識別各搜索引擎IP,您可以使用DNS反查方式來確定抓取來源的IP是否屬于正規搜索引擎,防止誤封。

2、服務器不穩定

現在的服務器多如牛毛,價格也各不相同,質量方面也是相差甚遠,站長們往往在選擇的時候都是“只認價不認質”, 有的空間商為了節省資源,故意屏蔽掉spider(蜘蛛)的IP,導致spider抓取失敗,網站頁面就無法被搜索引擎收錄。

解決方法:選擇有實力的正規空間商,盡可能保證您的網站穩定。服務器和空間的穩定性需要一定的技術實力來保障,一些沒有實力的空間商,可能無力提供良好的服務,服務的穩定性無法保證。我們可以很形像的打個比喻:如果將“人”比喻為網站內容,那么服務器就是我們的“家”,它為我們擋風避雨,為我們的生存提供了一個優良的環境,而服務器的好壞將影響我們所能承受的風險。我想,誰都不愿意住在沒有安全保障的屋子里,拿自己的生命開玩笑,同理,網站也是如此!如果您現在的服務器不理想,有必要另選時,請暫時讓舊服務器能夠使用一段時間,并且做301跳轉,盡量減少更換服務器帶來的一系列損失。

3、保護性的偶然封禁

1、如果網站的訪問量過大,超過自身負荷,服務器會根據自身負荷進行保護性的偶然封禁。這種封禁是短暫性的,只要訪問量下降到服務器的承受范圍之內,那么服務器就會正常工作。

2、還有一種情況是spider造成的,搜索引擎為了達到對目標資源較好的檢索效果,蜘蛛需要對您的網站保持一定量的抓取。搜索引擎會根據服務器承受能力,網站質量,網站更新等綜合因素來進行調整, 建立一個合理的站點抓取壓力。但是會有一些例外,在壓力控制不好的情況下,服務器會根據自身負荷進行保護性的偶然封禁。

解決方法:1、如果是訪問量造成的壓力,那么恭喜你,說明你的網站已經擁有可觀的訪問人數,我們就應該升級服務器,來滿足不段增長的訪問量。2、如果是spider造成的,我們可以采用如下方式來減輕spider對服務器產生的壓力:A、利用robots文件,屏蔽掉不想被spider抓取的頁面。B、采用nofollow標簽,屏蔽不想被spider爬行的鏈接。C、頁面中較長的CSS、JS代碼移到外部文件。D、刪減多余代碼。應當注意的是,以上兩種情況在返回的代碼中盡量不要使用404,建議返回503(其含義是“Service Unavailable”)。這樣spider會過段時間再來嘗試抓取這個鏈接,如果那個時間站點空閑,那它就會被成功抓取了。

主站蜘蛛池模板: 天堂а在线中文在线新版| 最新国产精品自在线观看| 久久久久人妻一区精品性色av| 日日摸天天摸爽爽狠狠97| 好男人社区www在线官网| 国产va免费精品观看| 综合图区亚洲欧美另类图片 | 思思久久96热在精品国产| 国产色婷婷亚洲999精品小说| 黄网站色视频免费国产| 欧洲精品一卡2卡三卡4卡影视| 亚洲精品久久久www| 中文成人无码精品久久久不卡| 国产互换人妻hd| 国产精品久久久久久久久久久久人四虎| 久久久精品2019中文字幕之3| 亚洲狠狠婷婷综合久久久久图片| a v 在线视频 亚洲免费| 亚洲色大网站www永久网站| 乱无码伦视频在线观看| 午夜成人无码福利免费视频| 亚洲综合天堂一区二区三区| 无码人妻丰满熟妇区五十路| 99精品视频在线观看免费| 日本高清在线www3344| 国产香蕉尹人综合在线观看| 国产成人午夜福利电影在线播放| 人妻在厨房被色诱 中文字幕 | 精品无码av无码专区| 欧美人与动牲交大全免费| 88久久精品无码一区二区毛片| 色综合视频一区二区三区| 美女又色又爽视频免费| 国产成人欧美综合在线影院| 精品国产污污免费网站入口| 久久久www免费人成精品| 蜜桃视频成人专区在线观看| 成年在线观看免费视频| 无码人妻熟妇av又粗又大| 无码中文资源在线播放| 精品久久久久久亚洲综合网 |