日韩一级二级一区二区_超级国产人人偷人人干_日本日本乱码伦视频在线_亚洲性视频日韩性视频

　　一、蜘蛛抓取情況

　　1、都有哪些蜘蛛來訪問

　　看一下主流的蜘蛛(google、baidu、360)是否有訪問網站，如果長時間都沒有的話，可以查看下Robots.txt文件是否設置了禁止蜘蛛抓取網站。

　　2、抓取了哪些目錄

　　統(tǒng)計蜘蛛對網站目錄的抓取情況，網站各層級目錄是否抓取正常，一些需要重點推廣的目錄是否有抓取，如果沒有抓取的話則需要對網站內鏈進行調整或者增加外鏈，提升欄目權重，引導蜘蛛抓取。另外，蜘蛛可能會抓取一些無意義的目錄，比如我們不希望搜索引擎了解的信息，這時候就可以把這些目錄屏蔽掉。

　　3、抓取了哪些頁面

　　統(tǒng)計蜘蛛對網站頁面(這里指的是內容頁)的抓取情況，通過一段時間的觀察你會發(fā)現(xiàn)某些類型的頁面抓取頻率較高，而有些的較低。你可以對這些頁面進行對比，然后判斷蜘蛛的喜好，以增加符合蜘蛛胃口的內容。此外，還可以通過分析頁面抓取情況，了解到網站的一些問題，比如重復頁面問題、url規(guī)范化問題等等。

　　4、蜘蛛訪問次數(shù)、停留時間、抓取量

　　蜘蛛頻繁訪問網站，說明喜歡網站，經常來看看網站內容是否有更新，對網站來說是一件好事。如果十天半個月才來一次，那網站內容可能得更新勤快點了，另外還要多增加一些外鏈，引導蜘蛛訪問網站。停留時間長短可以反映蜘蛛對網站的喜歡程度，需要注意的一點是，如果停留時間長，但是抓取量低的就有問題了，可能是蜘蛛對網站內容抓取困難，或者網站內容質量偏低導致的。這三個指標要綜合起來看，才會得到比較有價值的信息。

　　二、HTTP狀態(tài)碼

　　主要關注的有404、500、302之類的。404頁面就不用說了，**定期整理死鏈接，并提交到站長平臺。如果經常出現(xiàn)500，可能是服務器的問題，比如內容太多，服務器無法滿足需求，超負荷運轉了，就會出現(xiàn)超時、無法訪問的情況。302是暫時重定向，這個要具體看下是什么問題，搜索引擎比較喜歡301，如果可以的話就做成301的。

　　文章來源：網絡教學基地

　　原文地址:http://www.studynb1.com/seojj/242.html