|
|
其实一直想写这篇文章，但最近比较忙耽搁了。今天早上特地抽空写下来。我的新站已经有45天时间了，所以对蜘蛛每天来访问我的站比较关注，下面我讲讲我对蜘蛛来我站抓取的观察。
刚开始建站得头7天，因为百度权重比较低，通过日志分析，蜘蛛没来过我的网站抓取过一次，但我每天还是继续坚持写2-3篇的原创和深度伪原创。我写文章有个规律就是在早上9点到10点之间完成。到了第八天，看到百度蜘蛛来爬过一次，当时还是比较小兴奋的。看过来爬的时间正好是上午10点。大概下午3点左右发现爬过的页面有收录了，其实我知道10点的时候就收录了，只是没放出来。再看页面放出来时间是5小时前，这就应证了是10点来抓取的。
以后每天我还是继续在这个时候更新文章，蜘蛛对我的网站抓取也很有规律，10点抓，15点放。
个月以后我再做测试，那天我故意不更新文章，蜘蛛还是照旧来了，但没抓到新页面，连续三天还是没有更新内容，蜘蛛还是来了但没抓到。这几天我的首页快照一直停留在4天以前。第四天我才每天开始继续更新，但日志并没有显示蜘蛛来，再连续4天也是如此。直到第五天10点终于又来爬了，到下午15点把先前没收录的全释放出来了.
按照先前的做法，我把时间改到了晚上7点更新，得到结果是这样的，刚开始几天7点没来，后来几天是7点来的。释放的时间是夜里11点左右。
我说了那么多，告诉大家什么意思呢？打个比方，小时候我们喂猫吃饭。习惯了中午12点喂食，一般每到这个点猫就会自己来要食物了，如果连续好几天延时2个小时，以后它就会晚两个小时到
所以说百度蜘蛛也和动物一样，一旦养成了习惯，它就会按照这个习惯去做。
|
|
发表于 2014-10-28 00:39:15
