robots.txt到底能不能屏蔽百度蜘蛛

xiaoxuesuhe

关于404页面的问题
问题补充：当我们由于变更产生404之后，百度会间隔多长时间识别出来？并且需要识别几次才会将其删除？对有些尚未做好的专题页面，可能会临时设置为404页面，之后很快将页面恢复，但这些专题页面中有一部分很快就能够恢复，还有一部分就需要很长时间才可被收录，因此有重大新闻时，会紧张重大专题被及时收录的情况。
官方回复：不会有固定的时间，会根据网页的和所在频道的更新频率，去确定删除的时间，未做好或者非作为死链的页面，尽量不要用404的返回码，希望尽可能用503的返回码，这样spider能够比较好的去识别。

robots.txt到底能不能屏蔽百度蜘蛛？
问题补充：我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
官方回复：如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。