肖益齐 发表于 2014-5-19 15:43:09

对网络蜘蛛的初步了解

1、通过metatag：比如有的时候希望网站列表页不被搜索引擎收录但是又希望被搜索引擎抓取，那么可以通过＜metaname=“robots”content=“noindex，follow”＞告诉爬虫，其他常见的还有noarchive，nosnippet，noodp等。本文由：双益伞业http://www.hbwhsd.com负责整理，转载请注明，谢谢
页: [1]
查看完整版本: 对网络蜘蛛的初步了解