对网络蜘蛛的初步了解

坏人坏人 · 发表于 2013-5-5 12:31:30

1、通过metatag：比如有的时候希望网站列表页不被搜索引擎收录但是又希望被搜索引擎抓取，那么可以通过＜metaname=“robots”content=“noindex，follow”＞告诉爬虫，其他常见的还有noarchive，nosnippet，noodp等。本文由：金属点焊机http://www.szfwt.com负责整理，转载请注明，谢谢

悟途 · 发表于 2013-5-5 22:43:27

希望大家踊跃发言，我顶先

兰博瓷业 http://shop643****7488.taobao.com/

账号		自动登录	找回密码
密码			开放注册

对网络蜘蛛的初步了解

浏览过的版块