|
|
广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页， 然后再选择其中的一个链接网页， 持续抓取在此网页中链接的所有网页。 这是最常用的方式， 因为这个办法可以让网络蜘蛛并行处置， 进步其抓取速度。 一个链接一个链接跟踪下去， 处置完这条线路之后再转入下一个起始页， 持续跟踪链接。 这个办法有个长处是网络蜘蛛在设计的时分比较轻易。 两种战略的区别， 下图的说明会愈加明确。 设置了造访的层数。 例如， 在上图中， A为起始网页， 属于0层， B、C、D、E、F属于第1层， I属于第3层。 假如网络蜘蛛设置的造访层数为2的话， 这也让有些网站上一部门网页可以在搜索引擎上搜索到， 另外一部门不能被搜索到。 扁平化的网站构造设计有助于搜索引擎抓取其更多的网页。
网络蜘蛛在造访网站网页的时分， 常常会碰到加密数据和网页权限的成绩， 有些网页是需要会员权限才能造访。 当然， 网站的所有者可以经由协议让网络蜘蛛不去抓取?ㄏ麓蠼诨嵋????但关于一些出售讲演的网站， 他们但愿搜索引擎能搜索到他们的讲演， 但又不能完全让搜索者检查， 这样就需要给网络蜘蛛提供相应的用户名和密码。 网络蜘蛛可以经由所给的权限对这些网页休止网页抓取??佣?峁┧阉鳌?而当搜索者点击检查该网页的时分， 同样需要搜索者提供相应的权限验证。
网站与网络蜘蛛
网络蜘蛛需要抓取网页， 不同于一般的造访， 假如控制不好， 则会引起网站服务器担负过重。 今年4月， 淘宝就因为雅虎搜索引擎的网络蜘蛛抓取其数据引起淘宝网服务器的不动摇。 网站能否就无法和网络蜘蛛交流呢？ 有多种办法可以让网站和网络蜘蛛休止交流。 ?男┩?秤Ω酶?隆?在抓取网页的时分， 都会向网站标明自己的身份。 网络蜘蛛在抓取网页的时分会发送一个央求， 这个央求中就有一个字段为User－ agent， 用于标识此网络蜘蛛的身份。 例如Google网络蜘蛛的标识为GoogleBot， Yahoo网络蜘蛛的标识为Inktomi Slurp。 假如在网站上有造访日志记载， 网站治理员就能知道，经由在内部网络中添加形如 创意礼品网 的文章， 可以让蜘蛛愈加轻易找到你的网站。 假如网站治理员发现某个蜘蛛有成绩， 就经由其标识来和其所有者联络。 一般会造访一个特殊的文本文件Robots. txt， 网站治理员可以经由robots. txt来定义哪些目录网络蜘蛛不能造访， 或者哪些目录关于某些特定的网络蜘蛛不能造访。 例如有些网站的可执行文件目录和临时文件目录不但愿被搜索引擎搜索到， 那么网站治理员就可以把这些目录定义为拒绝造访目录。 Robots. txt语法很复杂， 例如假如对目录没有任何限制， 可以用以下两行来描述：
User-agent: *
Disallow:
当然， Robots. 网站治理员也无法阻止网络蜘蛛关于某些页面的造访， 但一般的网络蜘蛛都会遵照这些协议， 而且网站治理员还可以经由其它方式来拒绝网络蜘蛛对某些网页的抓取。
网络蜘蛛在下载网页的时分， 会去识别网页的HTML代码， 会有META标识。 可以告诉网络蜘蛛本网页能否需要被抓取?例如：表示本网页不需要被抓取?因为这样可以让更多的造访者能经由搜索引擎找到此网站。 为了让本网站的网页更全面被抓取到， 网站治理员可以树立一个网站舆图， 即Site Map。 网站治理员可以把网站内部所有网页的链接放在这个文件外面， 那么网络蜘蛛可以很利便的把整个网站抓取上去， ?
内容提取
搜索引擎树立网页索引， 处置的对象是文本文件。 包括html、图片、doc、pdf、多媒体、静态网页及其它格局等。 这些文件抓取上去后， 需要把这些文件中的文本信息提掏出来。 一方面临搜索引擎的搜索正确性有重要作用，
文章由 重庆网站建设公司 雪毅网络 http://www.xuewl.cn 整理
|
|
发表于 2014-11-14 16:55:07