|
|
SEO网页查重技术发源于复制检测技术，即判定一个文件内容是否存在抄袭、复制另外一个或多个文件的技术。
重复SEO网页的存在，意味着这些网页就要被搜索引擎多处理一次。更有害的是搜索引擎的索引制作中可能会在索引库里索引两份相同的网页。当有人查询时，在搜索结果中就会泛起重复的网页链接。所以不管是从搜索体验仍是系统效率检索质量来说这些重复网页都是有害处的。总之对于搜索引擎来说，重复的网页内容长短常有害的。
1993年Arizona大学的Manber（Google现副总裁、工程师）推出了一个sif工具，寻找相似文件。1995年Stanford大学的Brin（Sergey Brin，Google创始人之一）和Garcia-Molina等人在“数字图书观”工程中首次提出文本复制检测机制COPS（Copy Protection System）系统与相应算法[Sergey Brin et al 1995].之后这种检测重复技术被应用到搜索引擎中，基本的核心技术既比较相似。
网页和简朴的文档不同，SEO优化网页的特殊属性具有内容和格局等标记，因此在内容和格局上的相同相似构成了4种网页相似的类型。1、两个页面内容相同，但格局不同。2、两个页面内容格局完全相同。3、两个页面部门重要相同但格局不同。4、两个页面部门内容相同并且格局相同。
实现方法：
网页查重，首先将网页收拾整顿成为一个具有标题和正文的文档，来利便查重。所以网页查重又叫“文档查重”。“文档查重”一般被分为三个步骤，
一、消重。
二、特征抽取。
三、相似度计算和评价。
1.消重对于删除重复网站SEO内容，搜索引擎考虑到众多收录因素，所以使用了最简朴的最实用的方法。先被爬虫抓取的页面同时很大程度也保证了优先留存原创网页。
2.特征抽取我们在判定相似物的时候，一般是才能用不变的特征进行对比，文件查重第一步也是进行特征抽取。也就是将文档内容分解，由若干组成文档的特征集合表示，这一步是为了方面后面的特征比较计算相似度。特征抽取有良多方法，我们这里主要说两种比较经典的算法，“I-Match算法”、“Shingle算法”。“I-Match算法”是不依靠于完全的信息分析，而是使用数据集合的统计特征来抽取文档的主要特征，将非主要特征抛弃。“Shingle算法”通过抽取多个特征词汇，比较两个特征集合的相似程度实现文档查重。
3.相似度计算和评价特征抽取完毕后，就需要进行特征对比，因网页查重第二步就是相似度计算和评价。I-Match算法的特征只有一个，当输入一篇文档，根据词汇的IDF值（逆文本频率指数，Inverse document frequency缩写为IDF）过滤出一些枢纽网页设计特征，即一篇文章中特别高和特别低频的词汇往往不能反应这篇文章的本质。因此通过文档中去掉高频和低频词汇，并且计算出这篇文档的独一的Hash值（Hash简朴的说就是把数据值映射为地址。把数据值作为输入，经计算后即可得到地址值。），那些Hash值相同的文档就是重复的。
Shingle算法是抽取多个特征进行比较，所以处理起来比较复杂一些，比较的方法是完全一致的Shingle个数。然后除以两个文档的Shingle总数减去一致的Shingle个数，这种方法计算出的数值为“Jaccard 系数”，它可以判定集合的相似度。Jaccard 系数的计算方法集合的交集除以集合的并集。
网页查重工作是系统中不可缺少的，删除了重复的页面，所以搜索引擎优化的其他环节也会减少良多不必要的麻烦，节省了索引存储空间、减少了查询本钱、进步了PageRank计算效率。利便了搜索引擎用户。
文章由 重庆网站建设公司 雪毅网络 http://www.xuewl.cn 整理
|
|
发表于 2014-11-25 15:37:13