这种办法能够核算的比较精确，可时刻复杂度太高，核算很费时刻。经过对一个页面中的某些重要信息进行签名，然后比较两个页面的签名，来核算类似度，这种办法比较简单高效，核算速度比较快，比较合适百度这种海量信息的使用场景。

　　1，网站重复内容的判别

　　A，获取多个网页;

　　B，别离提取网页的网页正文;

　　C，从网页正文中提取一个或多个语句，并依据一个或多个语句核算网页正文语句签名;

　　D，依据网页正文语句签名对多个网页进行聚类;

　　E，针对每一类下的网页，核算网页的附加签名;

　　F，依据附加签名判别每一类下的网页是否重复。

　　经过上述办法，网页重复的判别体系及其判别办法经过包括网页正文语句签名在内的多维度签名有用且快速地判别网页是否重复。

　　网站页面根本架构

　　提取正文

　　A，对网页进行分块;

　　B，对分块后的网页进行块过滤，以获取包括网页正文的内容快;

　　C，从内容块中提取网页正文。

　　正文分句

　　A，对网页正文进行分句;

　　在本过程中，可使用分号，句号，感叹号等表明语句结束的标志符号来对网页正文进行分句。此外，还能够经过网页正文的视觉信息来对网页正文进行分句。

　　B，对分句后的网页正文进行过滤及转化;

　　在过程中，首要过滤掉语句中的数字信息;版权信息以及其他对网页重复判别不起决定性效果的信息。随后，对语句进行转化，例如，进行全角/半角转化或许繁体/简体转化，以使得转化后的语句的格局一致。

　　C，从过滤及转化后的网页正文中提取最长的一个或多个语句;

　　在本过程中，过滤及转化后的网页正文提取出最长的一个语句或许做场的预订数量接连语句的组合。例如，某个网页实例中，经过过滤及转化后的某段最长，远超其他语句，因而可挑选该段为网页正文语句，或许挑选最长的接连语句组合作为网页正文语句。

　　D，对一个或多个语句进行hash签名运算，以获取网页正文语句签名。

　　simhash算法便是比较各网页的附加签名是否相同或类似来判别网页是否重复。具体来说，在比较使用simhash签名运算取得的网页正文签名时，比较网页正文签名的不同位数，不同位越少，表明网页重复的可能性越高，在比较其他的附加签名时，若附加签名持平，表明网页在该纬度上重复。

　　总结：

　　1、两个网页的实在标题签名相同。

　　2、两个我那工业的网页内容签名相同。

　　3、两个网页的网页正文签名的不同位数小于6.。

　　4、两个网页的网页方位签名相同，而且url文件名签名相同。

　　5、谈论块签名、资源签名、标签标题签名、摘要签名、url文件名签名中有三个签名相同。

　　附加信息整站判别重复规范：

　　经过两两页面比较，能够得到真重复url的调集。一般来说，假如这个真重复url调会集的网页的数量/整个网页会集网页的数量大于30%，则以为整个网页集都是真重复，不然便是假重复。