网页正文内容抽取办法, 该算法思路是先需要对Web页面进行分块处置, 处置结果同样借助DOM树原理进行分析, 然后集合阈值计算和正则表达式, 对于二手网页正文准确率较高。

非基于DOM的Web页面提取技术比较著名就是微软亚洲研究院提出的VIPS基于视觉的网页分块算法。该算法从用户的视觉感官体验出发, 依据Web页面的背景色、前景色、元素之间的间距来对Web页面进行视觉划分, 打造相应的分割条和网页分块集, 基于此基础再进行文本信息的抽取, 算法规则十分复杂。现在不少Web页面的视觉特征也非常复杂, VIPS算法针对此类页面时准确率和效率较差。因此, 高乐等人提出一种改进的VIPS算法, 算法针对table标签的处置进行关键词优化处置, 并通过实验证明了改进算法正确率得到了提高。

除此之外, 还有一些不基于DOM树对网页文本提取的办法, 比如《基于权值关键词优化的网页正文内容提取算法》的通过统计剖析Web页面正文内容特征, 得到页面中各个文本内容块属性特点, 并用粒子群关键词优化算法对特点权值及阈值进行了确定及关键词优化。

扫描二维码与小二CMS创始人沟通：

小二CMS专注于高端网站定制、系统开发、商城开发、外贸网站建设、公众号开发、小程序开发、网站优化推广、安全运维等技术领域。是高端定制网站领域著名服务商！