摘要：网页蜘蛛（又被称为网络爬虫，网络机器人）是一种依照一定的规则，自动地匍匐抓取互联网信息的程序或脚本。
一、网页蜘蛛的定义
网页蜘蛛（又被称为网络爬虫，网络机器人）是一种依照一定的规则，自动地匍匐抓取互联网信息的程序或脚本。
浅显解释：互联网相似于蜘蛛网，网络爬虫在其中不时的匍匐抓取，就像是蜘蛛经过蛛网停止捕食，每当发现新的资源蜘蛛立刻出动并对其停止抓取并将抓取到的内容存入数据库。
百度关键词排名
二、网络爬虫的技术概述
网络爬虫协助搜索引擎从万维网上下载网页，是一个自动提取网页信息的程序，因而网络爬虫也是搜索引擎的重要组成局部。已知的网络爬虫分为传统爬虫和聚焦爬虫。
传统爬虫：就像蜘蛛在蛛网上匍匐，网页的URL就相似于互相关联的蛛网，网页蜘蛛从一些初始网页的URL开端，取得初始网页上的URL，在爬虫抓取网页的过程中，又不时从爬取到的页面上重新抽取新的URL放入预抓取队列,如此重复，直到满足系统的中止条件，最终中止抓取。
聚焦爬虫：聚焦爬虫的工作流程较传统爬虫更为复杂，它依据网页剖析算法过滤与初始抓取主题无关的URL，保存有用的链接放入预抓取队列，如此重复，直抵达到系统的某一条件时中止。
三、为什么要有“蜘蛛”
随着网络的疾速开展，互联网成为大量信息的载体，如何有效地提取并应用这些信息成为一个宏大的应战。作为协助用户访问互联网的入口和指南，搜索引擎也存在着很多局限性。
1、通用搜索引擎的目的是将网络掩盖率尽可能做到最大化，因而有限的搜索引擎效劳器资源与无限的网络信息资源之间产生了宏大的矛盾。
2、通用搜索引擎所返回的结果过于广泛，其中包含大量与用户搜索目的不相关的网页。
3、互联网数据方式和网络技术的不时开展，图片、音频、视频等多种多媒体数据大量涌出，通用搜索引擎对这类信息不能很好的发现和获取。
4、通用搜索引擎基于关键字搜索，不支持依据语义查询。
以上问题的呈现也促使了定向抓取相关网页资源的聚焦爬虫的呈现。聚焦爬虫可以自动下载网页，它依据既定的抓取目的，有选择的访问互联网上的网页与相关的链接，从中搜集需求的信息。与通用爬虫不同，聚焦爬虫并不追求大的掩盖，而将目的定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。
理解搜索引擎的工作原理关于网站SEO优化起着重要的作用，很多的SEO技巧都是依据搜索引擎的工作原理而产生，因而关于搜索引擎工作原理的解读是SEO工作者的重要根本功。
获取web页面。每个独立的搜索引擎都有本人的网络爬虫程序（Spider）。爬虫沿着网页中的超链接从这个网站爬到另个网站，并剖析经过超链接剖析获取更多网页的连续访问。捕获的web页面称为web快照。由于超链接在Internet中的应用十分普遍，理论上，从定范围的web页面开端，我们能够搜集绝大多数的web页面。
处置web页面。捕获网页后，搜索引擎还需求做大量的预处置工作来提供检索效劳。其中重要的是提取关键字，树立索引库和索引。其他包括删除反复的网页、分词（中文）、肯定网页类型、剖析超链接、计算网页的重要性和丰厚度等。
提供检索效劳。用户输入检索的关键字，搜索引擎找到与索引数据库中关键字匹配的web页面。为了便于用户判别，除了页面标题和URL之外，还将提供web页面的摘要和其他信息。搜索引擎的自动信息搜集功用提交网站搜索。站长主动将网站提交给搜索引擎。它会在定时间内将爬虫发送到您的网站，扫描您的网站并将信息存储到数据库中以供用户运用。由于搜索引擎索引规则发作了很大变化相关于过去，主动提交的网站并不保证你的网站能进入搜索引擎数据库，所以站长应加大网站的内容，让搜索引擎有更多时机找到你并自动搜集你的网站。
当用户用关键词搜索信息时，搜索引擎将在数据库中搜索。假如你找到个网站，契合用户请求的内容，个特殊的算法--通常依据网页中关键词的匹配水平，位置、频率，链接质量，等等--计算网页的相关性和排名。然后，依据关联水平，将这些链接依次返回给用户。
公安备案：皖公网安备34019102000119号 