搜索引擎爬虫指的是搜索引擎用于自动抓取网页的程序或者说叫机器人。这个就是从某一个网址为起点，去访问，然后把网页存回到数据库中，如此不断循环，一般认为搜索引擎爬虫都是没链接爬行的，所以管他叫爬虫。他只有开发搜索引擎才会用到。我们做网站，只需有链接指向我们的网页，爬虫就会自动提取我们的网页。

                                     
　网络爬虫工作原理搜索引擎爬虫是指搜索引擎用来自动抓取网页的程序或机器人。这是从某个网站开始，访问它，然后把网页存回数据库，这样就一直循环。一般认为搜索引擎爬虫无链接爬行，所以称之为爬虫。他只有开发了搜索引擎才会用。我们做一个网站，只需要一个链接指向我们的网页，爬虫就会自动提取我们的网页。


网络爬虫如何工作

1.聚焦爬虫工作原理及关键技术综述

网络爬虫是一个自动提取网页的程序。它从互联网上为搜索引擎下载网页，是搜索引擎的重要组成部分。传统爬虫从一个或几个初始网页的URL开始，获取初始网页上的URL。在抓取网页的过程中，它不断从当前网页中提取新的网址，并将其放入队列中，直到满足系统的某些停止条件。聚焦爬虫的工作流程比较复杂，需要按照一定的网页分析算法过滤掉与主题无关的链接，保留有用的链接放入URL队列等待抓取。然后，它会根据一定的搜索策略从队列中选择要抓取的网页的URL，重复上述过程，直到达到系统的某个条件。此外，爬虫抓取的所有网页都会被系统存储起来，进行一定程度的分析和过滤，并进行索引，供以后查询和检索；对于聚焦爬虫，在这个过程中获得的分析结果也可以给后面的抓取过程提供反馈和指导。

与一般的网络爬虫相比，聚焦爬虫仍然需要解决三个主要问题:

抓取目标的描述或定义；

网页或数据的分析和过滤；

URL的搜索策略。

捕获目标的描述和定义是决定如何制定网页分析算法和URL搜索策略的基础。网页分析算法和候选URL排序算法是决定搜索引擎提供的服务形式和爬虫爬行行为的关键。这两部分的算法是密切相关的。