网络爬虫（又被称为网页蜘蛛 ， 网络机器人 ， 在FOAF社区中 ， 更经常的称为网页追逐者） ， 是一种按照一定的规则 ， 自动地抓取万维网信息的程序或者脚本 ， 它们被广泛用于互联网搜索引擎或其他类似网站 ， 可以自动采集所有其能够访问到的页面内容 ， 以获取或更新这些网站的内容和检索方式 。从功能上来讲 ， 爬虫一般分为数据采集 ， 处理 ， 储存三个部分 。
Web网络爬虫系统的功能是下载网页数据 ， 为搜索引擎系统提供数据来源 ， 很多大型的网络搜索引擎系统都是基于Web数据采集的搜索引擎系统 ， 由此可见Web网络爬虫在搜索引擎中的重要性 。
【爬虫是什么】在网络爬虫的系统框架中 ， 主过程由控制器、解析器、资源库三部分组成 。控制器的主要工作是负责给多线程中各个爬虫线程分配工作任务；解析器的主要工作是下载网页 ， 进行网页的处理 ， 处理的内容包括JS脚本标签、CSS代码内容、空格字符、HTML标签等内容 。资源库是用来存放下载到的网页资源 ， 一般会采用大型的数据库存储 ， 并对其建立索引 。

秒懂生活扩展阅读

• 移动400业务是什么
• 合理营养的原则是什么
• 5月2日是什么星座，星座是按阴历还是阳历
• 摩羯座到底是什么样的人，摩羯是什么样的人
• 网络阅读的优点有哪些
• 潮湿的墙上爬的小虫子是什么
• 1715年是什么时代
• 七彩玫瑰的花语是什么
• 油角的寓意是什么
• 网络绑定怎么解除