Java爬虫技术框架之Heritrix框架详解

Heritrix是一个由Java开发的开源Web爬虫系统，用来获取完整的、精确的站点内容的深度复制，

具有强大的可扩展性，运行开发者任意选择或扩展各个组件，实现特定的抓取逻辑。

一、Heritrix介绍

Heritrix采用了模块化的设计，用户可以在运行时选择要用的模块。它由核心类（core classes）和插件模块（pluggable modules）构成。

核心类可以配置，但不能被覆盖，插件模块可以由第三方模块取代。所以我们就可以用实现了特定抓取逻辑的第三方模块来取代默认的插件模块，从而满足自己的抓取需要。

CrawlController（下载控制器）整个下载过程的总控制者，整个抓取工作的起点，决定整个抓取任务的开始和结束。每个URI都有一个独立的线程，它从边界控制器（Frontier）获取新的URI，然后传递给Processor chains（处理链）经过一系列Processor（处理器）处理。

Heritrix 3.x 的框架主要分为 Engine 和 Component

三、一些API

org.archive.crawler.framework.CrawlJob;

org.archive.crawler.postprocessor.CandidatesProcessor;
org.archive.modules.CrawlURI;

等等

抓取任务CrawlOrder类：是整个抓取工作的起点。一次抓取任务包括许多属性，建立一个任务的方式有很多种，最简单的一种就是根据默认的order.xml来配置。

中央控制器CrawlController：该类决定着抓取任务的开始和结束。它包含以下几个组件：

CrawlOrder：该类保存了order.xml的属性配置；

CrawlScope：决定当前抓取范围；

ProcessorChainList：处理器链；

Frontier：一次抓取任务需要设定一个Frontier，以此来不断为其每个线程提供URI；

ToePool：它是一个线程池，管理了所有在当前任务中抓取过的Host名称和Server名称。

中央控制器CrawlControllr的类结构如图所示：

到此这篇关于爬虫技术框架之Heritrix框架详解的文章就介绍到这了,更多相关爬虫技术框架 Heritrix内容请搜索来客网以前的文章或继续浏览下面的相关文章希望大家以后多多支持来客网！