1.数据采集组件是什么？

数据采集组件俗称“网络爬虫”，其目的就是通过程序自动到目标网站上下载相关的网页数据或文档数据，并将抓取到的信息传送到数据处理引擎进行后续的处理。有些接触过数据采集的用户往往会认为这不就是一个简单的数据采集程序而已，没什么难度。是的，确实是这样，如果只采集一两个网页乃至于上千个网页信息这样的采集程序确实不难写。

而瞬速科技的数据采集组件面向的显然不是这种只采集极少数量的用户。我们的目标是海量的网页信息采集，这时我们需要面对的是复杂的网络环境。需要解决诸如网站编码不一、网站需要登录验证、网站数据加密、网页多页排版等情况。还需要解决哪些网页已采集，哪些网页未采集等查重问题。中间的任何一个环节没有处理好，都会导致整个采集组件无法有效、高效地完成采集任务。那么，我们在此一起深入瞬速科技采集组件能达到何种效果。

2.瞬速采集组件有什么特色？

Ⅰ   我们的网络数据采集组件是基于VC开发的，其比其它的用C#、JAVA等实现的采集程序更具有高效。依托微软的底层通过异步的形式实现，除了比其它的同步的形式的采集组件更高效外，还可以更好地模拟实际人为访问的习惯。

简单易懂的配置界面

自动对需要采集的信息进行分类

Ⅱ   当网页数据被下载到本地后，开发将面对网页的编码不一的境界，有些网页是用UTF8格式，而有些则是用UNICODE，其它的是用GB2312。看到的一些还是用GBK编码。如果是采集少数民旅语言的网页则一些连看都不看不懂（指的是不懂相应的语言）的形式进行编码。如何将这种繁多的编码格式统一转换成一种可供处理程序统一处理的编码是软件开发人员必须面对的问题。现在瞬速信息采集组件已解决了这个问题，瞬速统一编码器枚举了当前常见的数十种编码格式，当采集到的网页将会被送到我们的网页编码器进行识别与转换。从而为后续的网页处理程序提供了统一编码格式的数据源。而处理程序则不必困扰于网页的风格迥异的问题。

Ⅲ   现在很多的网页都是通过将一篇文章拆分成多个页面展示。而且这样的网页分页是网格是无规律的。如此一来采集组件就要求能够自动识别这些分页，并能够自动重组这些网页整一条完整的记录。很多采集组件往往是通过配置规则来实现，往往能实现几种风格的分页，而我们的采集组件可以自动识别这些分页风格。使得对于使用用户来说无需经过复杂的配置就可以达到完整采集的目的。

分布于多页的信息示例

自动对分布于多页的信息重组

Ⅳ   采集组件如何知道采集目标网站上哪些链接是新增的、哪些是已采集的、哪些是已更新的，是一个成熟的采集组件所必须解决的。为了高效地识别哪些链接是处于什么样的状态，我们摒弃了纯数据库的日志查询模式，使用独创的二次方程进行计算产生位值，最终通位值映射到二维矩阵网进行判断。其查重速度和性能大大优于纯数据库索引形式的查重。

Ⅴ   我们的采集组件是为了满足复杂的业务需求而设计，然而在面对复杂的业务要求，需要采集组件能够自由地适应业务开发的需求。我们的采集组件可通过LUA脚本的形式进行扩展。可以识别整站的目标分类，并自动通过分类构建相应的采集分类，可以通过脚本从其它的网站整合其它的数据。如从招聘网站上抽取企业的信息，而从商城网站上抽取其发布的商品信息。

Ⅵ   更多的有关我们的采集组件的特色功能可以参照我们的性能参数表……

3.性能参数列表

4.技术文献参考列表