java实现抽取采集数据的报表工具

为什么需要数据采集

首先数据采集是在跨库查询能力之上的补充功能，在Smartbi V9的数据源管理中，用户可以通过上传文件（Excel、CSV、TXT）将本地原始数据补充到数据平台中，和其它企业内部数据（关系型数据）一起用于后续的语义层封装和关联查询。

但是在很多时候，分析人员甚至最终报表使用者会发现数据质量的问题，比如某产品的型号大小写不对造成无法合并统计、某客户的归属城市错误造成业绩计算错误......，如果没有数据采集能力就必须由技术人员通过关系数据库后台操作进行数据修改，从而引发一些安全性隐患。此外，企业用户可能会有一些临时性需要收集的数据，这些采集需求并不复杂且采集的数据仅仅用于数据关联分析，如果协调企业OA就会有些困难。这样就对BI系统自身的数据采集能力提出了需求。

数据采集的功能和亮点

Smartbi数据采集提供以下功能：

1、数据的修改和维护，开发人员设计可以修改数据的清单表，发布后最终用户在浏览器或者APP上直接修改并保存到数据库中；

2、数据的填写和采集，开发人员设计交叉表、表单或者问卷，发布后最终用户在浏览器或者APP上输入数据并保存到数据库中；

3、对已经有Excel模板（固定格式）的数据采集，可以设计Excel模板导入功能，直接将Excel中数据保存到数据库中；

其中前2种功能最常用，也是Smartbi数据采集的特色，采集的页面与修改数据的界面等同起来设计，看到的数据不正确就可以修改，而且即时生效无须等待。当然，这种具有回写（Write-back）功能的报表，是依赖预定义的资源权限的，以保证数据的安全性。

从回写报表设计上，同样基于Excel插件方式的电子表格，与中国式报表的设计没有任何区别，只是定义了“回写规则”，将单元格与数据库进行了映射，参考界面如下：

在回写定义中，可以指定数据回写的目标数据库和表，以及约定回写的内容只是用户修改过的，还有更新和插入的具体规则等。最终界面上的回写操作支持删除行、添加行、清空数据修改记录等。

此外，Smartbi数据采集还提供可回写单元格的填报属性，从源头管控数据质量，包括输入数据格式的校验、下拉选择列表的定义（支持Excel数据序列或者系统内置参数）、作为附件上传的文件规则等。如果你是高手，还可以使用“正则表达式”，更严格控制数据的输入质量。

应用案例

马上体验

官网体验中心提供了3个示例，一个是10个车企的2015-2019年度销量目标的维护，一个是电子表格应用大会热销车Excel数据到导入，一个是给销售人员上传头像照片，便于直观了解Smartbi数据采集的能力。

如果对Smartbi的数据采集功能感兴趣，想自己制作带有回写规则的表格（结合本地数据库），建议免费下载安装以及申请试用License，遇到安装和使用问题可向官方在线文档和产品论坛寻求帮助。

申请试用