数据采集 ETL 工具 bboss-datatran v6.7.7 发布
数据采集 ETL 工具 bboss-datatran v6.7.7 发布,支持 Elasticsearch 8 以及其他 Elasticsearch 低版本和 Opensearch 之间数据同步。
- 新增轻量级但功能强大的大数据指标分析计算模块,可以非常方便地实现基于时间窗口的多种维度的实时指标计算和离线指标计算功能,适用于有限维度指标 key 和无限维度指标 key,同时可以非常方便地将指标分析计算结果存储到各种数据库,以极低成本快速构建企业级大数据分析应用,导入以下包即可:
<dependency> <groupId>com.bbossgroups.plugins</groupId> <artifactId>bboss-datatran-metrics</artifactId> <version>6.7.7</version></dependency>
使用案例
https://gitee.com/bboss/bboss-elastic-tran/tree/master/bboss-datatran-core/src/test/java/org/frameworkset/tran/metrics
增量采集状态表 increament_tab 结构调整,增加以下字段:
jobType varchar (500),用于保存输入插件类型,不能为空,不同的插件类型对应的值见下面的表格说明,避免不同类型作业加载增量状态时,互相干扰;
jobId varchar (500),用于保存外部设置的作业 id,可为空,相同的进程内启动多个同类型的输入插件的作业时,必须指定每个作业的 jobId, 避免各个作业加载增量状态时,互相干扰
插件类型 | jobType | jobId |
---|---|---|
HttpInputDataTranPlugin | HttpInputDataTranPlugin | 空 |
DBInputDataTranPlugin | DBInputDataTranPlugin | 空 |
ElasticsearchInputDataTranPlugin | ElasticsearchInputDataTranPlugin | 空 |
FileInputDataTranPlugin | FileInputDataTranPlugin | 空 |
HBaseInputDatatranPlugin | HBaseInputDatatranPlugin | 空 |
Kafka2InputDatatranPlugin | Kafka2InputDatatranPlugin | 空 |
MongoDBInputDatatranPlugin | MongoDBInputDatatranPlugin | 空 |
升级注意事项:升级 6.7.7 前,需要手动增加 jobType 和 jobId 两个字段,并修改 increament_tab 表中的状态记录,根据作业输入插件类型,填写正确的 jobType,然后再启动作业,这样作业才能继续正常工作。
- 优化 kafka 输出插件任务状态记录管理功能,采用指标分析 Metrics 对数据发送情况进行聚合统计,按照指定的时间窗口进行聚合计算后,执行回调任务处理 success 方法,任务 taskMetrics 为聚合计算后的统计信息,可以通过开关控制是否进行预聚合功能:
kafkaOutputConfig.setEnableMetricsAgg(true);//启用预聚合功能kafkaOutputConfig.setMetricsAggWindow(60);//指定统计时间窗口,单位:秒,默认值60秒
4. 优化 kafka 输入插件拦截器功能:定时记录统计插件消费 kafka 数据记录情况,并调用任务拦截器的 aftercall 方法输出统计 jobMetrics 信息,可以指定统计时间间隔:
kafka2InputConfig.setMetricsInterval(300 * 1000L);//300秒做一次任务拦截调用,默认值
5. 部分插件增加字段映射功能,涉及插件:日志采集插件、excel 采集插件、生成日志 /excel 文件插件、kafka 输入插件
文件采集插件字段映射配置示例:
FileInputConfig fileInputConfig = new FileInputConfig();_fileInputConfig = fileInputConfig;FileConfig fileConfig = new FileConfig(); fileConfig.setFieldSplit(";");//指定日志记录字段分割符 //指定字段映射配置 fileConfig.addDateCellMapping(0, excelCellMapping.getFieldName(), cellType, excelCellMapping.getDefaultValue(), excelCellMapping.getDataFormat()); fileConfig.addNumberCellMapping(1, excelCellMapping.getFieldName(), cellType, excelCellMapping.getDefaultValue(), excelCellMapping.getDataFormat()); fileConfig.addCellMappingWithType(2, excelCellMapping.getFieldName(), cellType, excelCellMapping.getDefaultValue());
kafka 映射配置示例:
Kafka2InputConfig kafka2InputConfig = new Kafka2InputConfig(); kafka2InputConfig.setFieldSplit(";");//指定kafka记录字段分割符 //指定字段映射配置 kafka2InputConfig.addDateCellMapping(0, //记录切割得到的字段列表位置索引,从0开始 excelCellMapping.getFieldName(), //映射的字段名称 cellType, //字段值类型 excelCellMapping.getDefaultValue(), //字段默认值 excelCellMapping.getDataFormat());//字段格式:日期格式或者数字格式 kafka2InputConfig.addNumberCellMapping(1, excelCellMapping.getFieldName(), cellType, excelCellMapping.getDefaultValue(), excelCellMapping.getDataFormat()); kafka2InputConfig.addCellMappingWithType(2, excelCellMapping.getFieldName(), cellType, excelCellMapping.getDefaultValue());
cellType 取值范围:
public static final int CELL_BOOLEAN = 5;public static final int CELL_DATE = 3;public static final int CELL_NUMBER = 2;public static final int CELL_NUMBER_INTEGER = 6;public static final int CELL_NUMBER_LONG = 7;public static final int CELL_NUMBER_FLOAT = 8;public static final int CELL_NUMBER_SHORT = 9;public static final int CELL_STRING = 1;
6. 增加全局 JobContext,用于存放在作业中使用的初始化数据
7. 作业拦截器、任务拦截器异常方法参数 Exception 类型调整为 Throwable 类型
更多变更,参考提交记录:https://gitee.com/bboss/bboss-elastic-tran/commits/master
数据同步作业开发视频教程
https://www.bilibili.com/video/BV1xf4y1Z7xu
bboss 案例大全
https://esdoc.bbossgroups.com/#/bboss-datasyn-demo
Quick Start
https://esdoc.bbossgroups.com/#/quickstart
开发交流
https://www.bbossgroups.com/forum.html
相关文章
- 解析Win10插件:提升系统功能与用户体验的利器
- Win10永久激活方法解析:如何安全获取正版授权
- Anaconda对英特尔发起版权诉讼,指控其未经许可使用AI工具! 近期,软件开发商Anaconda向科技巨头英特尔发起了一场版权风波。Anaconda指控英特尔在许可证到期后,仍继续使用其软件来开
- Steam测试版原生游戏录制工具来了,轻松记录你的游戏精彩瞬间!
- 揭秘win8永久激活方法:专业技巧与详细步骤分享
- Win7破解指南:专业方法与原因分析
- 系统修复win7:详解原因及方法,专业技巧分享
- 小马win10激活工具详解:快速激活Windows的专业方法
- 如何下载并使用Win11兼容性检查软件确保
- 如何使用win10安装工具快速高效地安装Windows 10系统