百余业内专家参加中科恒HYun—ETL数据交换产品培训
2月6日上午,中科恒运于石家庄高新区物联网大厦组织开展了关于HYun-ETL数据交换产品业务的知识培训,由政务事业部开发工程师张军利担任培训讲师。来自多家软件企业的技术人员、业内专家和中科恒运的部分员工共计百余人参加了此次培训。
河北中科恒运软件科技股份有限公司(简称“中科恒运”),成立于2010年,总部位于河北省石家庄市,是一家以大数据和军事仿真为核心技术,以政务软件和军工软件为主要产品,致力于为政府、军队、交通、金融、研究院所等行业客户提供优质软、硬件产品和服务的军民融合型高新技术企业。公司建有博士后创新实践基地,拥有一支300余人的高素质科研团队,其中博士及以上人员13人。目前,公司在北京市、西安市、贵阳市、郑州市等地建立了子(分)公司,业务遍及全国23个省(市、自治区)和2100多个县(市、区),并已于2016年成功登陆新三板(股票代码:836277)。
培训过程中,张军利围绕HYun-ETL的产品特性、功能、操作方法、以及具体应用进行了深入浅出的形象讲解,让参训人员对中科恒运有了更深刻的认知,对HYun—ETL产品也有了进一步的了解和更大程度上的认可。
HYun-ETL,是中科恒运面向数据集成领域研发推出的一款专业的 ETL工具软件,该工具软件可快速实现多种数据源的数据抓取、数据转换与处理、数据质量控制及目标数据库加载,将分散在不同业务不同系统应用中的数据整合成完整、一致、准确、可集中存取的数据,帮助企业级用户快速实现多个IT应用系统间的数据整合,满足企业用户对数据的准确性、有效性需求,为企业用户战略发展提供有效数据依据。
HYun-ETL可以很好地支撑目前各大行业和领域的数据大集中、主题库、基础库、运营数据存储( ODS)等应用需求,也可以作为数据仓库、商业智能等应用的 ETL数据整合工具。
HengYun ETL由4部分构成。
用户可使用集成开发工具完成数据集成流程的开发配置工作,将开发内容集中保存在资源库中,并将数据集成流程部署到不同的 HYun-ETL服务器上。
HYun-ETL服务器启动数据集成流程,并从资源库中获取相关的内容,完成实际的数据集成任务。
HYun-ETL统一管理平台,用于将分布式网络环境中部署的HYun- ETL 服务器运行实例集中统一管理。
HYun-ETL提供了任务引擎和转换引擎,实现转换流程、任务流程的配合,可以完成不同系统间的复杂的数据整合工作。
转換流程负责完成数据集成过程中的数据抽取、转換、加载工作,它由多个转換组件编排而成。转换组件是转換流程的最小处理単元,每个转换组件完成一个特殊的数据处理任务,多个转换组件组成一个转换流程。正是因为 HYun-ETL有丰富的转换组件,使得 HYun-ETL具备高水准的数据加工处理能力。
HYun- ETL主要功能和特点
◎丰富的系统适配功能
基于标准的 JDBC、ODBC接口,实现对各种主流数据库系统的支持。如0racle、 DB2、 SQLServer、Sybase、InfoMix 等主流数据库, MySQL、PostGreSQL等开源数据库,达梦、 神通、 GBase8t、 Kingbase、上容、汉高等国产数据库。提供丰富的数据文件抽取和加载组件,支持包括普通文本、CSV、 XML、 Excel等多种格式的文件。
支持HTTP、 JMS、 FTP、 Webservice等协议和其他应用系统进行交互。
支持 Hadoop Habse大数据交互。
◎提供强健的ETL引擎
提供任务引擎和转換引擎,支撑各种复杂的数据转换流確、 任务调度流程的高效运行,为大块、大批量、异构的数据的整合提供坚实保障。
◎丰富的处理组件
HYun-ETL内置大量的任务组件和转换组件,用户可以通过拖拽的方式快速完成各种复杂数据集成需求和集成的调度控制。提供的转換组件覆盖数据映射、数据丰富、数据计算、数据验证、数据排序、数据合并、数据生成、数据去重、数据分组、行列转换等复杂处理,提供的任务组件涵盖定时调度、周期循环调度等调度模式组件、以及数据处理的一些前置、后置检査操作等。
◎强大的监控管理功能
提供对分布式网络环境中部署的服务器运行实例集中统一管理,包括对服务器、流程的运行状态、运行日志、执行性能的查看,以及远程的启动、停止、暂停、恢复等管理操作,支持统一的权限管理配置、错误告警等功能。
提供插件管理机制,方便用户安装、卸载已有的功能插件,允许用户自定义自己的功能插件,并集成到统一管理平台中。提供自定义面板功能,方便用户在一个视图中集中展示自己关注的内容。
提供Java、HTTP、REST等多种封装形式的监控管理接口、方便用户快速将监控管理功能集成到自己平台中。
◎跨平台运行
使用代码实现,在不同平台上具有很好的可移植性,能很方便的部署到不同系统中。
◎多种数据抽取模式
支持各种数据抽取模式,如全量同步、CDC增量同步(触发器、基于日志析)、单向同步、双向同步、文件目录同步等。
◎资源统一存储
源库为HYun-ETL的元数据提供了统一的存储机制,并对元数据提供各种管理功能,同时资源库还为HYun-ETL的 分布式部署提供支撑。
◎插件式组件管理和可扩展性
提供插件式管理机制,对于特殊的场景(如客户自定义结构的文本)可以方便的进行扩展开发,以插件的方式集成到HYun-ETL中使用。
未来,中科恒运将继续秉承“始于热爱,止于至善”的服务理念,以大数据和军事仿真为核心技术,巩固政务、军工两大行业优势领域,布局全国市场,为用户提供优质的软、硬件产品和服务,打造中科恒运优秀品牌,提升企业核心竞争力,实现企业跨越式发展,力争成为国内最具市场竞争力的百强软件服务商。