大发welcome信息数据交流平台旨在建设一个面向全行数据收罗、交流、共享和开放的尺度化的、规范的、高效的、稳固的、可控的数据服务总线,实现批量、准实时或者实时的数据交流要求,提升营业系统间多样化、可设置、易治理的非实时批量及准实时数据交流能力。
连忙咨询· 手握大量行内外数据,萩i醋鲇杏檬褂没蛏疃绕饰。
· 疲于应付大量的碎片化,差异化需求。
· 上下游平台数据异构,兼容事情量大。
· 不知道行内有哪些数据资源可用。
· 数据提取方式重大多变,造成接口兼容耗时周期较长。
· 源系统性能低下,影响效率。尺度纷歧致,转码事情牵一发动全shen。
· 数据清静规范以及使用规范制约数据流通。
· 没有统一的治理系统。
· 数据使用qing况无法统计,不清晰哪些数据使用频率高,可以针对性提供此类型数据的品貌。
大发welcome信息数据交流平台旨在建设一个面向全行数据收罗、交流、共享和开放的尺度化的、规范的、高效的、稳固的、可控的数据服务总线,实现批量、准实时或者实时的数据交流要求,提升营业系统间多样化、可设置、易治理的非实时批量及准实时数据交流能力。
· 有渠道告诉各人自shen拥有的数据种类,以及用途。
· 消耗者可以自顺应获取这些数据,不要总是新zeng接口兼容需求。
· 统一数据尺度。
· 希望能够缓冲部门数据,不要频仍查询影响本系统性能。
· 直观的相识行内哪些数据可以使用
· 可以搜索数据,找出自己需要的数据
· 提高数据提供效率,包罗传输效率
· 降低手艺门槛,一种数据能够多种方式提供
· 有明确的数据清静管控规范和流程
· 清晰数据使用qing况,为数据架构决议提供参考
· 能够剖析数据流向和流量,举行刷新优化
产物优势
提供实时/准实时/批量数据方式收罗方式,对收罗数据举行加工、集成、共享、分发;具备行内数据和外部数据收罗/计费能力。可成为全行数据传输、交流、共享与服务中心,实现统一收罗、统一治理、统一服务。
支持多种关系型数据库(如MySql、Oracle、DB2或其他RDBMS),支持对接Hadoop平台多种组件(Hive、Hdfs、Hase);支持种种文件传输(如SFTP)。接纳插件化集成机制,针对市面上新泛起的种种数据源,可迅速开发Reader端和Writer端法式插件举行集成,保证高扩展性和快速客户化开发、交付能力。
每一种读插件都有一种或多种切分战略,都能将作业合理切分成多个Task并行执行,单机多线程执行模子可以让速率随并发成线性zeng长。
交流平台将重大的网状的同步链路酿成了星型数据链路,交流平台作为中心传输载体认真毗连种种数据源。
提供了简朴的接口与插件交互,提供简朴的插件接入机制,恣意加上一种插件,就能无缝对接其他数据源。
Reader读取、FrameWork处置赏罚、Writer写入。
支持多种ETL工具,以引擎的方式集成,交流平台通过界面设置数据交流相关的参数,支持天生种种ETL的剧本并挪用,ETL引擎返回执行信息,在这个历程中,交流平台监控数据交流的执行qing况,纪录日志。
提供可视化设置的服务数据、清静的运行情形及保证措施。