恒生居然造起了“数据集市”
2020-06-29 17:42:14
来源: 恒生电子
0评论
最近恒生又和某券商——造起了集市
什么集市?
投研数据集市
iBrain恒生数据中台通过对金融数据的加工能力、金融数据产品化的能力,全新打造统一的投研数据标准化服务——投研数据集市,解决投研数据的一致性、及时性、准确性、时效性、权威性等问题。
●数据资产,一览无余●
数据资产是系统所产生的所有数据
包含数据表、指标以及API
“集市”就可以把这些众多且复杂的数据资产
进行统一的展示、搜索与管理
建立在大数据技术的基础上,运用大数据计算、NLP、知识图谱等大数据技术构建可视化资产地图,用户在查阅资产地图的同时,还可以查阅数据质量报告,同时自动构建清晰的上下游数据血缘关系,方便用户追溯。
此外还提供资产搜索功能,用户可自定义输入关键字搜索,通过组合搜索与高级搜索的联合功能完成用户100%的搜索目标。
●模型加工,改头换面●
没有合格的数据
再好的工程师也挖掘不出其中的价值
为了方便使用,数据得规整
所以需要清洗
模型加工模块定位是整个数据流的清洗加工,贯穿了从数据源到资讯接口整个过程,涵盖的功能有:
数据源管理、ODS管理、EDW分析、合成管理、资讯集市、数据采集、数据开发、任务调度。
支持白屏化加工方式与代码开发方式两种开发方式,保证整个模型加工过程的完整性,且整个过程实时完成。
恒生统一资讯模型按照SDOM规范和CFI国家编码构建:资讯数据模型整个设计思路参照贴源层、模型层及应用层的模型设计原则,对金融机构资讯数据,设计统一投研数据模型、投研应用数据模型,对核心主题数据进行清洗。
●数据质量管控,保质保量●
数据也会“不听话哦”
通过监控数据模型落地的整个ETL过程
及时发现数据质量问题
并对排查出来的问题进行处理
数据“不听话行为”主要包括:数据延迟问题、无效数据问题、数据缺失问题、重复数据问题以及数据一致性问题。
为提供高质量的投研数据服务,恒生建立投研数据治理体系:
| 提供可视化监控平台,提高监控预警效率
| 建立数据大屏,可视化地实时展示当前的数据质量问题及数据使用情况
| 建立数据质量校验及提醒反馈机制
| 支持系统自动化监控及用户自主反馈数据质量问题
| 实现多种方式的数据质量校验机制
| 形成投研数据使用效率的量化指标,自动化生成供应商整体质量评价结果
| 提供敏感数据可视化判断及处理平台,支持数据管理团队快速响应处理
恒生经过多年业务积累,总结了上千条质量检验规则,涵盖深度规则和一般规则,包一致性校验、完整性校验、勾稽校验等。
校验完成后,可生成数据质量校验报告且以数据大屏的形式出现,有清晰的质量问题预警与质量反馈机制,数据处理性能达到S级响应。
●数据服务平台,OneService●
沟通往往成本是最大的
So,恒生搭建统一的数据服务总线
统一管理对内和对外的API服务
解决前端与三方系统取数用数的问题
恒生数据服务引擎模块设计的理念为OneService的理念,数据复用而非复制,提供服务统一管理、统一授权、统一分发的职能。
数据服务不仅支持将现有的API快速注册到数据服务平台以实现统一管理和发布,借力恒生HSIAR网关,支持将API服务一键发布至API网关。
用户只需关注API本身的查询逻辑,无需关心运行环境等基础设施。数据服务会准备好数据资源,并支持弹性扩展,降低运维成本。
●用户权限,用就爱上●
恒生提供统一的权限管理模块,涵盖功能权限、用户权限、数据权限等,用户通过配置的方式可实现最小粒度功能元素或数据的用户或角色授权,真正意义上做到严格的专人专数、专人专点的权限控制。
使用者可以通过线上申请的方式申请相应权限。
未来,恒生投研数据集市将进一步满足金融机构在股票研究、债券研究、基金研究、产品研究、策略研究、宏观研究、行业研究及市场研究等方面的发展需要。
还可提升金融机构研究报告撰写、个股点评、基金评价、投资池、模拟组合、量化筛选、信用评级、估值定价、事前风控及绩效归因等多个业务场景的专业能力。
除了投研数据集市,iBrain恒生数据中台还建设了全生态核心产品体系,覆盖数据采集、存储、加工、分析、服务等专业化产品和服务,在保障数据安全的前提下,为金融机构提供一站式的大数据处理全流程解决方案!
【责编:崇嘉】
评论
全部评论(0)
0评论 2574天前
0评论 2574天前
0评论 2574天前
0评论 2574天前
0评论 2574天前
0评论 2574天前
0评论 2574天前
0评论 2574天前
0评论 2574天前
0评论 2574天前
用户名