当前位置: 首页 > 专栏

Cognos + Kyligence:打造大数据时代的OLAP解决方案

发布日期:2019-08-14 08:35:49 编辑:it技术分享网 阅读次数:

作为Hadoop原生的企业级OLAP大数据分析产品,Kyligence是IBMCognos在大数据场景下的迁移方案,已经成为金融企业替换IBMCognos技术的主流选择!

本文将通过剖析金融企业使用Cognos中碰到的瓶颈问题,结合Kyligence在某保险企业与某大型金融公司的实际应用为例,为大家展示Kyligence是如何替换CognosOLAP后台服务,提供基于分布式架构的大数据OLAP能力,突破Cognos固有的支持维度数少、性能低、没有单元格级别的ACL能力,无法连接大数据平台等局限,并与Cognos报表工具无缝集成,帮助企业实现海量大数据上的亚秒级查询体验,赋能企业整体分析和决策效率。

前言

随着企业向“互联网+”和“金融科技”的转型,数据量和数据分析需求都成爆发式增长,面对来自经营分析、客户管理、精&nsbp;准营销、风险防控等业务的分析需求,CognosOLAP组件在数据量、维度数量、维度基数、查询速度、构建性能、并发能力等方面的不足以及高昂的使用成本使得企业用户无法基于其平台充分应对大数据多维分析的挑战。

\

如某全国性金融机构,Cognos的单次查询时间平均在15分钟,最长超过1小时,数据分析人员无法进行多维分析,只能查看预先生成的固定报表。另外某国有银行,为了减少权限变动导致的数据刷新次数,同样的分析主题需要为每个分行单独构建Cube,导致全行Cube数量超过2,000个,开发和运维压力非常大。因此将企业级OLAP分析平台从传统技术迁移到适用超大规模数据集,特别是基于Hadoop平台、原生的OLAP技术成为越来越多国内外金融企业的选择。

IBMCognos是传统的商务智能(BusinessIntelligence)产品,进入市场早,功能较完善和稳定,成为当时业界公认的主流OLAP(OnlineAnalyticalProcessing,联机分析处理)产品之一,在银行、保险、证券、电信等传统行业有着广泛的使用。

最近几年,很多企业开始基于Hadoop技术建设大数据分析平台,以更好的支持企业对业务数据、用户行为数据、日志数据,外部数据的融合分析,但CognosBI对于Hadoop技术的兼容性差,以及CognosPowerCube本身的技术局限性,使得企业缺乏在大数据平台上进行OLAP多维交互式分析的能力。Kyligence的产品作为Hadoop原生的企业级OLAP大数据分析组件,能够提供PB级数据集上的亚秒级多维交互式查询能力,目前已成为金融企业替换CognosOLAP技术的主流选择。

保险案例Kyligence+CognosBI融合分析实践

以某国内大型保险公司为例。在产险公司保费增速和综合成本率双优目标背景下,企业期望以管理会计的全新视角归集财务成本,整合车险、非车险、渠道、费用等近4亿业财数据进行细粒度多维分析,为财务部门提供保单级数据多维经营分析和成本考核。然而传统CognosPowerCube由于本身技术架构的局限性,无法对业财整合后的海量数据实现高效分析,跨年多维分析的延迟常常慢到分钟级;无法满足对业财融合数据的数百个维度和指标进行灵活高效分析的需求,分析维度和分析指标偏少,单个分析场景仅能支持10个以内的维度的灵活组合分析;且分析时效滞后,分析预见性差以及回溯分析困难。

Kyligence基于Hadoop分布式技术框架,则将Cube能力提升到一个崭新的层次——单一Cube支持数百TB甚至PB级源数据,Cube维度和指标数目敏捷扩展,支持百万级高基数维度分析,支持高并发数据查询。KyligenceCube能够作为数据源无缝连接CognosBI,在保留业务用户使用习惯的同时,提升多维分析性能和体验。

以绩效考核分析场景为例,财务人员能够从分公司/中支公司/支公司/科室/经办人、渠道、条线、代理点、等分赔付等40+维度对作业成本项目进行责任单位的无限细分,秒级获取200+指标结果,有力地改善作业成本管理,实现绩效考核和精益化管理。

金融案例Kyligence替换Cognos,成为企业OLAP平台的新选择

国内某大型金融公司从2007年开始将多维分析理念引入数仓系统,支撑了大量业务分析应用,2012年以后,随着数据量增长,基于CognosOLAP的多维分析平台的一些弊端和技术限制开始显现,例如日/月报数据准备时间长,月报构建时间超过三天,查询性能不稳定,查询延迟从秒到分钟级,甚至小时级,给业务带来极大的困扰。另一方面,整个平台的运维工作量也越来越大,有1,200个Cube支撑80%的分析应用,超过5,000个任务调度,给开发和运维带来了巨大的负担。另外,平台在编程和扩展性,权限管理方面都存在瓶颈。

2018年,该企业在其建设的Hadoop大数据平台上部署了Kyligence公司的智能数据分析平台,向企业内外部提供大数据多维探索和分析服务。日批量由15小时减到2小时,数据准备时间缩减80%;通过1个KyligenceCube替换数百个CognosCube,IT运维成本缩减90%;实现90%查询响应小于3秒,业务分析效率得到了显著提升;支持在千万级商户粒度进行高性能交互式分析与数据探索,成功推动业务创新。

Kyligence+Cognos,极大提升企业分析与决策效率

Kyligence的产品是基于ApacheKylin的企业级智能大数据分析平台,为用户提供PB级数据集上的亚秒级查询能力。作为OLAP数据源,KyligenceCube能够快速迁移和替换企业原有的CognosPowerCube,且无缝对接Cognos前端分析和展现组件,例如ReportStudio和AnalysisStudio,在支持原有业务的同时,大幅增强对新需求、新业务的支撑能力,提升用户在多维探索时的体验。以下是Kyligence与Cognos的集成架构图:

\

这里实现了在Kyligence和Cognos的集成架构中使用同一套用户和数据权限管理机制,显著提升了管理效率,避免用户多次登录。Kyligence支持将传统RDBMS数据库作为数据源,进行Cube构建,使得用户无须搬迁底层数据,无须改变前端应用,采用快速而敏捷的方式加速业务交互式查询体验,赋能企业整体分析和决策效率。

以下是KyligenceCube替换CognosPowerCube后的架构对比图。除了CognosBI,Kyligence也能和其他BI工具例如Tableau,Qlik,PowerBI进行无缝集成。

本方案使用KyligenceCube替换传统CognosPowerCube,突破了传统多维分析在容量、性能、实时性、并发能力方面的瓶颈,该方案具备以下优势和收益:

\

·无缝集成CognosBI或其他前端展现工具,业务应用无须改变,而是底层数据源实现快速切换;

·显著降低Cube设计的复杂度,节省大量重复的开发和运维人力成本,将IT资源聚焦到更多有价值和创新的技术和业务上;

·提供智能化方法敏捷迁移现有Cube,实现业务分析体验和效率的提升,大大加速项目部署周期;

·Cube日增量构建通常能在1小时内完成,大大提升了从数据到业务结果呈现的时效性;

·基于PB级数据,无需IT团队事先准备汇总场景,用户可进行灵活拖拽、筛选过滤、钻取等自助分析操作,提供更好的用户体验,加速业务获得数据的效率;

·支持读写分离架构,提供稳定的并发性能,满足大量用户同时访问的需求,赋能企业将数据分析和决策能力渗透到企业各个层级。

关于Kyligence

Kyligence由来自中国的Apache软件基金会开源项目ApacheKylin核心团队组建,是专注于大数据分析领域创新的数据科技公司。Kyligence提供基于ApacheKylin的企业级大数据智能分析产品KyligenceEnterprise,以及基于公有云的托管式Kylin在线服务KyligenceCloud。目前,Kyligence已赢得了海内外多家金融、保险、证券、电信、制造、零售、广告等企业级客户。

本文链接:Cognos + Kyligence:打造大数据时代的OLAP解决方案

上一篇:Galaxy S8 推出移动4G+版本 引领手机进入新时代

下一篇:95%好评背后,媒体如何看待魅族EP51耳机?

友情链接:

大悲咒全文 心经唱诵 线上念佛

Copyright © 2017 it技术分享网 版权所有 All Rights Reserved. 网站地图

苏ICP备18043316号