×

金融业 存储 案例 能力 数据

案例 | 金融业数据存储能力建设的破局之道

jnlyseo998998 jnlyseo998998 发表于2023-04-21 08:16:04 浏览28 评论0

抢沙发发表评论

数字化已经成为金融业转型的共识和焕发新生的重要驱动力,以数字技术为核心的金融科技将激活金融业发展的新动能。在金融数字化转型中,面临着数据能力、科技能力、风险防控能力等建设的要求,以数据为基础的能力建设特别明显。数据作为金融业的核心资产,其存储体系关乎金融业的数据安全存储和数据价值释放。随着金融业数字化转型的革新,金融IT架构逐渐向分布式架构并转,以软件定义存储技术为核心的分布式架构成为了金融IT存储架构演进的关键技术支撑。

深圳市杉岩数据技术有限公司董事长兼CEO 陈坚

金融业数据存储能力面临的挑战及对策

现阶段,金融业数据存储能力呈现出不同的景象,走在前列的已基本实现引领业务创新。在其建设中,金融业正面临诸多挑战:一是数据平台应用“通用性”不足,出现“数据孤岛”的现象;二是非结构化海量数据剧增,普遍存在扩容和数据检索难题;三是缺乏灵活性和快速响应能力;四是数据“碎片化”,难以管理和挖掘价值。

在日常业务中,金融业产生了海量的数据,覆盖了客户、账户、产品、交易等结构化数据,以及语音、图像、视频等非结构化数据,特别是非结构化数据的剧增,驱动了分布式技术架构的需求转变。而软件定义存储基于分布式存储架构,在容量、性能和扩展等方面具有优势,可以有效应对大规模、高并发、易扩展等场景下对数据存储能力的要求,成为金融数据存储架构分布式改造的关键支撑技术。

金融业数据存储能力建设的四个维度

金融机构可以根据金融业务场景,选择适宜的技术路线。“数据二十条”发布后,形成“科技-产业-金融”良性循环,以业务应用推动数据的流通。我们认为,数据存储是各业务应用的“底座”,是金融数字化转型成功与否的关键因素。为此,针对数据体系能力的建设,我们通过从数据产生层、数据存储层、数据分析层、数据应用层四个维度构建存储体系,围绕数据资产阶梯式实现数据价值最大化,破局“数据孤岛”、数据“碎片化”、应用单一等问题。

图1 金融数据存储能力建设体系

展开全文

数据产生层:数据采集作为数据管理体系第一环节,如柜台业务、后台业务、OA等系统每时每刻都在产生海量的结构化及非结构化数据,需要建立一套统一的数据采集体系方案,全面、高性能、规范地完成海量数据的采集和汇聚。

数据存储层:数据经采集,存储层使用最优的 IO 路径数据处理算法,通过元数据缓存以及小文件聚合优化技术,保证高效的数据读写能力;通过分布式哈希、强一致性数据复制技术,保障数据的高可靠和高可用;为数据清洗、ES搜索引擎、客户档案应用、综合档案应用等提供存储底座。

数据分析层:在面向应用提供服务时,给数据产品和数据分析使用的数据业务团队或深入业务线的数据团队提供数据支撑,包括实时数据查询、历史数据查询、归档确认、管理分析等。

数据应用层:当数据被采集、存储、计算之后,可以实现应用对底层数据存储透明,将海量数据方便高效地开放给内部用户或外部用户使用,从而满足业务的需求。

基于数据产生层、数据存储层、数据分析层、数据应用层构建的存储体系,为上层数据产品、业务系统等提供数据支撑。杉岩数据采用数据存储产品(杉岩MOS海量对象存储产品)+数据服务软件(iDataExplorer智能数据管理系统、iDataCook智能数据处理平台、iDataFusion智能数据融合系统)一体化产品服务,全面满足客户数据存储、管理和应用需求,实现数据的“存、管、用”一站式服务。

金融业数据存储能力建设的核心支撑

在金融数字化转型中,“高质量数据”是保证数据服务效能之基,没有数据做基础,无论是何种数据建设和服务场景,都可能遇到“数据存力”问题。杉岩数据从源头入手,以金融业应用场景、关键业务、技术服务为依托,以打造差异化的产品和解决方案为目的,为金融业数字化转型升级赋能。

以应用场景为驱动力。随着金融客户线上业务的增多和金融业领域监管越来越严格,影像、证件、单据、存证等非结构化数据呈现爆发式增长,对这些数据的科学管理和有效开发成为金融业正确决策、增强竞争力的关键。杉岩数据针对金融影像系统、非结构化数据统一管理、私有云存储、金融信创、数据备份、湖仓一体等不同的场景应用研发出不同的解决方案,以满足多维度的用户需求。

以关键业务为核心力。大数据、人工智能、5G等技术在金融业务应用中的重要性愈发显现,如影像系统、业务系统、客户系统、办公系统、档案系统、日志系统、备份系统等业务,对高性能、高扩展、高可靠、高兼容等特性提出了新的需求,杉岩软件定义存储技术天然匹配了其特性的需求。

以技术服务为支撑力。金融业务系统种类繁多,分为稳态业务系统和敏态业务系统两大类,稳态业务系统以采用集中式存储为主,敏态业务系统采取分布式存储架构。杉岩数据的软件定义存储产品具有灵活易扩展、数据智能处理、简化数据管理和运维、降低存储成本等优势,有效支撑敏态业务发展需求。

金融业数据存储能力建设的应用实践

针对金融业的数据存储体系建设,杉岩数据主要考虑价值方向包括:存储性能、数据迁移、适配上层应用、数据安全、信创需求等,以满足金融机构对新存储架构的主要诉求,保障各类上层业务系统的安全、稳定、高效运行。

基于对杉岩海量对象存储(SandStone MOS)的应用实践解决方案,以自主研发的软件定义存储技术为核心,适配安全可信赖的软硬件生态,预集成自主研发的企业级存储引擎,具有安全可靠、开放生态的优势,适合为影像数据、非结构化数据中台、容器云存储、云原生数仓、网盘、备份归档等应用场景提供存储和管理服务,具有可扩展性、高吞吐、高可靠性等特点,为金融业关键业务系统、数据管理系统、数据分析系统提供统一的非结构化存储和管理平台。

图2 金融非结构化数据统一管理解决方案架构图

应用案例1:某股份制商业银行

在日常业务中,该行业务系统的客户证件、远程开户录像、合同扫描件、客服中心语音等非结构化数据每年增长40-50%。希望建立一套非结构化数据管理和存储平台。该案例采用鲲鹏芯片+麒麟操作系统+杉岩分布式存储系统的技术路线,实施部署后,实现了非结构化数据的统一管理、开放兼容的一站式存储服务,具备高性价比、高性能、可弹性扩展能力,打造高可靠、稳定、安全的数据存储底座。

应用案例2:某证券公司

某证券公司是一家经中国证券监督管理委员会批准的综合类证券公司,在日常核心业务中,需要对录音录像等数据进行高效存储。该案例采用海光芯片+麒麟操作系统+杉岩分布式存储系统的技术路线,实施部署后,实现了数据的统一管理和有序流动,消除传统集中式存储存在的性能、容量瓶颈,满足应用快速开发迭代及快速上线的需求,数据更安全,访问更高效。

截至目前,杉岩数据已服务于恒丰银行、广发银行信用卡中心、浙江农信、江苏银行、海通证券、广发证券、平安证券、PICC、中银保险等近百家金融用户,为金融业数字化转型提供一站式“存、管、用”的数据存储最佳方案,致力于让金融业基础设施建设变得简捷、高效、安全。