云数据平台CyberMeta是一站式大数据智能研发与治理平台,集成了数据集成、数据开发、生产运维、实时分析、资产管理、数据质量、数据安全、数据共享等核心数据工艺,让数据从采集到展现、从分析到驱动应用实现一站式平台服务。产品致力于为企业解决多业务场景、多业务系统下的数据共享、资产管理等难题,帮助企业提升数据工作者工作效率和降低数据运维管理成本,挖掘数据价值,为企业决策提供数据支撑。
2022年重大更新升级
云数据平台CyberMeta在2022年主要做出了以下方面的革新调整:
具备多租户、弹性扩展、计算存储分离等特性,拥有一站式一体化的服务能力。
支持多元异构大数据引擎灵活可插拔,支持流批一体、湖仓一体的技术解决方案。
产品提供开源和开放,通过OPENAPI方式可以快速和第三方产品进行集成。
数据集成支持非结构化数据源FTP、SFTP、HDFS等多种数据源的数据读取和写入。
提供实时计算能力,实现Flink作业开发。通过Flink SQL、Flink Jar 作业实现不同存储系统之间的ETL处理等。提供在线调试、查看运行日志、语法校验、版本管理等功能。
数据开发支持Flink、Spark、MR等多种计算引擎,支持在平台上进行各类引擎任务的开发、测试、发布和运维等操作。
支持对多套环境进行任务发布和管理,实现一套代码多环境部署的目的。
数据地图模块实现以数据搜索为基础,提供表详情、数据类目、数据血缘、元数据采集等功能。
数据服务提供加工、融合后的数据表快速生成API,支持API在线测试、授权、调用等,同时支持注册现有API至数据服务模块,进行API的统一管理与发布。
应用场景/人群
产品应用场景:
1、数据中台建设全流程:集成-开发-数据服务,一站式完成,帮助企业建立完善的信息化解决方案,支撑公司业务发展、规范作业流程。
2、大数据计算及分析:利用集群及强大的计算引擎,完成海量数据分析。
3、数据汇聚:通过数据平台,打破数据孤岛,将不同系统之间的数据相互打通,实现数据自由离线或实时流动,提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力,构建企业全域数据资产中心,释放数据价值。
4、数据全生命周期治理:提供系统化工具保障数据治理工作的落地和开展,制定数据标准,完善管理体现,规范监控流程,建立企业统一数据门户,保证数据能够精准、安全的提供给用户和系统。
客户内部使用人群:
1、从事数据开发、算法开发等岗位的技术人员。
2、从事数据应用开发的开发人员。
3、把控公司核心数据资产的管理人员。
展开全文
产品功能
数据集成:
提供可跨异构数据存储系统能力、可靠、安全、低成本、可弹性扩展的数据同步平台,通过可视化向导模式和脚本模式等多种方式与企业系统集成。
1、支持db/nosql/半结构化/二进制等主流格式;
2、支持多类数据源,多对数据传输模式;
3、开放式插件式架构,新增数据源类型支持只需几天。
数据开发:
提供可视化一站式离线任务和实时任务开发功能,集成主流计算引擎和针对各种业务场景的存储引擎,通过拖拉拽的方式轻松完成数据处理分析流程。
数据质量管理:
统一的数据标准,支持多种异构数据源的质量校验、通知及管理服务的一站式平台,为用户提供全链路的数据治理方案,包括数据探查、对比、治理监控、SQL扫描和智能报警等功能。
2022年新增的产品功能:
数据开发:实时任务开发功能。
数据服务:
提供一站式API托管服务,实现数据服务API 的创建、维护、发布、监控等全生命周期的管理。支持数据 API 服务的发布和下线,支持 API 发布版本管理。
数据资产:
以数据搜索为基础,提供表详情、资产类目、资产盘点、数据血缘、元数据采集等工具,实现对数据的统一管理和血缘的跟踪。
统一调度系统:(2022年改造升级)
提供全面托管的调度服务,包括任务调度配置、任务调度运行、资源控制、调度策略、调度监控等。
1、支持最小到分钟级调度,支持任务即时实例化,无需T+1等待;
2、支持多元异构集群统一调度,支持跨云、跨中心、跨集群、跨系统调度;
3、全面的运行监控和预警。
产品优势
1、简单、易用、低门槛:集成大数据核心组件,通过可视化开发界面,高效的完成大数据开发,快速让企业拥有大数据能力,支持多人协同开发,提升工作效率。
2、开源底座、混合云:整合高性能、稳定版本的开源存储及计算大数据组件,全国首个开源完整的数据平台OS,支持在各大云平台上部署使用。
3、一体化、全栈式:提供数据采集、标注、清洗、加工等一站式数据服务,覆盖整个数据生命周期,全链路管理。
4、安全性、自主性:支持私有化部署及混合部署,保障数据的自主权。同时支持数据权限控制、数据脱敏、 实时审计、高危风险告警,确保数据的安全。
与行业中其他友商对比的优势:
1、集成多种大数据和AI引擎,实现数智一体化(湖仓一体,流批一体,数智一体)。
2、先进的现代化数智平台架构,云化、云原生化和实时化。
3、开源、开放 ,开源的云数据平台,并且完全开放系统API给生态伙伴。
4、支持平台能力与大数据组件分离,实现轻量化部署,与客户原有大数据组件无缝衔接。
5、支持多地域、多环境、多集群发布能力。
服务客户/使用人数
重要代表性客户:某大型国有能源公司
通过调研客户业务流程,发现实时开发能力有限、平台自动化程度低、资产管理与使用效率低等问题。为解决客户在业务中存在的问题,我们一方面提供实时开发平台,通过“Flink+Kafka”技术实现实时的数据采集和数据处理能力,并支持异构数据源读写、自动构建血缘关系等功能,另一方面提供统一的数据资产管理平台,通过元数据采集对资产进行统一的管理,形成数据资产。通过对数据平台的全面升级,使得客户在物探、钻井、测井等13项勘探开发业务和计划、财务、物资等11项行政经营业务的数据及时性由87%提升至96%,极大程度提高了各部门的工作效率。
总的产品适用客户量或人群数量:
CyberMeta适用绝大多数的企业,覆盖金融、政府、能源、教育、制造业、零售等多个行业。2022年主要客户有20个,大部分为世界500强企业,产品适用人群数量覆盖26000人左右。
市场价值
云数据平台CyberMeta产品的市场价值:
1、支撑企业的数字化转型:帮助企业快速构建端到端的数据平台,消除数据孤岛,统一数据标准,形成统一的数据资产,发挥数据价值,加快数据变现,促进数字化转型。
2、推动企业的创新:数据平台使企业的数据具备快速编排、组合服务的能力,实现数据高效共享,提升数据的获取和服务效率,让数据快速有效就绪,可以更好地支持企业规模化创新,降低试错成本,使企业自身能力与用户的需求可以持续对接。
3、提高企业效能:企业通过抽象、梳理、整合可复用的功能和场景,将其提炼为可被业务单元引用的基础能力并下沉,避免重复造轮子,实现服务快速复用。打破新旧业务的数据壁垒,解决求稳与求变的矛盾,同时减少人员与部门间的沟通成本,提升企业整体运营和创新效能。
产品所属企业·:数新网络
数新网络,全称浙江数新网络有限公司,2020年7月成立,总部位于杭州。公司创始人陈廷梁(花名:王贲)是原阿里云大数据平台研发总监,御膳房、DataWorks平台创始人,数加平台总负责人。数新作为一家拥抱开源,专注于云数据平台的大数据服务商,致力于打造国内领先的云数智操作系统。通过公司自主研发的DataCyber产品序列,包括云数据平台CyberMeta,云数据科学平台CyberScience,数据运维平台CyberOPS,数据分析平台CyberExcel,可提供数据汇聚到数据服务、高效建模、智能运维、智能分析的一站式服务,让数据从采集到展现、从分析到驱动应用得到高质量结合,整体提升企业竞争力。