数据库行业深度复盘与展望:筚路蓝缕,星火燎原

核心提示1 数据库:信息系统承上启下的关键环节1.1 数据库是信息化核心环节数据库作为信息化的核心环节,是底层硬件基础资源与上层应用之间的重要支撑。根据Statista、IDC与Seagate的统计调研, 全球数据量将在2035年达到2142ZB,

1.数据库:信息系统的关键环节。

1.1数据库是信息化的核心环节

数据库作为信息化的核心环节,是底层硬件资源和上层应用之间的重要支撑。根据Statista、IDC和Seagate的统计调查,2035年全球数据量将达到2142ZB,但企业运营中只有32%的数据能够被存储和利用。随着海量数据的出现和对分析能力需求的增加,数据库存储能力将严重不足,未来数据库需求的紧迫性有望得到显著提升:

从信息产业链的角度来看,数据库作为信息系统中承上启下的关键环节,向下调用硬件基础资源,向上为应用软件提供重要的数据支持,是信息化中间的核心环节。从国家政策来看,数字经济是国家“十四五”建设的重中之重,而数据作为新的关键生产要素,是推动数字经济发展的关键环节。同时,国内数据库长期被海外厂商主导,随着国内数据库行业的快速发展,国内数据库将迎来重要的发展机遇。

广义的数据库通常指数据库系统,包括数据库和数据库管理系统。数据库管理系统向上支持应用引擎,数据库向下接收文本、图像、声音等数据源,调动计算、网络、存储等基础资源。1.数据库是按照一定的逻辑结构组织、存储和管理数据的大容量电子文件柜;2.数据库管理系统是以统一的方式管理和控制数据库的大型软件。它主要由内核组件集和驱动组件组成。核心组件集按功能模块分为管理组件、存储组件、计算组件和网络组件。

1.2七个维度全面梳理数据库开发流程

1.2.1从七个维度对数据库开发过程进行详细介绍。

回顾数据库发展的70年历史,分布式、云计算、人工智能等创新技术和基础设施的发展为进化注入了新的活力。本章将从数据模型逻辑、技术架构、需求功能、部署方式、存储介质、商业模式、数据库治理模式七个维度阐述数据库的发展,理清行业的演进逻辑和发展趋势。

1.2.2数据库发展的特点:顺应市场需求,行业不断演进。

随着市场需求的变化,数据库行业在不断演进:随着大数据时代的到来,数据的规模和逻辑关系的复杂程度进一步提高,非结构化数据的激增使得非关系型数据库发展迅速;随着5G下云计算和物联网的快速发展,对数据分析、响应速度、存储容量的扩展和计算能力的提升提出了更高的要求,使得分布式数据库发展迅速。随着信息化水平的快速提高,企业的业务规模迅速扩大,数据库的操作和管理成为新的问题。数据库云的部署模式和AI自治成为重要的发展方向。

1.3发展特点:顺应市场需求,行业不断进化。

1.3.1数据模型的分类和演进:NewSQL和multimode引领新时代。

数据演化的本质是由底层数据的规模、逻辑关系和类型驱动的,其路径是层次->网状->关系->关系和非关系并行。在当前关系和非关系并行的时代,新的NewSQL和多模式数据库正在迅速发展。传统SQL受限于其扩展性,随着大数据的发展逐渐面临瓶颈。但是,NewSQL提供了和NoSQL一样的扩展性,它仍然基于关系模型,保留了极其成熟的SQL作为查询语言,从而保证了数据的强一致性。同时,基于分布式架构,连接各种数据模型引擎,避免了多模式数据库与各种类型数据库的快速开发。

1.3.2技术架构的分类和演变

分布式架构逐渐走向成熟。

为了应对数据的海量增长,追求更低的扩展成本,数据库从单机、集中式向分布式架构快速发展。随着信息化水平的快速提升,对数据库存储、读写的要求更高,集中式架构的纵向扩展机制“向上扩展”面临硬件性能瓶颈。因此,“向外扩展”的水平扩展分布式架构成为新的趋势,它通过网络将物理上分散的数据库单元连接成一个逻辑上统一的整体。从集中式到分布式的演进降低了对硬件性能的要求,大大降低了企业数据库扩展的成本。

分布式架构从子数据库、子表的中间件逐渐发展到原生分布式架构,以应对不同的应用场景。早期的数据库事业部和表格事业部的中间件主要是由电子商务和社交网络起家的互联网公司开发的。然而,由于其对复杂查询事务的支持较差,难以应对业务的瞬时峰值需求,于是一种更加方便可靠的原生分布式数据库应运而生。根据具体实现,可以分为两类:以Greenplum为代表的主流MPP架构和以Cassandra、Hbase为代表的分区碎片化架构。

人工智能技术支持分布式架构

共享架构凭借其高可用性、低带宽需求、易于横向扩展和远程部署四大优势,逐渐成为主流的分布式架构。分布式体系结构正逐渐从共享磁盘和共享内存体系结构发展到纯共享体系结构。在共享架构中,每个处理器的私有内存和磁盘空之间,以“向外扩展”的方式水平添加处理器和对应的内存和磁盘,避免了事务对内存访问和网络带宽的竞争,提高了处理性能。国内方面,无共享分布式架构已经比较成熟,如PingCAP的TiDB、华为的GaussDB、蚂蚁的Oceanbase、大萌的Dameng+、阿里云的PolarDB、腾讯云的TDSQL、南大通用的Gbase、人民金仓的Kingbase、中兴的Golden DB等分布式数据库都是MPP无共享架构。

2国内数据库市场发展趋势分析

2.1行业规模和下游需求结构

作为数据库信息化的核心环节,在我国大力发展数字经济的背景下,数据库产业规模将保持快速增长。根据ICT研究所的预测,2020年中国的数据库市场将达到35亿美元,占全球总量的5.2%。预计到2025年,全球数据库市场将达到798亿美元。中国的IT总支出将占全球的12.3%。预计2025年中国数据库市场的全球份额将接近中国IT总支出的全球份额,市场总规模将达到688亿元,CAGR为23.4%。

金融、电信、政务、制造、互联网五大行业是数据库行业的主要下游需求领域,大数据应用的快速发展为数据库提供了增长动力。据信通院统计,其总市场份额高达80%以上,2020年采购总额将超过192亿元。另外,根据赛迪顾问的数据,2020年国内大数据市场格局的数据,其中互联网、政府、金融、电信、工业位列前五,占比分别为48%、14%、12%、9%、5%,合计约88%。大数据应用与数据库需求结构基本一致。预计随着大数据应用领域的拓展和持续增长,将成为数据库行业。

2.2加强数据库建设在“十四五”规划中多次提到。

去年各领域“十四五”规划陆续发布,在信息技术、金融、交通物流、农业等多个领域多次提到数据库的建设和应用。其中,数据库标准化的重要性第一次被提到了前所未有的高度。我们认为,随着数据库顶层设计的不断加强,国产数据库的研发将在“十四五”期间进入快车道,国产数据库的竞争实力将显著增强,行业有望进入加速发展期。

2.3数据库市场的增量需求

基于对数据库发展趋势和国家政策导向的分析,我们认为未来数据库市场的增量需求主要来自以下三个方面:1 .本土化进程逐渐加快;2.将传统的集中式数据库升级为分布式架构;3.非关系数据库的应用场景不断丰富,发展迅速。

2.4非关系数据库应用场景不断丰富,发展迅速。

2.4.1数据库本地化的浪潮势不可挡。

国产数据库容量不断提升,优势领域海外厂商份额逐步被抢占。Oracle、微软、SAP、IBM等海外厂商由于其产品具有更好的性能、稳定性、安全性以及与海外ERP、CRM更好的兼容性等优势,在企业核心OLTP业务场景中一直处于领先地位。近年来,随着国内数据库产品功能和性能水平的不断提高,其产品水平逐渐接近海外厂商。IDC数据显示,在传统关系型数据库领域,甲骨文、微软、SAP、IBM的份额总和已经从2019年的66.8%下降到2021H1的48.5%,这是国内数据库技术首次趋于成熟,海外厂商主导的核心OLTP应用场景已经逐渐被。

2.4.2将集中式数据库升级为分布式数据库

随着数据类型和规模的指数级增长,传统的终端计算场景已经难以应对数据存储和处理的工作量和复杂性。云计算通过存储与计算的分离、资源的弹性动态分配、边缘节点计算,打破了传统计算场景的瓶颈,实现了当前数据处理的需求。云计算场景的需求推动了分布式数据库的应用发展:1 .资源池管理可以实现物理或逻辑层的相互隔离和资源的自由扩展,具有弹性扩展、HTAP事务能力、多租户管理能力和高可用性,与云计算场景的需求相匹配。2.多种访问接口和数据类型的兼容,可以优化存储在不同物理服务器和格式的数据的结构和算法,突破服务器类型的限制,为不同类型的上层应用提供多模式的数据服务。

分布式体系结构以其经济性、安全性、自治性、灵活性和可扩展性等优势逐渐取代集中式体系结构。目前,互联网、金融、电信等行业的分布式升级进展迅速。以金融和电信行业为例,核心业务数据类型为关系型数据库,这类集中式数据库的业务量将呈现爆发式增长。由于单个硬件容量增长有限,无法通过纵向升级硬件来拓展存量数据库的容量天花板。而分布式数据库采用多种模式实现数据的分散存储,将压力分散到不同的服务器上,通过增加存储或计算节点不断实现灵活升级,克服了集中式数据库的诸多缺点。行业内的分布式数据库在股份制银行、城商行、二三线城市运营商等都已经转化为核心业务系统。同时,去年12月,腾讯分布式数据库TDSQL登陆东吴证券核心交易系统,也标志着券商核心系统的突破。

2.4.3非关系数据库的快速发展

中国的非关系型数据库发展迅速,正逐渐进入世界前列。中国的非关系型数据库主要基于Redis、InfluxDB、CouchDB等开源数据库产品进行二次开发。根据2022年2月的DB-Engines排名,浙江知止和中国阿里云TSDB在时间序列数据库中分别排名第11和第21;数据库方面,Aura数字网络星云图、智能云开源产品HugeGraph、华为云Graphbase分别排名第15、26、32位,可见国产NoSQL数据库正逐渐向世界前列靠近。随着工业互联网、创新互联网服务、车联网等应用的快速发展,非关系型数据库的应用将加速。

3国内数据库厂商详细梳理

3.1大萌:融合新兴技术,领先十余年。

科技创新,夯实信息安全基石,赢得国内数据库十余年市场份额。武汉大梦数据库有限公司成立于2000年,是中国电子信息产业集团旗下的基础软件企业,中国软件和技术服务有限公司持股25%。大梦致力于数据库管理系统的研发、销售和服务,为国内外数十万用户提供全栈数据产品和解决方案。为了打破欧美的技术封锁,大萌自行研究底层逻辑代码,立足国内客户,深挖用户需求。先后完成国家级、省级科研开发项目近60项,取得研究成果近400项,获得国家级、省部级奖励30余项。根据赛迪顾问的统计,从2000年开始,大梦在数据库市场的占有率已经连续十几年蝉联冠军。

梦想自研高性能数据库管理系统DM,不断融合分布式、云计算等新概念升级系统架构。DM系列从80年代开始开发实验室样机,2000年初商业化。已经更新迭代了8个版本,在灵活性、易用性、可靠性、高安全性等方面进行了大规模的改进。分布式架构实现了计算资源的动态分配和资源的精细化利用;行列一体化,支持超大规模并发HTAP;;生态升级以支持多云环境中的部署。研发大规模数据处理集群DMMPP,支持从TB到PB的数据存储和分析。基于完全对等的无共享架构,最多可将1024个DM8节点组织成一个并行计算网络,支持哈希、范围、随机数据分布以及水平、垂直和多级混合分区,提供高可用性和动态可扩展性。

3.2南大通用:拓展生态领域,全面开花。

NTU被评选为专业创新的“小巨人”企业。天津南大通用数据技术有限公司成立于2004年,注册资本1.4亿元。七年来连续被赛迪顾问评为国内数据库领军企业,并于2021年成功入选首批国家重点专精特新“小巨人”企业。

Gbase系列基于Informix的不断创新发展,从OLAP到OLTP,关系->NoSQL->NewSQL,逐渐扩大生态,增加市场份额。NTU通用深耕金融行业自主研发了国内首个基于库存的新型分析数据库Gbase8A2014年与IBM签署战略合作,获得Informix的源代码和技术授权,站在巨头的肩膀上开发复杂事务处理数据库产品Gbase 8s,再整合分布式架构开发8c,提高系统可用性。

3.3人金仓库:深耕关系数据库领域。

人大、财政部、产学研一体化,快速发展,下沉市场,布局未来。北京人大金仓信息技术有限公司,由中国人民大学数据库专家于1999年创立,先后承担了国家“863”、“核高基”等重大项目。是中国电子科技集团有限公司成员企业,广泛应用于各级党政军及企业级市场。目前已覆盖全国近3000个县市,完成安装部署近100万套,入围工信部“2021数字”

专注关系数据库,市场份额持续领先。据IDC统计,2019年下半年国内数据库市场份额中,NPC金仓排在阿里和NTU通用之后,位列第三。与前两地的全方位发展相比,人大金仓专注于关系型数据库领域,分别针对OLTP、OLAP、HTAP场景开发了Kingbase ES、Kingbase AnalyticsDB、KSone系列数据库。结合创新创新浪潮,NPC金仓非常适合国内上下游芯片、操作系统、中间件等。,并与生态伙伴完成了近万项产品兼容性互认证,努力为用户持续提供稳定的服务。完善的数据迁移工具可以流畅高效的解决异构数据库的数据迁移问题,帮助数据库提升。

报告摘录:

精选报告来源:【未来智库】。

 
友情链接
鄂ICP备19019357号-22