5 月 9 日- 12 日,ICDE 国际数据工程会议于线上正式举行。会议期间,SphereEx CTO 潘娟现场解读收录论文《Apache ShardingSphere:A Holistic and Pluggable Platform for Data Sharding》。
作为大数据领域顶级学术会议之一及 IEEE(电气电子工程师学会)的旗舰会议,ICDE、SIGMOD 以及 VLDB 并称数据管理与数据库领域的三大国际顶尖学术会议,在全球数据库工程师群体中具备极高的影响力。
往年每届 ICDE 大会,都会对当年收录的论文进行展示,今年也不例外。
5 月 10 日大会现场,论文作者之一、SphereEx CTO 潘娟面向全球数据库领域的专家学者,全面解读了本篇《Apache ShardingSphere:A Holistic and Pluggable Platform for Data Sharding》论文内容,向全球展示了 Apache ShardingSphere 的架构能力与生态。
期间,面对诸多入选的优秀论文及研究成果,参会专家们对 Apache ShardingSphere 迄今发展的能力表现出了相当浓厚的兴趣。在与会现场,潘娟现场解释了来自全球数据库领域专家提出的疑问。
01 ShardingSphere 支持分布式查询或者是分布式并行查询吗?
ShardingSphere 是支持分布式查询和计算的。Apache ShardingSphere 定位为分布式数据库当中的计算节点,底层每一个数据库节点相当于存储节点,在分布式状态下的存储节点,是具有部分的本地计算和运行能力的。因此 Apache ShardingSphere 的作用是将一条面对分布式系统的查询 SQL 语句进行解析、计算、分析,将这条 SQL 拆分为多条查询子任务,分别发送到不同的对应的数据库节点进行本地计算。
在本地数据库进行本地计算后,会将本地结果返还给 ShardingSphere 进行最终汇总,并将结果最终返还给用户。
02 ShardingSphere 现在所支持的存储节点当中,只支持 MySQL 等关系型数据库吗?
目前 Apache ShardingSphere 已支持 MySQL、PostgreSQL、SQL Server、Oracle 等主流数据库。ShardingSphere 作为分布式状态下的计算节点,通过标准、用户、数据库的 SQL 语言去查询和提取数据。
不过随着应用场景及产品生态的丰富, ShardingSphere 已经开始准备接入非关系型数据库,即 KV 存储数据库。一旦将非关系型数据库纳入进来,也就意味着 ShardingSphere 具备了直接查询 KV 节点数据的能力,这也会让 ShardingSphere 整个生态会变得更加的丰富与强壮。
关于 《Apache ShardingSphere:A Holistic and Pluggable Platform for Data Sharding》
先前,ShardingSphere 官微刊登了《Apache ShardingSphere:A Holistic and Pluggable Platform for Data Sharding》被 ICDE 收录的消息。
此次被收录以及面向全球数据库专家所做的分享,进一步提升了 Apache ShardingSphere 的国际知名度,代表 Apache ShardingSphere 所倡导 Database Plus 理念的工程化实践,在经过 5 年多的研发及生产验证后,其提出的基于数据库之上的增强计算引擎及内置的多层可插拔架构,在全球数据库领域认知范围内已经得到很好的印证。
随着研究成果获得全球顶会的认可,也代表着 Apache ShardingSphere 在数据库底层核心基础性技术研究方面取得了创新性突破。本篇论文印证了关系型数据库仍然是在线事务处理的主力。在缺乏可扩展性以及无法高效解决高并发问题、以及 NewSQL 数据库会带来额外学习成本的背景下,Apache ShardingSphere 作为一款数据库中间件来连接和管理众多已有的数据库,已经成为一种十分友好且高效的方式。
论文详解:ICDE 2022|Apache ShardingSphere:一个功能全面和可插拔的数据分片平台
关于 ICDE 2022
国际数据工程会议(IEEE International Conference on Data Engineering, ICDE)于 2022 年 5 月在马来西亚吉隆坡举行,吸引众多国际顶级高校、公司和研究机构展示前沿研究。会议内容覆盖数据挖掘、知识发现、面向机器学习的数据库技术等。该会议属于中国计算机学会(CCF)推荐的 A 类会议,是数据挖掘/数据库领域知名国际顶级会议。