近日,应ACM SIGMOD 2023会议邀请,HPC 高性能计算与存储专家、CEO 孙宇熙于6月18日至6月23日,赴西雅图参加全球数据库国际学术顶会SIGMOD 2023 (ACM SIGMOD/Big Data in Emergent Distributed Environments),并报告最新论文。
据悉,该论文是在嬴图构建Graph XAI 的实践中完成的——题为《Designing Highly Scalable Graph Database Systems without Exponential Performance Degradation》。
论文中提出了:HTAP分布式共识架构、Grid网格架构、Shard自动分片架构三种图数据库系统体系架构设计模式、演化路径及适用场景。
在适用场景部分,图(数据库)系统面临的一大挑战——大多数现有的(图)分布式系统因继承了大数据与 NoSQL 系统框架,普遍以存储容量为核心,无视性能(计算)的重要性。
这也造成了很多行业的一大痛点,特别是在金融领域中,海量且复杂的各类数据每时每刻都在大量地涌入(存储),但却没有具备足够的图计算能力,可以对这些数据进行穿透、深入、实时的挖掘、分析和洞察。
金融人员也常常为此感到无奈,满怀希望地对一大堆数据进行“开采”,结果一超出查询范围,直接变成“无法返回结果”……这也从业务侧体现出计算引擎的重要性,它才是将数据变废为宝、点石成金的关键。
由实践到认知,嬴图意识到数据需要“海存”更需要“深算”的现实需求,在水平可扩展系统上进行了集群管理机制和更深入的查询优化,并提出了“性能无指数下降的高可扩展图数据库系统架构”的理念,力求在性能(计算)和可扩展(存储)上实现相辅相成。
对此,在报告中,论文对上述的三种分布式图系统架构进行了阐述,并通过分布式(图)系统的演变、三种分布式(图)系统间特性的比较:HTAP的实时深度下钻能力;带有NameServer服务器和Meta元服务器的网格架构的“人工智能分片”;带有NS服务器、Meta元服务器及Shard服务器的水平自动分片架构;以及将HTAP与自动分片架构进行融合,以实现深度计算与海量存储的共容。论文同时引用了评测数据与案例,让读者(包括与会嘉宾)对(图)系统的可扩展性和性能有了更直观、形象和高效的理解。
孙宇熙表示,HTAP分布式架构、Grid网格架构、Automated-Shard自动分片架构在性能上是各有侧重的,并不存在一种单一的架构可以放之四海而皆准的。任何行业和组织的应用都是基于成本、主观偏好、业务逻辑、设计理念、复杂性容忍度、可服务性和很多其他因素来综合决策的;但从架构演进的角度来看,从HTAP到网格再到分片架构,显然更符合层层递进的发展方向,尤其是分片架构说明了设计复杂且有能力的(图)系统所涉及的多样性和复杂性,这中包含了整体的性能表现、可靠程度、绿色效能等多个方面在内的综合性能展示。
据了解,SIGMOD 大会由美国计算机协会(ACM)数据管理专业委员会(SIGMOD)发起的,是数据管理、数据处理和数据存储领域最具影响力的国际性学术会议之一。本次嬴图受邀,体现了学术界对嬴图Graph XAI 先进性与业界影响力的高度认可。
链接: