嬴图Powerhouse,直译过来就是能量站、动力站,它是嬴图自2019年发布高密度并行图计算引擎以来的一个里程碑,包括对整个产品架构的一个彻底革新,为大量复杂数据进行计算、分析和存储提供了快速和强大的动力支持。目前嬴图的用户正在使用它来实时处理每天数亿笔的交易或被用于科研领域。
一、1+1 大于 2:图数据库+数据可视化
嬴图的产品有2大核心:底层的图数据库与上层的数据分析与可视化软件。
实时图数据库是分布式、可扩展、可弹性的高性能原生图数据库,它能够承载万亿级点边的超大规模数据集,通过超融合统一图计算架构,提供达到实时级别的微秒、毫秒级查询和分析。从2019年嬴图发布业界首个高密度并行图计算引擎以来,历经了多次迭代:
- 2019年嬴图发布高密度并行图计算引擎,在主要性能指标上对标业界大厂产品并具有指数级性能优势。
- 2020年嬴图图数据库发布,并开始行业内测。
- 2021年嬴图发布首个支持分布式集群的HTAP图引擎,开始规模化商用部署——并支撑了多个业界极具挑战与创新型业务场景与杀手级应用,例如基于实时图计算白盒化破解了Oracle 现金流引擎,并用于实时化流动性风险管理与归因分析、跨指标归因分析等。
- 2022年嬴图发布云原生SaaS/DBaaS产品工具、即插即用图算法,一键式部署以及更多杀手级应用。
- 2022年嬴图发布Blaze版本,首创了demi-schema混合模式设计,以直观的数据建模,实现最大的灵活性和更高级、更深入的查询。
- 2023年嬴图Blaze企业级快速迭代。
- 2024年嬴图Powerhouse发布。
据了解,嬴图产品是由清华毕业生为核心的团队自主研发和设计的。在研发之初,他们发现国内大多数搭建的图谱平台,如“某某智慧城市”、“某某智慧平台”仅仅是大数据屏幕的展示,缺乏底层技术架构自研能力,图存储和图计算引擎要么是非原生的、多模式的,要么是基于Neo4j社区版或开源的Janusgraph、ArangoDB 进行套壳改造而来的,甚至是基于传统关系型数据库或Apache Spark等大数据框架搭建的技术架构……效能一团糟糕,根本不具备算力上的支撑和能力。痛心和无奈之余,嬴图团队从零开始进行内核开发、架构创新,自研完全集合底层技术高密度、高并发硬件加速动力图引擎与上层应用知识图谱平台相结合的一整套真正具备算力、智能、智慧的图系统。
时至今日,嬴图实时图数据库已经深入应用到金融领域、医学健康等领域中,并拥有众多创新性的解决方案。同时,因拥有底层图计算引擎支撑,用户的数据规模越大,图数据库优势就越大。如在金融业务的应用中,数亿级的动态数据均可呈现实时、多维、深度的查询、穿透和分析;这也意味着用户在面对实时的、海量的、不断更新的数据时,有了更多将数据变废为宝、点石成金的能力。
二、是什么让嬴图Powerhouse与众不同?
嬴图Powerhouse基于C++实现,采用了全新的超融合架构,由Shard服务器、HDC服务器、Name Server服务器以及Meta服务器四大主要部分组成,具备高性能图计算能力和弹性的可扩展性。
图:嬴图Powerhouse架构
一是统一架构。进一步加强了水平可扩展的存算一体化集群(SCC)和高密度计算(HDC)以及低内存消耗的统一架构设计。图处理系统常常面临数据本地性和计算效率之间的权衡。传统分布式计算集群虽然支持横向扩展,但由于其通用设计,难以维持最佳的数据本地性。另一方面,高密度计算节点具有更高效的下钻的能力,但在面对多样化弹性图工作负载时,也会缺乏所需的可扩展性和灵活性。
嬴图Powerhouse通过无缝整合可扩展性和最佳性能,弥合了这一差距。它确保高效图遍历和计算的同时,既能满足企业级大规模图需求(如千亿、万亿规模),也能提供弹性、动态工作负载所需的灵活性。
在今年的全球数据库国际学术顶会SIGMOD 2024会议上,嬴图发表了题为《具有SCC(存储—计算耦合)和HDC(高密度计算)集群的统一图框架》的演讲,并在大会上发表同名论文。据了解,SIGMOD 大会是由美国计算机协会(ACM)数据管理专业委员会(SIGMOD)发起的,是数据管理、数据处理和数据存储领域最具影响力的国际性学术会议之一。
在理论与实践的应用转化中,嬴图团队在ACM SIGMOD 2023年会议提交的论文是《论如何设计高可扩展的图数据库系统而不会出现指数性能下降》(《Designing Highly Scalable Graph Database Systems without Exponential Performance Degradation》),文中阐明了嬴图Powerhouse的架构设计:HTAP的实时深度下钻能力;带有Name Server服务器和Meta元服务器的网格架构的“人工智能分片”;带有NS服务器、Meta元服务器及Shard服务器的水平自动分片架构;以及将HTAP与自动分片架构进行融合,以实现深度计算与海量存储的共容。值得一提的是,嬴图是从架构演进的视角来进行层层递进的综合规划的,从HTAP分布式架构到Grid网格再到自动分片架构,尤其是分片架构说明了设计复杂且有能力的图系统所涉及的多样性和复杂性,这中包含了整体的性能表现、可靠程度、绿色效能等多个方面在内的综合性能展示。
二是高性能。对于计算优先的图数据库而言,能否在底层内核、数据结构、超级节点穿透、算法工程化等方面全方位实现高密度并发,从而通过硬件算力释放和软件全面加速是决定一个图数据库是否具备高性能、能否胜任各种场景复杂计算任务的核心要素。嬴图的技术创新不仅仅局限于技术内核的原创设计,2023年10月,嬴图获得全球首个关于“超级节点穿透”的专利——这是能够实现实时或近实时的深度下钻和复杂计算的关键技术之一。嬴图是国内外唯一实现“即写即算”、“全量计算”能力的动态图算法技术,这既兼顾了计算效率还确保了计算的精准度。
三是率先发布支持 GQL 新国际标准。嬴图在今年9月就推出了支持GQL的 Powerhouse Beta 版本,其也是业界最早支持 GQL 的图厂商。
奋楫者先。嬴图自创立之日起就志在打造世界级的图数据库系统。值得一提的是,Neo4j作为世界级的权威图厂商,其以JAVA编程语言为中心的架构和一些核心设计缺陷如无法处理超级节点、不允许实时数据处理等问题一直是其后期技术发展方面的瓶颈,嬴图以能者为师并全面总结其经验教训,对自身的技术研究和创新进行了全面的深耕,在实际应用性能对比中,如在监管合规与审计场景中,在处理基于全量工商企业图谱的下钻穿透时,Neo4j无法实时深入渗透5-hop及以下的数据,而嬴图实现了32-hop的深度穿透,且运行速度比Neo4j快了10,000 倍之多——这意味着从 T+1 到实时的能力飞跃。
三、全面工具链:提供全旅程“图”体验
嬴图构建了一站式图计算工具,覆盖了从配置部署、数据调度、传输建模、可视化分析查询、编程运行到商业服务的全旅程“图”体验。其重点工具包括:
- 嬴图-Manager:一站式的高可视化、直观的、高可扩展、低代码图数据库管理系统。
- 嬴图-Transporter:超高性能的数据导入/导出工具,支持多种数据源和数据格式。
- 嬴图-Drivers:完善成熟的API/SDK,无缝支持应用开发,支持Java、Go、Python、NodeJS、C#和RESTful API。
- 嬴图-CLI:跨平台命令行界面(CLI),可在各种环境下执行GQL和UQL查询语句。
- GQL:符合ISO标准的图查询语言,制定全球标准。
- 嬴图-GQL:嬴图查询语言,专为图数据库底层性能打造。
- 嬴图图算法包:拥有全球最为丰富的图算法集,超过 100余种算法,并可通过 EXTA 接口热插拔和扩展,助力数据科学的应用。
图:嬴图工具一览
端到端的产品操作体验一直是嬴图研发的关注重点。例如动态数据的高速加载、图算法动态加载、算法可扩展性与实时性、图数据可视化等。嬴图团队非常注重赋能客户与合作伙伴在实战场景中甚至是极端应用场景中如何实现降本增效和增强使用体验。
四、图增强智能革命:赋能组织数智化转型
时至今日,我们已明显看到人工智能和大数据基础设施正在融合,人们的工作和生活正在被深度重塑,而嬴图Graph XAI图增强技术对于提高AI结果的准确性、透明性和可解释性至关重要,已成为实现数字化、智能化转型的必然技术路径。
近年来,嬴图已在国内外成功处理了一些最复杂的金融数据场景,开创了图增强智能技术应用的先河,包括但不限于经营分析、流动性风险、智慧审计、交易拦截、资金流向、监管合规等等。在国际竞争中,嬴图基于实时图增强智能的图计算引擎,在计算时效性上是美国硅谷同类产品的10-100倍以上,在银行业风险管理指标计量时,运行速度达到甲骨文(Oracle)数据库1,000倍以上,并在构建智慧经营、资产负债管理图中台过程中,成功破解了Oracle现金流引擎与规则引擎两大“黑盒子”,是以XAI图增强智能的方式颠覆性地解决金融行业核心场景的技术——已在实践层面实现了“算得快”、“算得准”、“算得精”、“算得深”、“实时化”、“可视化”、“可解释、白盒化、可校验”的性能特点,且对现有的AI、ML及LLM大模型架构有着模型增效、加速、大幅提高预测准确率及可解释性等特点,在全球范围内都具有颠覆性的创新与突破。
2024年嬴图先后入选英国FinTech Global“DataTech50 for 2024”排行榜和ESG FinTech100榜单;在去年还作为中国图数据库的代表厂商,与S&PGlobal、E&Y等厂商竞争,并最终斩获了英国第24届银行科技奖——未来科技(人工智能与数据)奖项第一名以及在国内的深圳国际金融科技大赛总决赛中,一路与103个项目激烈角逐,最终作为唯一以AI软件杀入前三甲的企业,获得“人工智能与大数据”赛道一等奖,总决赛第二名。
就在今年11月初,国际分析公司Bloor Research以《嬴图:图世界的动力站》为研报最新专题,全面介绍了嬴图Powerhouse是如何在性能、可扩展性和内置人工智能等功能上给世界带来动力的!
· END ·