5GB 跑完十亿条边:把“图计算必须分布式”这条默认判断拆了
Semyon Sinchenko 发的那篇文章,标题本身就像个玩笑:Apache DataFusion,5GB 内存硬限制,跑 graph50026 的 PageRank。十亿出头条边,15 轮完整迭代,大约 30 分钟,结果和 ground truth 在 0.0001 容差内 100% 吻合。这还没完。
Semyon Sinchenko 发的那篇文章,标题本身就像个玩笑:Apache DataFusion,5GB 内存硬限制,跑 graph50026 的 PageRank。十亿出头条边,15 轮完整迭代,大约 30 分钟,结果和 ground truth 在 0.0001 容差内 100% 吻合。这还没完。