给模型一张图表，让它写代码画回来，它全露馅了
多模态模型到底会不会照着图写代码？ 简单说，就是给它一张图表截图，让它输出一段能把这张图重新画出来的代码。 这两件事以前一直是分开考的。看图一张卷，写代码一张卷，各自分数都挺体面。10 月 7 日挂到 arXiv 上的那篇 From Pixel to Coding，把两张卷子订成了一张。合起来考，成绩立刻不好看。
多模态模型到底会不会照着图写代码？ 简单说，就是给它一张图表截图，让它输出一段能把这张图重新画出来的代码。 这两件事以前一直是分开考的。看图一张卷，写代码一张卷，各自分数都挺体面。10 月 7 日挂到 arXiv 上的那篇 From Pixel to Coding，把两张卷子订成了一张。合起来考，成绩立刻不好看。