vLLM1 篇实战文章

这周真正值得收的就一条。八月初挂上 arXiv 的一篇论文，干的事很朴素：去开源软件系统里数一数，大语言模型的服务框架到底哪些真的在被用。 serving framework，简单说就是把模型跑起来、对外提供推理服务的那层东西。