Needle 21 篇实战文章

4500 万参数，14MB 文件，运行时 28MB 内存。第一次看到这三个数字，我脑内唰地画了一张图：把大模型压小嘛——蒸馏、量化、砍层数，一路缩缩缩，缩到塞进手机。 后来发现这张图整个是错的。Needle 2 不是“缩出来的大模型”，它是换了一套骨架重新长的。今天就画这个。