[NS : a707214982] [分享] colibri，纯 C 写的推理引擎，号称能在普通机器上跑 744B 的 MoE

本周trending第一，colibri，纯C、零依赖，跑MoE大模型的。思路挺有意思：MoE每次推理其实只激活一小部分专家，作者就把不常用的专家权重扔磁盘上，按需流进来。readme里写744B的GLM-5.2常驻内存只要9.9G，听着就离谱，但细想又有几分道理。支持GLM、KimiK3、DeepSeek、Qwe