这款全新超低位模型响应速度极快！ 32B AI 模型压缩至仅 9GB， RTX 5090 上生成速度达 565 tps。 12GB 显卡的 Localmaxxers 快来试试！ Precision Numerics 最近推出了 Boole-32B-A2.5B-Preview。 这是 Recursive Flint 模型的激进压缩版本，采用专家剪枝、混合精度量化和定制 CUDA 内核。 模型参数 ... 32B 总参数 / 2.5B 活跃参数 9GB GGUF 格式 约 1.8 位量化 支持 256K 上下文 ⚙️ 定制 llama.cpp 运行时 性能（基于单卡 RTX 5090） 生成速度： Flint INT4 → 279.4 tps Unsloth UD-IQ1_M → 264.9 tps Boole-32B → 565.8 tps 比 INT4 快超 2 倍。 前向预测速度（PP）？ Flint INT4 → 12,013 tps Boole-32B → 18,297 tps 开发者文档称仅需 10.8GB 显存即可运行 32K 上下文配置。 这意味着 32B 推理能力终于可被 12GB 显卡（如 RTX 3060）所支持！ 存活了多少智能体elligence？ LiveCodeBench v6 测试结果： Original Flint BF16 → 81.9 Unsloth UD-IQ1_M → 77.2 Boole-32B → 67.3 存在质量权衡。 可获取 GGUF 权重 可获取自定义 llama.cpp 分支 Apache 2.0 示例代码 评论区链接