如果你的笔记本电脑有 16GB 显存或统一内存（比如 M1/M2/M3 Pro 的 MacBook），你现在可以在上面运行一个能同时理解文字、图片和音频的 AI 模型。谷歌刚刚发布的 Gemma 4 12B 就是为此而生。

Gemma 4 12B 是什么

Gemma 4 12B 是谷歌 DeepMind 最新开源的多模态大模型，参数量 120 亿。它属于 Gemma 4 系列的一员，介于面向边缘设备的 E4B 和能力更强的 26B 混合专家模型（MoE）之间。

几个关键数据：

• 120 亿参数，只需 9GB 显存即可运行（完整模型约 16GB 内存占用）
• 多模态输入：原生支持文本、图像和音频，不需要额外的编码器
• Apache 2.0 协议：可商用，无需向谷歌付费
• 1.5 亿次下载：Gemma 4 全系列累计下载量
• Google AI Edge 适配：支持 Mac 桌面端本地运行

为什么它能跑在笔记本上

传统多模态模型需要独立的视觉编码器和音频编码器来处理非文本输入，这些编码器会带来额外的延迟和内存开销。Gemma 4 12B 采用了"无编码器"架构：

视觉处理：用一个仅 35M 参数的超轻量级嵌入模块替代了原本 27 层的视觉 Transformer。原始像素通过一次矩阵乘法和坐标查找，直接进入 LLM 主干网络。

音频处理：完全移除了音频编码器。16kHz 原始语音信号被切成 40 毫秒的片段，通过线性投影直接映射到与文本 token 相同的维度空间。

这意味着视觉、音频和文本共享同一套权重。做 LoRA 微调时，一次前向传递就能同时更新所有模态。

实际性能

在 RTX 4090 上的实测对比（任务：纯手写 HTML5 Canvas 物理动效，不依赖任何第三方库）：

12B 用不到一半的显存，打出了几乎同等的质量。对于 16GB 内存笔记本用户来说，这是一个理想的本地多模态模型。

如何在本地运行

使用 Ollama

ollama run gemma4:12b

使用 LM Studio

在 LM Studio 中搜索 "gemma-4-12b" 即可下载运行。

使用 LiteRT-LM（命令行）

litert-lm import --from-huggingface-repo=litert-community/gemma-4-12B-it-litert-lm gemma-4-12B-it.litertlm gemma4-12b
litert-lm serve

使用 Google AI Edge Gallery App

谷歌已经把 AI Edge Gallery 官方移植到 macOS 平台，针对 Apple Silicon GPU 做了底层优化。你可以在聊天气泡里直接执行 Python 代码并绘制图表，全程离线运行。

适合谁用

• 前端开发者：本地运行一个能看图、听音频、写代码的 AI 助手
• 隐私敏感场景：医疗、法律等需要数据不出本地的场景
• 独立开发者：零成本多模态推理能力
• 边缘设备开发者：在消费级硬件上构建 AI 应用

注意事项

• Gemma 4 12B 是模型，不是应用。你需要通过 Ollama、LM Studio 等工具来运行它
• "本地运行"指的是模型在你电脑上跑，但效果取决于你的硬件配置
• 与 26B 版本相比，12B 在复杂推理任务上有一定差距，但日常使用足够

模型下载地址：https://huggingface.co/google/gemma-4-12b-it