Google 在本月兑现了开源承诺，正式以 Apache 2.0 协议发布了 Gemma 4 系列模型。其中最引人瞩目的是其 31B (310亿参数) Dense 版本，它不仅在本地推理上做到了单张 4090 显卡（通过 INT4 量化）可跑，其数学与逻辑分数更是打平了去年参数量百倍于它的企业级庞然大物。

一、放弃 MoE，回归 Dense 的哲学

过去两年，开源界陷入了 MoE（混合专家模型）的狂热。但 MoE 带来了严重的显存路由开销（Routing Overhead），对消费级显卡非常不友好。Gemma 4 团队这次逆流而上，选择将所有算力投入到 高质量合成数据的生成与过滤（Data Flywheel） 上。

他们通过在 Gemini 3.0 上蒸馏出了数百 TB 极其纯净的逻辑推演数据，生生把一个 31B 的稠密网络“喂”成了推理大师。这种做法使得模型的显存占用非常线性可控。

二、1M 极长上下文的处理机制

Gemma 4 原生支持 1M（约100万 Token）的上下文窗口。它采用了最新的 TurboQuant 压缩算法，结合动态组查询注意力（Dynamic GQA），在保持检索精度达到 99.9% (Needle In A Haystack 测试) 的同时，将 KV Cache 的内存占用缩小了 6 倍。

三、vLLM 部署实战

得益于开源社区的火速跟进，发布的第二天 vLLM 引擎就已经合并了 Gemma 4 的 PR。以下是在一台配备双路 RTX 4090 的服务器上启动高并发 API 服务的完整配置：

# 安装最新版 vllm
pip install vllm>=0.8.2

# 启动兼容 OpenAI 格式的 API Server
python -m vllm.entrypoints.openai.api_server \
    --model google/gemma-4-31b-it \
    --tensor-parallel-size 2 \
    --gpu-memory-utilization 0.9 \
    --max-model-len 128000 \
    --quantization fp8

参数解析：

  • --tensor-parallel-size 2：启用张量并行，将模型权重切分到 2 张 GPU 上。
  • --quantization fp8：由于 4090 架构原生支持 FP8，这可以将模型载入显存的开销减半，同时保持接近 FP16 的输出质量。

四、结语

Gemma 4 的发布标志着本地部署模型进入了一个“小而美且致命”的新时代。对于中小型企业和个人开发者而言，在本地拥有一颗能写代码、审阅复杂财务报表的大脑，门槛已经降到了前所未有的低谷。