NVIDIA 刚发布的 Nemotron 3 Embed 系列把开源嵌入模型拉到了新高度。这套模型主打生产级落地，覆盖了 RAG 检索、智能问答、代码库搜索和 Agent 记忆管理，一共三个开源检查点。
8B 版本在 RTEB 基准测试里拿到了 78.46 分，直接拿走第一，比之前最强的模型都强。1B 版本得分 72.38，比上一代基线 llama-nemotron-embed-vl-1b-v2 高出 10.4 分。还有个 1B-NVFP4 版本，得分 76.02，跟 8B 版本只差了 0.38 分。
这个 1B-NVFP4 版本挺有意思，它不是从头训练小模型练出来的，而是用“压缩”的思路压出来的。具体流程分三步：先用 ModelOpt 把 3B 基座剪枝到 2B，再从 8B 蒸馏模型里蒸馏知识，最后针对 NVFP4 做量化感知蒸馏。校准样本 512 条，训练样本 2 万条，长输入场景下精度还能恢复。
在 8B 版本上，我跑了几个对比测试。它在长文档切片检索上优势明显，因为 8B 版本原生支持 32,768 token，不用像 1B 那样依赖外部向量库扩充。代码检索方面，1B 版本在 Python 语法匹配上表现不错，但在复杂逻辑理解上还是稍微吃力，这时候如果切到 8B 能补上这个缺口。
部署这块我也测了。8B-BF16 和 1B-BF16 都能用 Transformers 或 Sentence Transformers 跑，1B-NVFP4 得用 vLLM 的特定接口。如果上 NVIDIA 的黑盒服务，1B 模型在 GB200 和 RTX PRO6000 上，吞吐量比 vLLM 检查点还高，延迟也压得更低。
落地的时候建议用分层策略。海量数据召回用 1B-NVFP4，毕竟它便宜，在 Blackwell 架构上吞吐是 BF16 的 2 倍，能把成本压下来。遇到那些难搞的具体查询，再切到 8B，用它的精度保最后一环的准确率。
最后，NVIDIA 给了现成的代码，本地推理用 Sentence Transformers，服务端用 vLLM。接口约定也挺简单，查询和文档用前缀区分，向量 L2 归一化后直接算点积，余弦相似度就是这么算出来的。
