谷歌把AI搜索塞进手机，不到600MB，照片、视频、录音断网照样搜

10月6日，谷歌发布了EmbeddingGemma 2的开源版本，将一款能检索图像、视频和音频的搜索引擎，整合进一个内存不足600MB的小型模型中。

文字、代码、图片、视频、音频，如今可以通过一句话同时搜索，这在谷歌的开源模型中尚属首次。

该模型拥有7.4亿参数，可在手机、笔记本和浏览器上离线运行。

谷歌CEO桑达尔·皮查伊也亲自推广：这是谷歌首个原生多模态开源嵌入模型。

其一大突破在于，手机能够在本地搜索图片、视频和声音。演示中，只需输入“鸟在唱歌”，就能同时找到鸟的照片和鸟叫的录音。

发布一个多小时后，Hugging Face的Victor M便让它在浏览器中运行起来。

他在搜索框输入“birds singing”，屏幕上的格子立即重新排序：排在最前面的，既有鸟的照片，也有显示波形的鸟叫录音。

整个查询仅耗时22毫秒，不依赖服务器，也未调用任何API。

应用接入后，用户可以让AI帮助查找手机中的照片、录音和视频，无需先将文件上传至云端。

文字、图片、声音 可相互搜索

嵌入技术对普通用户而言并不显眼，但许多AI搜索和RAG问答都依赖它来查找资料。

它的作用是将一段内容转化为一串数字，相当于在巨大空间中为每段内容分配一个坐标。内容越相似，坐标越接近。

搜索时，系统会寻找与问题最接近的内容。

上一代EmbeddingGemma仅处理文字。要搜索图片和声音，通常需要结合其他模型，或先将它们转换为文字。

EmbeddingGemma 2将这些内容纳入同一个768维空间。

例如，猫的照片、“cat”这个词和猫叫声，可以在该空间中按语义关联起来。

因此，用户可以用一句话搜索图片或视频，也可以用一段语音找到视频中的对应片段。

它还能将文字、图片和视频整合，让用户一次搜到包含这些内容的完整信息。

谷歌在模型卡中举了一个例子。

一双跑鞋的商品页面，包含文字介绍、两张细节图，以及鞋子在湿滑岩石上的防滑测试视频。

模型能将这组内容转化为一个向量，用于匹配“适合越野跑的防水鞋”这类搜索。

一次能处理的内容也更多了。8K上下文窗口是上一代的4倍。

仅输入单一类型内容时，最多可容纳约5.5分钟音频、29张图片，或58帧视频。它还支持100多种语言。

谷歌将其与几个同量级模型进行了对比，差距最大的是图像和视频检索。

EmbeddingGemma 2在图像和视频检索上，明显领先于Jina v5 Omni-Nano。

在谷歌公布的测试中，EmbeddingGemma 2的图像检索得分为57.3，而参数量大30%的Jina v5 Omni-Nano只有31.6。

视频检索也拉大了差距：50.7分对31.2分，领先近20分。

在多语言文本测试中，它与上一代基本持平。

567MB 手机充当搜索引擎

这些功能全部集成在7.4亿参数中。

其中文本部分占2.7亿，视觉编码器1.7亿，音频编码器3亿，可按需加载。只搜索文字，加载2.7亿参数；要搜索图片，加上视觉部分，总共4.4亿。

在谷歌的Pixel 11 Pro测试中，量化后的纯文本模型内存占用最低约191MB，完整多模态模型约567MB。

它还支持为搜索索引“瘦身”：用更少的数字记录每段内容的含义，可减少三分之二的存储空间。

在谷歌的多语言文本检索测试中，得分仅下降不到1分。

谷歌自己开发了几个应用示例：

AI Edge Gallery中的Instant Media Search，可让用户在相册中按意思搜索照片。

Video Moments Finder更直观，说一句话就能定位视频中的对应片段。

另一个应用Foresight，则将其与Gemma 4搭配，在Mac上离线检索文件和会议记录。

开发者方面，llama.cpp已提供支持，Unsloth也发布了量化版，方便将模型部署到本地。

据Mac应用Nativ公布的实测，在M5 Max上，8-bit量化版生成的向量与原版的余弦相似度达到0.9997，文本嵌入速度达到每秒817条。

土耳其开发者Avenox的测试更贴近日常。

他的笔记大多用英文写，但提问习惯用土耳其语。以前依赖关键词匹配，两边的词对不上，相关笔记可能搜不到。

他让Claude花一小时搭建了一个测试台，选出40条笔记，再换用不同说法，用土耳其语提问，看正确笔记是否能进入前18个候选。

据他公布的结果，关键词匹配的命中比例仅为15%；换上EmbeddingGemma 2后，升到了97%。

他又用30条日常随手输入、带有错别字的真实消息进行测试。模型找到的相关笔记数量是关键词匹配的两倍。每次查询约50毫秒，全程在本地运行。

还有人玩得更野。

开发者Nick Lo将其装进一块Nano开发板。

输入一句话，模型只需约15毫秒，就能将这句话转化为用于搜索的一串数字。找到对应图片后，再交给一块ESP32-S3单片机，逐行绘制图像。

Coding Agent找代码 也能在本地搜索

除了多模态，代码检索也有显著提升。

在代码检索基准MTEB Code上，它从上一代的68.76分涨到78.68分，一口气涨了近10分。谷歌称，这一成绩在同尺寸模型中领先。

这对编写代码的Agent很实用。

Claude Code、Codex这类工具在执行任务前，都需要在整个代码库中找到相关代码段。

有了2.7亿参数的纯文本版，开发者就能在本地为代码库建立索引，再用日常用语查找相关代码。建立索引和检索这两个步骤，都可以留在本地。

AI搜索 搬进了你的手机

今年3月，谷歌在云端发布了多模态的Gemini Embedding 2，通过API调用，按用量付费。

半年多后，谷歌又将多模态检索带进了一个能在手机上运行的开源小模型。照片、录音和视频，也有了留在本地检索的选项。

谷歌给出的一个用法，是将其与Gemma 4搭配，做离线、隐私优先的RAG。

一个负责找资料，一个负责根据资料回答，检索和问答都能在设备上完成。

过去，要用AI搜索照片、视频和录音，很多时候需要将内容交给云端处理。

现在，这种检索能力只需几百MB，就有机会装进每个人的口袋。

参考资料： https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2 https://huggingface.co/google/embeddinggemma-2 https://ai.google.dev/gemma/docs/embeddinggemma 本文来自微信公众号“新智元”（ID：AI_era），作者：ASI启示录，编辑：摩西 元宇，36氪经授权发布。