苹果推出FastVLM：7B高效视频识别模型

最近，苹果公司发布了一款名为FastVLM的新模型，这款模型是开源的，且其显存占用不到10GB，十分轻巧。FastVLM在阿里巴巴Qwen2-7B的协助下，实现了更深层次的训练。

FastVLM模型的最大突破在于其视频流识别能力。根据论文所述，该模型在算法层面的准确度达到了业界领先水平。

该模型的生成原理是将视频拆分为一系列图像，通过提取每一帧的特征进行汇总。在第五步中，将特征汇总并通过文本向量数据库进行匹配，从而得出识别结果。

这款模型不仅可以在原生手机客户端运行，还支持web浏览器。它能够精准识别现实物理世界的物品、字体乃至内容含义，让开发者能够迅速调用。

相较于其他AI产品，FastVLM最大的优势在于其视觉一体化方案。由于具有更低的延迟，它在应用场景中的使用效果更为出色。用户无需长时间等待，且对算力的要求也不高。

该模型的参数仅为7B，有用户测试表明，在16GB的M2上即可完成测试。

AI模型的端到端离线应用，是用户的刚需

与市场上其他模型相比，FastVLM支持离线应用，有效保障了数据隐私和安全。同时，该模型支持高分辨率图像理解，并能够处理图像与文本之间的关系以及视频理解。

该模型特别适合在MR与AR眼镜上使用。通过视觉能力，眼镜可以拓展至RAG领域，从而支持更多场景的应用，如疾病诊断、生活打扫等。此外，FastVLM在视频生成方面也具有出色的表现。

通过将视频转换为文本并与RAG结合，FastVLM可以应用于更多场景。例如，在几秒内即可生成长达2小时的视频字幕。

随着AI模型逐步向手机端和平板电脑端普及，更多的用户将能够使用这些技术。这大大降低了对GPU算力的要求，未来每个人都可以使用AI技术，而更多的算力将用于解决普通人难以触及的场景和问题。

因此，我建议AI产品经理关注并收藏这个模型，以优化自己的产品设计。

今天的分享就到这里。