嘿，列位开辟小搭档，明天要给各人安利一个全新的开源名目 ——VLM-R1！它将 DeepSeek 的 R1 方式从纯文本事域胜利迁徙到了视觉言语范畴，这象征着翻开了对多模态范畴的设想空间！这个名目的灵感来自客岁 DeepSeek 开源的谁人 R1 方式，靠着 GRPO（Generative Reward Processing Optimization）强化进修方式，在纯文本年夜模子上获得了惊人的后果。当初，VLM-R1 团队直接把它利用到了视觉言语模子上，翻开了一扇新的年夜门！VLM-R1 验证成果冷艳 这个名目的团队在 Qwen2.5-VL 的基本上，同时对照了 R1 跟传统的 SFT 方式。成果相称冷艳：1、稳固性拉满：R1 方式在种种庞杂场景下都能坚持稳固的高机能，这在现实利用至关主要！2. 泛化才能出色：更让人震动的是，在范畴外的测试数据上，跟着练习步数增添，传统 SFT 模子的机能开端下滑，而 R1 模子却能连续晋升！这象征着 R1 方式辅助模子真正 “学会” 了懂得视觉内容，而不是简略地影象！3、上手超简略：VLM-R1 名目团队还知心地供给了完全的练习跟评价流程，四步就能开端练习，对开辟者非常友爱。小编亲测之后，在此分享一个现实案例，成果让人不测。图片里展现了一桌子丰富的美食，包含种种蔬菜、面饼跟点心。针对图片，咱们向模子提出了一个成绩：“在图片中找出卵白质含量最高的食品”。模子不只答复得正确：“图片中展现了桌上的种种菜品，包含蔬菜、面饼跟点心。从卵白质含量来看，面饼或面点可能含量最高，由于它们平日由全谷物制成，面粉中含有卵白质。固然蔬菜也含有卵白质，但比起这些主食来说含量较少。”更凶猛的是，它还精准地在图片中框选出了谁人卵白质含量最高的鸡蛋饼！这种准确的视觉懂得才能跟推理才能，让人印象深入！完善展现了 VLM-R1 在现实利用中的上风：正确的视觉辨认才能专业的常识推理才能清楚的文本表白才能全新思绪作为一个 AI 范畴的察看者，VLM-R1 的呈现也为开辟者跟行业供给了很多新的思绪，比方：1、证实了 R1 方式的通用性，不止文本事域玩得转；2、为多模态模子的练习供给了新思绪；3、或者可能引领一种全新的视觉言语模子练习潮水；完整开源最棒的是，这个优良的名目完整开源！名目地点：[VLM-R1](https://github.com/om-ai-lab/VLM-R1)对视觉言语模子感兴致的同窗，激烈倡议去看看这个名目。说不定你的下一个冲破性研讨就从这里开端！最后，等待看到更多开辟者参加出去，一同推进多模态 AI 技巧的开展。假如你也对这个名目感兴致，欢送加群探讨！