英伟达发布DAM-3B模型 精准描述图像视频局部细节

科技媒体Marktechpost报道,英伟达近日推出Describe Anything 3B(DAM-3B)AI模型,旨在解决图像和视频中特定区域的详细描述难题。传统视觉-语言模型(VLMs)在整体描述上表现优异,但对局部细节的捕捉常显不足。DAM-3B通过点选、框选或涂鸦等方式指定目标区域,生成精准且上下文相关的描述文本,其衍生版本DAM-3B-Video还支持动态视频分析。

该模型采用“焦点提示”和“局部视觉骨干网络”架构,兼顾高分辨率细节与全局背景,并通过门控交叉注意力机制融合特征。为弥补数据不足,英伟达开发了半自动标注策略,构建含150万样本的训练库。在多项基准测试中,DAM-3B以67.3%的平均准确率超越GPT-4o等模型,为无障碍工具、机器人及视频分析提供了新可能。模型已在Hugging Face平台开源。

Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1