OpenHands接入NVIDIA多模态模型，编程智能体开始处理截图、文档与录屏

思聪网 TechGG.com消息，OpenHands于10月15日宣布支持NVIDIA Nemotron 3.5 Super VL，将视觉理解接入软件工程智能体。开发者提交给智能体的材料，可以从代码和文字说明扩展到界面截图、PDF文档及屏幕录像，用于缺陷排查、界面审查和需求分析等任务。

这次接入针对的是软件开发中经常出现的信息断层：用户报告“按钮被遮住了”，问题可能清楚地出现在截图里，日志却没有报错；产品需求写在文档中，关键约束又藏在表格或架构图里。只读取代码和文字的智能体，需要人先把这些信息转述一遍。

Nemotron 3.5 Super VL支持文本、图像、文档和视频输入，输出为文本。它采用混合专家架构，总参数1200亿、每次激活约120亿参数。激活参数量影响单次计算负担，但不能直接当作部署所需的完整模型大小。

视觉理解与工具调用如何衔接，是此次集成的关键。 模型负责解释截图、文档等材料，OpenHands提供代码仓库访问、命令执行、测试与沙箱运行环境。以界面缺陷排查为例，预期工作链可以是读取截图和复现步骤、查找相关代码、修改实现，再运行验证；这个例子说明的是系统如何组合能力，并非官方已经公布成功率的测试案例。

长任务还会反复携带系统指令、工具定义和历史记录，推理开销容易不断增加。NVIDIA为模型引入前缀缓存，复用重复输入的计算；多Token预测则先提出多个候选Token，再由主模型验证，减少逐个生成所需的计算步骤。其NVFP4方案还将部分权重、激活及KV缓存降至低精度，以降低存储和带宽负担。

这些优化主要解决持续运行的成本与吞吐问题。至于智能体能否准确识别界面缺陷、完成修改并通过测试，仍需要完整任务评估；模型生成文字的速度，不能直接换算为软件修复速度。

OpenHands此次公告没有给出这项集成在真实项目中的修复成功率，也未单独公布截图或录屏任务的费用。团队部署时，需要把模型推理和代码执行环境一并配置，视觉模型本身不会自动获得仓库权限或运行测试的能力。

企业备注：OpenHands背后的All Hands AI主要开发开源软件工程智能体平台，提供本地、云端及企业级运行与管理工具。