字节跳动UI-TARS：一款开源的能够自我学习的GUI Agent

字节跳动于2025年1月22日开源了一种原生图形用户界面（GUI）代理模型：UI-TARS，UI-TARS的名字来源于电影《星际穿越》中的TARS机器人，专为自动化图形界面交互设计，预示着它具备高度的智能和自主思考能力。

UI-TARS 是什么？

UI-TARS能够像人类一样通过屏幕截图观察界面，并执行键盘、鼠标等操作，模拟人类操作手机和电脑并完成任务并具备高级的感知、推理和交互能力。

UI-TARS目标是通过高度智能化的模型来控制和与用户界面进行交互，从而向更自然、高效的人机交互方式的转变。

UI-TARS特征：

• 由视觉语言模型支持的自然语言控制

• 截图和视觉识别支持

• 精确的鼠标和键盘控制

• 跨平台支持（Windows/MacOS）

• 实时反馈和状态显示

UI-TARS功能：

• 自我学习能力：UI-TARS具备自我学习的能力，可以通过不断的交互和反馈来优化其操作。

• 多平台支持：该模型不仅适用于PC和MacOS，还能在手机和网页上运行，具有广泛的适用性。

• 自然语言处理：UI-TARS能够将屏幕截图和自然语言指令作为输入，准确预测出完成指令的下一步操作，帮助用户操作UI界面。

• 图像识别：UI-TARS能够处理屏幕截图，识别界面元素并进行相应的操作，这使得它在UI自动化测试和操作中非常有效。

• 增强感知：利用大规模的GUI屏幕截图数据集，实现对UI元素的上下文感知理解和精确标注。

• 统一动作建模：将跨平台的动作标准化为统一空间，并通过大规模的动作轨迹实现精确的定位和交互。

• 系统-2推理：将深思熟虑的推理纳入多步骤决策，涉及任务分解、反思思维、里程碑识别等多种推理模式。

• 迭代训练：通过在数百台虚拟机上自动收集、过滤和反思性地精炼新的交互轨迹，解决数据瓶颈。

UI-TARS应用场景

• 自动化测试：UI-TARS可以用于软件的自动化测试，帮助开发者快速验证用户界面的功能和稳定性。

• 网页自动化操作：Midscene.js与UI-TARS结合后，支持通过自然语言驱动ai大模型，在当前页面状态下进行一系列操作后逼近人类的指令目标。

• 任务自动化：在日常工作中，UI-TARS可以帮助用户自动执行重复性任务，如数据录入、信息检索等，提高工作效率。

• 跨平台操作：UI-TARS Desktop版本支持Windows和macOS系统，显示了其在不同操作系统上的广泛适用性，为用户提供一致的交互体验。

• 日常使用与办公自动化：通过自然语言控制，UI-TARS可以简化日常办公任务，如文件管理、应用操作等，提高工作效率。

与传统依赖模块化框架或手工提示优化的系统不同，UI-TARS采用端到端架构，依赖纯视觉输入，实现了对复杂任务的全面自动化。UI-TARS不仅仅局限于测试场景，它更侧重于日常用户交互的智能化，通过AI的力量，使得与计算机的交互更加人性化。

UI-TARS项目地址：https://github.com/bytedance/UI-TARS