关注CAIE，国内头部AI人才认证、培训体系，助你在职场升职加薪。CAIE，全称 Certifed Artifcial Intelligence Engineer（人工智能工程师），简称 CAIE（赛一） ，是人工智能领域的技能等级认证。旨在评估和培养具备
人工智能理论基础与实战能力的职业人士。
咱们每天多数工作都是对着电脑干着重复、枯燥的活，打开浏览器查资料填表格下订单，点了这个按钮又要点那个链接，感觉自己活脱脱就是个人肉鼠标。
介绍一个字节跳动很火的开源项目，曾经拿过github每日最佳超34800星的UI-TARS-desktop。
简单来说，就是一个能让AI替你自动操作电脑和浏览器的多模态智能体，你只需要说出需求，就能直接帮你干活。
开源地址：https://github.com/bytedance/UI-TARS-desktop
其实想自动化执行日常任务，需要调试API写各种脚本，对于普通人来说门槛不低。
但UI-TARS-desktop走了一条完全不同的路，AI直接看屏幕截图，像人一样识别界面上哪有按钮哪儿有输入框，然后模拟人的动作去操作。
就是有点类似加强版RPA的感觉，但在使用方面更加简单化，直接输入需求就可以。
例如，我正身处洛杉矶，预算5000美元。请帮我在缤客网上预订离机场最近的丽思卡尔顿酒店，并为我整理一份出行交通指南。
＜iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_4524149637267505159" data-mpvid="wxv_4524149637267505159" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FjuxlRdXDvzGUH7NZBoy3JVXDJA6sLLBicXEMYjpib16Gs8qlwjv2UZdQlK7y4Npk29n7tic8aDGpBJQx7cDIodrsHjVTk0C22P1EibRIibnvJyX8%2F0%3Fwx_fmt%3Djpeg" data-ratio="1.7166666666666666" data-w="1854"＞＜/iframe＞或者帮我在Priceline平台预订从圣何塞飞往纽约的最早航班，以及9月6日返程的最晚航班。
＜iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_4524138380175245314" data-mpvid="wxv_4524138380175245314" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FjuxlRdXDvzEoUicictoKIesu9akD6vHLag7WSTlfHEldzDmyGZWOLzMXpmDsaVUNU1cCgZeYFdztX5CqJsicNicx8JHtRnbE8tYws2Pa2DYAgWc%2F0%3Fwx_fmt%3Djpeg" data-ratio="1.7166666666666666" data-w="1854"＞＜/iframe＞也能直接让UI-TARS-desktop直接操作你的电脑，请帮我打开VS Code的自动保存功能，并在设置中将自动保存操作延迟500毫秒。整体操作非常丝滑。
＜iframe class="video_iframe rich_pages" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_4524176046652653581" data-mpvid="wxv_4524176046652653581" data-vidtype="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FjuxlRdXDvzErWF8kaa23us9ez4Cdu4IL8oQxRgzMFpjKUd5dsqBLxf0j8rM1ic1uyOXKPClFtMJobDibRdXzmQq7b2KfibCAru5LXVkGiajxM3c%2F0%3Fwx_fmt%3Djpeg" data-ratio="1.7203703703703703" data-w="1858"＞＜/iframe＞UI-TARS-desktop之所以这么强的自动化能力，主要是因为它内置了视觉能力。
也就是说传统自动化方案要么依赖接口要么依赖网页元素选择器，说白了就是网站得配合你才行。
而UI-TARS-desktop可以像人的眼睛一样直接看懂，不管什么软件什么网站，只要人能操作AI就能操作。
说到操作浏览器，这里面的讲究还挺多。有时候你希望AI像人一样去看页面去点击，有时候又希望直接读取网页代码来精确定位某个元素，两种方式各有优缺点。
UI-TARS-desktop厉害就厉害在支持混合策略，就是视觉操作和代码解析两条腿走路，
能根据不同场景自动切换。遇到动态加载的复杂页面就用视觉方式，需要精确定位某个表单就切到代码模式，灵活得很，效率自然也跟着上去了。
最新版本还增加了一个远程操作功能，你可以用一台电脑远程控制另一台电脑的桌面，或者远程操控另一台机器上的浏览器。
想象一下你在办公室用笔记本控制家里台式机上的浏览器去查东西，或者运维人员在本地远程操作服务器上的浏览器做调试，这种便利还是很舒服的。
说到进阶玩法，我最近试了一个场景觉得特别有意思。把UI-TARS-desktop接到日历和邮件工具上，然后告诉AI帮我查一下下周有哪些会议，把每个会议的相关资料整理好发到对应的参会人邮箱里。
AI就会自己去浏览器里打开日历看日程，然后根据会议主题搜索整理资料。
最后通过邮件工具发出去，整个流程全自动完成，对于日常工作比较繁忙的人来说是很实用的。
如果你每天要重复操作各种软件和网页的人，想要自动化流程但苦于不会调试API，还有对AI智能体感兴趣想体验前沿技术的极客玩家，都可以试试这个项目。
想系统掌握AI核心技能、获取行业认可资质？
CAIE注册人工智能工程师认证
助你拓宽职业赛道，成为AI领域持证实力派
企业、高校及渠道合作
请联系微信：FYLlaoshi
发帖
雷达卡
京公网安备 11010802022788号
