发帖
雷达卡
本文由TechSugar编译自Semiconductor Engineering
具有通用人工智能的人形机器人进入日常生活还需数年，但特定应用的机器人已广泛存在。从亚马逊物流中心的机器人队伍到手术室的外科手术机器人、搜救机器狗、自主无人机和最后一公里配送机器人，再到常见的扫地机器人，物理人工智能系统正变得越来越智能，并逐渐融入人类生活。
先进的3D传感器、AI摄像头、语音接口和软件定义的激光雷达通过机器学习算法发挥关键作用，为物理人工智能提供视觉、听觉和言语功能。下一步是将大语言模型（LLM）作为“大脑”，解析传感器收集的信息，并根据初始训练数据及持续的学习反馈循环指导机器人行动。最终目标是使更多机器人融入人类生活，但这些系统的潜在故障原因尚不清楚。
“现在预测人机互动如何发展还为时尚早，”西门子EDA公司IC验证与AI产品负责人Sathishkumar Balasubramanian表示，“目前我们看到的大多是原型产品，尚未大规模应用。然而，在相关技术研发和交互设计上始终保持高度谨慎，这源于我们需要理解自动化机器人对其交互对象（无论是人类、水瓶或其他物品）的认知视角。”
在物理人工智能领域，首要任务是掌握如何解读环境并理解其属性，机器人需要全面感知周围的一切，这是当前研发投入的核心方向。其次，传感器领域的进展显著，物理人工智能系统的感知能力依赖于这些传感器和生物传感器的技术突破。我认为该领域仍处于非常早期的阶段，除非未来5到10年内出现重大技术变革，否则市场发展速度将会较慢。”
AI行业目前正处于陡峭的学习曲线初期。“无论是边缘计算还是物理人工智能，我们都处于增长的初期阶段，”新思科技移动、汽车和消费IP产品管理执行总监Hezi Saar表示，“尽管云AI可能不会衰退，但一旦能够利用物理AI为消费者提供服务，其增长速度将不再像以前那样快。它需要触手可及——无论是在我们手中、交通工具中还是机器人身上，并具备经济性和低功耗特性，真正满足人类需求。我们看到需求正在增加，越来越多的SoC正在实现这些功能，但行业尚未进入稳定阶段。”
物理AI设备正在迅速发展，AI模型也在同步演进。“AI正从工具转变为伙伴，人们的期望也在提高，并逐渐影响其选择，”Arm客户业务线高级副总裁兼总经理Chris Bergey表示，“这种转变是由大语言模型和智能体的重大进步驱动的。这些模型不再是静态的，而是能够推理、规划并代表用户采取行动的动态系统。结果是，人机交互不再像下达命令，而更像是协作过程。AI已从‘新奇技巧’转变为影响工作与生活方式的核心力量。”
人与机器人或任何自动化系统的动态关系使得物理人工智能领域比其他领域更具挑战性。“在机器人领域，可能仍需人类参与某个环节，也可能完全不需要人为操作，”Imagination Technologies工程和技术负责人、系统与功能安全专家Andrew Johnson表示，“应用场景可能是危险环境，如高温、高辐射等，此时机器人便能发挥作用。但是，人为因素依然重要。有时，人与机器的互动方式会因机器学习而不断演变，其目的是为了让人类生活更便捷。”
正如AI模型将变得越来越智能一样，安全工程师也需要不断提升自身技能。“我们需要考虑能力管理，并关注人员、流程和开发框架，而不仅仅是工具和技术，”Johnson表示，“如果能做到这一点，无论是在设计开发和验证工具中应用AI/机器学习，还是在产品中采用相关技术实现自动化或自主决策，我们都将看到更高的效率和效果。”
就安全性而言，最关键的是机器人能够正确识别并保护人类。Synaptics公司技术与创新副总裁David Garrett表示：“围绕机器人的隔离区非常重要。”他以2022年的一起事故为例说明：“当时一个机器人手正在下棋，孩子在机器人落子前未能及时收回手，导致手指被折断。”互联网上充满了其他涉及机器人在实验室、工厂甚至节日场合发生的事件。
将大语言模型作为认知框架一部分的物理人工智能系统，为安全性和可靠性带来了额外挑战。“不仅硬件或其他处理器需要严格测试，AI本身也需要严格测试，”是德科技首席安全分析师Rajesh Velegalati表示，“我们认为，目前针对各个领域部署的AI，尤其是用于机器人或无人机的AI，安全审查还不够充分。”
物理人工智能软硬件验证
尽管行业关注点主要集中在软件功能上，但若没有底层半导体硬件的支持，这一切都无法实现。物理人工智能芯片可能在不同的环境温度和条件下使用，有时会处于高负载运行状态，有时则处于休眠模式。这增加了芯片设计与验证的难度。
验证工程师应充分利用所有工具——仿真、加速仿真、形式验证，甚至数字孪生。“物理人工智能系统非常复杂，因此需要借助形式验证等技术，确保仲裁器等组件在最底层也能正常运作，”Cadence验证软件产品管理高级总监Matthew Graham表示，“此外，还需利用软硬件协同验证。”
过去，工程师可以根据需求选择使用哪些验证技术。“他们可能会说，‘我们不需要进行形式化验证，也不需要过多关注功耗，因为我们的产品不涉及这些领域，’”Graham表示，“但实际上，每个微芯片都需要从功耗的角度进行考虑。它可能不是低功耗设备，但厂商肯定希望优化功耗，尤其是在人工智能时代。每个设备都需要确保其底层某些基本功能的正确运行。”
大语言模型的训练方式对安全性有着显著影响。“如今的逻辑模型首先使用非常庞大的数据集进行训练，然后通过人机交互进行改进和强化，”Rambus公司安全IP高级技术总监Scott Best表示，“这些系统随后可以利用专门的数据进一步训练，成为适用于‘思维链’智能体应用的推理模型，能够以闭环方式根据测量结果生成自身的刺激。”
因此，工程师需要为物理人工智能系统和大语言提供保障。“人可能会犯错误，也可能以错误的方式使用它们，所以他们需要确保并防止这种情况发生，”新思科技公司的Saar指出。
用于训练LLM和物理AI的仿真技术
许多物理AI系统，如人形机器人或机器狗，被创造出来是为了作为视障人士和老年人的辅助工具，或者协助急救人员。
“当然，就像任何技术一样，机器人也可能被滥用，”亚利桑那州立大学计算机与增强智能学院助理教授、系统学习评估与自然化实验室主任Ransalu Senanayake表示。
LENS Lab的机器人系统最初与大语言模型相连，随后逐步整合了计算机视觉（CV）模型和视觉语言模型（VLM），如今已升级为基于视觉-语言-动作模型运行。
“所有这些大型语言模型——我称之为大型文档模型——都容易产生幻觉现象，” Senanayake表示，“关键在于实现‘可控幻觉’，即我们能够以新的方式了解它们的思维方式，进行评估，如果存在问题便及时舍弃，如果具备价值则进一步推进应用。”
这些大语言模型基于标准模型训练，然后根据具体场景进行调整。
同样，英伟达也利用仿真技术来训练其Groot N1开源、可定制的跨实体机器人基础模型。“与可以利用互联网上所有人类知识进行训练的LLM模型不同，目前尚无此类数据用于训练物理AI模型。获取真实世界的数据成本高昂且可能存在危险，而预训练对于训练像Groot这样的模型来说作用有限，”英伟达Omniverse和仿真技术副总裁Rev Lebaredian表示，“我们需要一种可扩展且经济高效的方式来生成庞大、多样化且物理上精确的数据。”
为此，最新版本的Groot N1.6将采用该公司自主研发的Cosmos Reason世界基础模型（WFM）作为其大脑，使人形机器人能够分解复杂指令，并利用先验知识和常识执行任务。同时，新版本的Cosmos Transfer和Cosmos Predict WFM将赋予人形机器人更大的躯干和手臂活动自由度，从而实现更灵活的移动和操控。“这些模型能够生成数百个富含传感器的虚拟环境用于机器人训练，从而减少对现实世界数据采集的依赖，” Lebaredian表示。
在机器人正式投入使用前，仿真在确保其功能安全方面发挥着关键作用。“因此，构建尽可能贴近真实世界的物理精确模拟器至关重要，这样我们就能在机器人真正投入物理世界、拥有实体之前，在多样化环境中对单个机器人及机器人车队进行数百万小时的模拟运行测试，”Lebaredian指出。
仿真技术对于训练基于物理或受物理信息影响的人工智能尤其有用，例如，这些人工智能需要能够在工厂车间内导航。“物理学非常适合创建合成数据，因为物理本质是恒定的，”Ansys（现为新思科技子公司）产品营销总监Marc Swinnen表示，“这与人员地址、收入或其他非物理数据不同，后者需要真实数据来训练人工智能。我们可以模拟各种物理过程，这正是基于物理的人工智能的优势所在。我们可以在不使用任何客户或第三方数据的情况下，训练人工智能模型并提供给客户。硅材料中的热传导规律始终如一，与客户身份无关，这让整个训练过程更高效便捷。”
结语
自动化技术和各类机器人已在某些行业站稳脚跟，但这仅仅是物理人工智能系统融入日常生活的开端。其终极形态将是：人形机器人与仿生动物机器人拥有亲和的外观，能够在绝大多数地形上灵活移动，并搭载高度定制化的人工智能模型。
随着物理人工智能复杂度的不断提升，构建安全框架显得尤为关键。“我们面临的是庞大的数据量、来自多个来源的复杂输入数据集、复杂的模型与算法，而相关工具自身也具备内在的复杂性，”Johnson指出，“除此之外，通用软件栈同样具有复杂性，需要计算密集型硬件来满足这种复杂性的实时处理需求。”
整个行业的相关活动正逐渐升温。变革即将来临，未来几年内，机器人将广泛应用于日常生活，从新奇事物变为常见设备。当前的挑战在于如何确保新技术的整合尽可能顺利和顺畅。
END
欢迎加入Imagination GPU与人工智能交流2群
入群请加小编微信：eetrend89
(添加时请注明公司名称和职位)
推
荐
阅
读
Imagination 开源图形驱动新增Vulkan 1.2支持，并扩展多款GPU适配
Imagination GPU 驱动更新：新增多项 Vulkan 与 OpenCL 扩展支持
Imagination Technologies 是一家总部位于英国的企业，专注于研发芯片和软件知识产权（IP）。基于Imagination IP的产品已在全球数十亿人的手机、汽车、家庭及工作场所中广泛应用。欲获取更多物联网、智能穿戴、通信、汽车电子、图形图像开发等前沿技术信息，请关注 Imagination Tech！
京公网安备 11010802022788号
