2023年11月8日

又是ChatGPT微软这一举动正在将科幻带入现实

作者 admin

每经记者:郑雨航 每经编辑:兰素英

图片来源:论文截图

而ChatGPT解锁了一种新的机器人范式,并允许潜在的非技术用户在循环中,在监控机器人性能的同时向大型语言模型 (LLM) 提供高级反馈。

通过遵循设计者的设计原则,ChatGPT 可以为机器人场景生成代码。在无需任何微调的情况下,人们就可以利用LLM的知识来控制各种任务的不同机器人外形。通过反复试验,微软的研究人员构建了一种方法和设计原则,专门为机器人任务编写提示:

1. 首先,定义一组高级机器人 API 或函数库。该库可以针对特定的机器人类型进行设计,并且应该从机器人的控制栈或感知库映射到现有的低层次具体实现。为高级 API 使用描述性名称非常重要,这样 ChatGPT 就可以推理它们的行为。

2. 接下来,为 ChatGPT 编写一个文本提示,描述任务目标,同时明确说明高级库中的哪些函数可用。提示还可以包含有关任务约束的信息,或者 ChatGPT 应该如何组织它的答案,包括使用特定的编程语言,或使用辅助解析组件等。

3. 用户通过直接检查或使用模拟器来评估 ChatGPT 的代码输出。如果需要,用户使用自然语言向 ChatGPT 提供有关答案质量和安全性的反馈。

4.当用户对解决方案感到满意时,就可以将最终的代码部署到机器人上。

ChatGPT 机器人,将带来什么?

文章中,微软的研究团队展示了在人们的工作中,ChatGPT解决机器人难题的多个示例,以及在操纵无人机和导航领域的复杂机器人部署。

研究人员让 ChatGPT 访问控制一台真正的无人机的全部功能,事实证明,非技术用户和机器人之间可以用非常直观且基于自然语言的交流。

当用户的指令模棱两可时,ChatGPT 会提出澄清问题,并为无人机编写复杂的代码结构,例如飞行之字(zig-zag)图案,以便可视化地检查货架;甚至还能给用户来一张。

图片来源:论文截图

谈及微软在论文中的演示示例,本特利博士告诉每经记者,“微软已经展示了一些简单的操作,ChatGPT可以用来生成计算机代码,这些代码可以控制机器人,所以用ChatGPT来控制机器人是完全可行的方案。”。

但本特利博士认为,在现阶段来说,ChatGPT虽然能够生成计算机代码,但机器人控制的问题在于,计算机代码可能需要为特定的硬件量身定制才能正常工作。ChatGPT目前使用的是它已经学习到的代码示例,它(ChatGPT)或许并不兼容最新的硬件。

“所以,ChatGPT不太可能与人类开发人员相提并论。它只是提供了一个简单的捷径,可以帮助人们学习基础知识,但它缺乏作为开发人员的基本能力。”

ChatGPT输出仍需评估

研究人员在该文中表示,在做某事(行动)之前能够感知世界是打造机器人系统的基础。因此,他们决定测试 ChatGPT 对这个概念的理解,并要求它探索一个环境,直到找到用户指定的对象。研究者允许模型访问对象检测和对象距离 API 等功能,并验证它生成的代码是否成功实现了感知-操作循环(Perception-action loops)。

在实验角色中,研究者进行了额外的实验,以评估ChatGPT是否能够根据传感器实时反馈决定机器人应该去哪里,而不是让ChatGPT生成一个代码循环来做出这些决定。有趣的是,结果验证了人们可以在聊天的每一步提供相机图像的文本描述,并且ChatGPT模型能够弄清楚如何在机器人到达特定物体之前控制它。

该文称,微软发布这些技术的目的是将机器人技术推广到更广泛的受众,研究人员相信,基于语言的机器人控制系统是把机器人从科学实验室带到日常用户手中的基础。

但是,微软的研究者也表示,ChatGPT 的输出不应该在没有仔细分析的情况下直接部署在机器人上。通过在模拟环境中获得实验结果,能够在未来现实部署之前对算法进行评估,并采取必要的安全预防措施。

本特利博士对此表示认同,他向每经记者进一步解释称,就目前而言,ChatGPT还存在很多漏洞,在功能性、保障性,以及安全性上缺乏基本的能力。

“例如,ChatGPT可以编写计算机代码,但它不能做任何测试,也不知道它输出的代码运行起来是否有效。研究人员需要更好的反馈循环,以便测试结果在改进的代码中,否则ChatGPT的输出可能仍然是不合适的(不安全、或不能工作)。”

每日经济新闻