期刊Journal of Automation and Intelligence 接收论文：机器人领域中的大语言模型技术：机遇、挑战和新视角
论文“Large language models for robotics:Opportunities, challenges, and perspectives”被期刊Journal of Automation and Intelligence接收
时间：2024-12-23
关键词：脑机接口与智能机器人，文章接收
近日，博士研究生王嘉琪在期刊Journal of Automation and Intelligence上发表题为“Large language models for robotics:Opportunities, challenges, and perspectives”的文章，通讯作者为张枢教授。
Objective:
大型语言模型（LLM）已经经历了显著的扩展，并越来越多地被整合到各个领域。特别是在机器人任务规划领域，LLM利用其先进的推理和语言理解能力，基于自然语言指令制定精确而高效的行动计划。然而，对于具身任务，即机器人与复杂环境交互的任务，纯文本LLM由于缺乏与机器人视觉感知的兼容性而面临挑战。本研究全面概述了LLM和多模态LLM在新兴的机器人任务中的集成。此外，我们提出了一个框架，该框架利用多模态GPT-4V，通过结合自然语言指令和机器人视觉感知来增强具身任务规划。我们的结果基于多样的数据集表明，GPT-4V有效地提高了机器人在具身任务中的性能。对LLM和多模态LLM在各种机器人任务中的广泛调研和评估，丰富了对以LLM为中心的具身智能的理解，并为弥合人-机器人-环境交互中的差距提供了前瞻性的见解。
