Nvidia
Nvidia上周宣布以OpenAI GPT-4为基础的AI系统Eureka的开发成果，能训练实体机器人执行复杂动作，像是转笔、开抽屉。
Eureka是Nvidia研究院AI演算法的开发成果。Eureka本身是以Open AI GPT-4为基础，可提供开发人员配合Nvidia的物理模拟参考应用程式Isaac Gym进行强化学习（reference learning）。Issac Gym则是以Nvidia 3D工具及应用程式的开发平台Omniverse为基础开发。
Nvidia AI研究部门资深总监Anima Anandkumar指出，强化学习过去10年虽然有所进展，但仍存在不少挑戦，像是奖赏设计，现在都还停留在「尝试错误」阶段。Eureka则是为执行困难的任务而设计，结合生成式与强化式学习的演算法开发的首次尝试。
Eureka生成出的奖赏程式可从事机器人的尝试错误（trial-and-error）学习，并执行80%人类专家的任务，能使平均效能提升超过50%。根据Nvidia公布的影片，Eureka训练的机器人能执行将近30种任务，像是转笔、两手互传球、开抽屉或拿剪刀等。
图片来源_Nvidia
Eureka利用GPT-4 LLM和生成式AI撰写出程式码，奖赏机器人手臂或手指进行强化式学习，过程中不需要输入任务提示或撰写预定义的奖赏范本，再结合人类回馈修正奖赏，使执行结果更精准符合开发人员的视觉。
在Issac Gym中，利用GPU加速的模拟，Eureka可针对大量批次的候选回馈快速评估品质，以提升训练效率。然后Eureka可根据训练结果的关键统计做出摘要，再命令LLM改良奖赏功能的生成。AI可以自我改进，教导所有类型的机器人，包括兽型（四脚）、人型（两脚）、四轴、手爪式及协作手臂等机器人来完成所有任务。
这篇研究也公布了研究小组根据开源灵敏性标竿测试，评估20种任务训练结果，这些测试要求机器手做多种复杂技能动作。
Nvidia表示Eureka结合LLM和Nvidia GPU模拟技术的产物，相信它可实现灵巧的机器人控制，并为动画作者提供生成逼真实体动作的新方法。
Nvidia研究院之前也发表过Voyager，后者是以GPT-4打造能自己玩《Minecraft》的AI系统。
Nvidia上周也宣布和甲骨文云端服务的进一步合作。继今年3月及7月缔结生成式AI服务及超级电脑服务DGX Cloud搬上甲骨文云基础架构（Oracle Cloud Infrastructure，OCI）后，现在Nvidia DGX Cloud及Nvidia AI Enterprise软体服务，已经在服务市集上架，提供OCI客户采购。