具身智能方向考核题目(时限14天)

Written by 陈瑞阳。 提交邮箱:chenruiyang0225@163.com

说明:请参与考核的同学每日记录完成进度,最终将进度记录与答案提交至上述邮箱。如有问题可通过邮箱联系。

一、观看视频并回答基础问题

请观看 [具身智能介绍视频],学习了解具身智能相关基础知识,并回答以下问题:

  1. 什么是具身智能?它与传统的人工智能有什么区别?请结合机械臂抓取这个任务具体说明。
  2. 在具身智能系统中,感知、决策和动作三个模块如何协同工作?

二、阅读论文并回答问题

请阅读以下论文:

针对 SAM2Act 论文,回答以下问题:

  1. 这篇文章的设定是什么?(输入、输出分别是什么)
  2. 这篇文章的出发点是什么?(我们有很多前人的工作也在解决上述问题设定,他们的算法存在什么问题?为什么这些问题很重要?)
  3. SAM2Act 的核心创新点是什么?
  4. 为什么要对 SAM2 模型使用 LoRA 进行微调?必要性是什么?
  5. 这种两阶段设计的必要性是什么?

三、运行 SAM2Act 代码并完成任务

本环节旨在考核学生的实际代码能力,通过复现 SAM2Act 代码,学习云服务器使用、仿真平台操作及复杂环境配置。

任务步骤:

  1. 在云服务器平台构建实例(GPU 单卡 4090 即可)。
  2. 在云服务器中按照 SAM2Act 代码仓库 中的 README.md 步骤配置环境。
  3. 配置完成后,完成 Evaluation 中的 Evaluate SAM2Act on RLBench 任务,并提交生成的 eval_results.csv 表格。
提示: