README_zh-CN.md

English | 简体中文

RoboMatrix: A Skill-centric Hierarchical Framework for Scalable Robot Task Planning and Execution in Open-World

📝论文 | 🌍项目主页 | 🛢️数据

发布

• [2024/12/04] 🤗 发布RoboMatrix有监督微调数据集，该SFT数据集包含1,500条高质量人类标注的演示视频。 [数据]

Demo

动态对抗交互

crossing_obstacles_with_adversarial_interaction.mp4

🛠️ 安装

1. 安装 ROS2

注意：如果您的系统上已安装 ROS2，请跳过此步骤。

适配您 Ubuntu 系统的 ROS2 版本

• Ubuntu 20.04 ---> ROS2 Foxy ---> 官方安装指南
• Ubuntu 22.04 ---> ROS2 Humble ---> 官方安装指南

安装 colcon

sudo apt install python3-colcon-common-extensions

2. 构建工作空间

mkdir -p ~/RoboMatrix/src && cd ~/RoboMatrix/src
git clone https://github.com/WayneMao/RoboMatrix.git
cd ~/RoboMatrix && colcon build

3. 安装依赖

sudo apt install libopus-dev python3-pip
python3 -m pip install -U numpy numpy-quaternion pyyaml

# 安装 RoboMaster-SDK
python3 -m pip install git+https://github.com/jeguzzi/RoboMaster-SDK.git
python3 -m pip install git+https://github.com/jeguzzi/RoboMaster-SDK.git#"egg=libmedia_codec&subdirectory=lib/libmedia_codec"

# 安装依赖和 PyTorch
pip install -r requirements.txt
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118

4. 第三方依赖

Grounding-DINO-1.5-API

cd src/robomatrix_client/robomatrix_client
git clone https://github.com/IDEA-Research/Grounding-DINO-1.5-API.git
cd Grounding-DINO-1.5-API
pip install -v -e .

真机部署

TODO

• 打包Docker
• 🤗 发布有监督微调数据集
• 优化VLA ROS通信
• 开源VLA Skill model代码
• 开放VLA Skill Model权重
• 开源Shooting代码

Citation

If you find our work helpful, please cite us:

@article{mao2024robomatrix,
  title={RoboMatrix: A Skill-centric Hierarchical Framework for Scalable Robot Task Planning and Execution in Open-World},
  author={Mao, Weixin and Zhong, Weiheng and Jiang, Zhou and Fang, Dong and Zhang, Zhongyue and Lan, Zihan and Jia, Fan and Wang, Tiancai and Fan, Haoqiang and Yoshie, Osamu},
  journal={arXiv preprint arXiv:2412.00171},
  year={2024}
}

致谢

• 视觉-语言-动作 (VLA) 技能模型的实现基于 LLaVA。
• RoboMatrix-ROS 基于 RoboMaster-SDK 和 ROS2。
• 其他一些库包括：Grounding-DINO-1.5、YOLO-World。

---

微信群