• Grabette: 로봇-조작 데이터를 기록하기 위한 오픈 시스템.
  함께 공유 데이터셋을 구축합니다.
  • The bottleneck isn’t the model. It’s the data.
  • UMI의 어깨 위에 서다
  • Grabette를 만나다
  • 모두를 위한 시스템
  • 손에서 데이터셋으로, 두 단계로
    • 1. 기록
    • 2. 브라우저에서 직접 처리
  • 데이터로 무엇을 할 수 있나요? 여기 하나의 예시가 있습니다.
  • 이제 당신의 차례입니다
    • 앞으로의 계획

이 글은 Hugging Face 블로그의 Grabette: an open system to record robot-manipulation data를 한국어로 번역한 글입니다.

Grabette: 로봇-조작 데이터를 기록하기 위한 오픈 시스템.
함께 공유 데이터셋을 구축합니다.

휴대용 그리퍼로 몇 분 안에 자신의 조작 작업을 기록하고, 이를 로봇 학습에 바로 사용할 수 있는 데이터셋으로 자동 변환하며, 로봇 학습을 위한 오픈형 협업 데이터셋 확장에 기여하세요.

The bottleneck isn’t the model. It’s the data.

로봇 학습에는 공급 문제(수급 문제)가 있습니다. 우리는 강력한 정책 아키텍처(트랜스포머 기반 VLA, 확산 및 흐름 매칭 정책, 그리고 심지어 월드 모델)와 이를 학습시킬 GPU를 보유하고 있습니다. 그러나 우리가 부족한 것은 크고 다양한 실제 세계의 조작 데이터입니다.

로봇을 원격으로 조작해 데이터를 수집하는 일은 비용이 많이 들고 부담이 큽니다: 무엇보다도 로봇이 필요합니다. 또한 원격 조작 방식에 따라 데이터 수집은 수 시간에 걸쳐 사용자에게 지루하고 상당한 하드웨어 및 물류적인 도전을 수반할 수 있습니다. 이러한 이유로 필요한 다양한 작업과 환경에 맞춰 이를 확장하기 어렵습니다.

로봇 데이터를 수집하려면 로봇이 필요하지 않습니다. 단지 사람의 손, 그리퍼, 카메라, 그리고 손이 수행한 6-DoF 궤적을 복원하는 방법만 있으면 됩니다. 시연을 캡처하면 로봇이 학습할 수 있는 데이터가 생깁니다.

오늘 공개하는 것은 Grabette, 조작 데이터를 기록하기 위한 개방형 저비용 시스템입니다. Grabette를 들고 손으로 작업을 기록하면, 로봇 학습에 바로 사용할 수 있는 깨끗한 데이터셋을 얻습니다. 로봇도, 실험실도, 원격 조작 장비도 필요 없습니다.

그 목표가 더 큽니다: 시연을 기록하는 것이 동영상을 촬영하는 것만큼 쉽다면 누구나 기여할 수 있습니다. Grabette가 크고 오픈된, 협력적인 조작 데이터셋의 씨앗이 되길 원합니다. 한 연구실만으로는 결코 구축할 수 없는 데이터셋입니다.

UMI의 어깨 위에 서다

Grabette는 스탠포드의 Universal Manipulation Interface (UMI)에서 직접 영감을 받았습니다: 야생 현장에서 시연을 기록하는 피시아이 카메라가 달린 핸드헬드 그리퍼가 카메라 궤적을 SLAM으로 복원하고, 이를 바탕으로 시각-운동 정책을 학습합니다.

UMI가 이 레시피가 작동한다는 것을 입증했습니다. Agibot의 MEgo 그리퍼, Genrobot의 DAS 그리퍼, Sunday Robotics의 스킬 캡처 글러브와 같은 다른(폐쇄 소스) 기기도 존재합니다. 우리의 목표는 이를 사용하기 쉽게 만들어, ‘작업이 있다’에서 ‘학습된 모델이 있다’로의 진입 장벽을 가능한 한 낮추는 것이었습니다.

Grabette는 현대의 개방 생태계에 통합되어 있습니다: 데이터셋용 LeRobot, 공유를 위한 Hugging Face Hub, 설치가 필요 없는 브라우저에서 실행하는 처리 파이프라인. Grabette는 누구나 작업대에서 만들고 현장에서 사용할 수 있으며 데이터를 기여할 수 있습니다.

Grabette를 만나다

수개월에 걸쳐 Grabette를 개발해 왔으며, 이제 공유하기에 충분히 활용 가능하다고 느낍니다. 이제 여러분과 공유하게 되어 기쁩니다!

Grabette는 시연을 재구성하는 데 필요한 모든 것이 탑재된 휴대용 그리퍼 도구입니다.

그 안에는 두 대의 카메라가 있으며, 각각 고유한 역할을 합니다. 두 역할을 분리한 것은 의도된 것이며, 저렴한 광각 피시아이 카메라는 정책에 필요한 맥락이 풍부한 손목 카메라 스타일의 시점을 제공하고, RGBD 카메라는 강건한 6-DoF 추적의 핵심 작업을 수행합니다.

Grabette가 사용자가 수행하는 작업 중 데이터를 기록하는 동안, 학습 이후에 학습한 움직임을 로봇 팔이 실행하도록 로봇 측의 보조가 필요합니다. 따라서 Grabette의 로봇 팔 엔드-이펙터 트윈인 Gripette를 만나보세요.

가족 구성원은 동일한 하드웨어 DNA를 공유합니다:

• Grabette, 핸드헬드 시연 장치(카메라 + IMU + 그리퍼, BOM 비용 약 490€)
• Gripette, 모터식 그리퍼(카메라 + 두 개의 서보 모터, BOM 비용 약 120€)로 실제 로봇 팔 또는 시뮬레이션 로봇 팔의 루프를 닫습니다

Grabette hand held recording device (left) and Gripette robot gripper (right)

모두를 위한 시스템

모든 것이 오픈 소스입니다

Go check the repository!

• 하드웨어: Grabette와 Gripette의 CAD 및 생산 파일
• 캡처 서비스: 현장 Raspberry Pi 소프트웨어
• 처리 파이프라인: 로컬에서 실행하거나 우리의 Hugging Face Space를 통해 온라인으로 실행
• 참고 용 다운스트림 스택: LeRobot 학습 스택 기본 구성 + OpenArm 평가를 참고용으로

구성 요소. 표준 센서들로 구입 가능하며, 폐쇄된 파이프라인이나 포크 락인 없이. Raspberry Pi, 표준 Pi 카메라, 시판되는 OAK-D 심도 카메라, 자기 엔코더들. 핵심은 누구나 주문 가능한 부품으로 하나를 만들 수 있다는 점입니다.

디자인상 로봇 불가지론적(Robot-agnostic). 수집 과정이나 데이터 형식에는 특정 팔이 가정되어 있지 않습니다. 시연은 카메라-로컬 6-DoF 카르테시안 자세와 그리퍼 상태로 저장되며, 출력은 Hugging Face Hub의 표준 LeRobot 데이터셋이므로 같은 데이터가 서로 다른 로봇과 서로 다른 학습 방법을 구동할 수 있습니다. 다만 팔에 맞는 Gripette 그리퍼는 여전히 필요합니다.

손에서 데이터셋으로, 두 단계로

이번 릴리스는 누구나 ‘작업을 시演하고 싶다’에서 ‘학습 준비가 된 데이터셋이 있다’로 빠르게, 그리고 사전 지식 없이도 이동할 수 있도록 해줍니다.

1. 기록

버튼을 누르면 관찰 카메라, 추적 카메라(컬러, 깊이, IMU) 및 그리퍼의 엔코더 값이 하나의 공유 시계를 사용해 동시에 기록되며, 올바른 동기화를 보장합니다. 에피소드를 다시 버튼으로 중지하면 데이터가 Raspberry Pi에 로컬로 저장됩니다.

2. 브라우저에서 직접 처리

브라우저에서 Grabette 대시보드를 열고, 데이터셋에 추가할 에피소드를 선택한 뒤 한 번의 클릭으로 후처리가 시작됩니다.

• 에피소드는 Hugging Face Hub로 업로드됩니다
• grabette-slam 공간은 RTAB-MAP 라이브러리를 사용해 SLAM을 수행하고 궤적에 점프나 트래킹 손실이 없음을 확인합니다
• 에피소드는 LeRobot 형식으로 변환됩니다
• 새 데이터셋이 사용자의 공간에 업로드되어 Le Robot visualizer를 사용해 각 에피소드의 데이터를 확인할 수 있습니다

이제 학습을 시작할 준비가 모두 되었습니다!

데이터로 무엇을 할 수 있나요? 여기 하나의 예시가 있습니다.

데이터셋은 무엇을 학습시키느냐에 따라 가치가 있습니다. 따라서 루프를 끝에서 끝까지 보여주기 위해 완전한 예시를 제공합니다. 다만 이것은 가능해지는 것의 하나의 예시일 뿐이며, 제품이 아니며: 이번 릴리스는 기록 시스템입니다. Grabette 데이터는 LeRobot 데이터셋을 사용하는 어떤 방법과도 작동합니다.

우리 예시는 200개의 기록된 시연을 활용합니다:

Dataset available on this HF Dataset

그리고:

• LeRobot 스택으로 정책을 학습 — 소비자급 GPU 한 대에 맞는 Diffusion 정책(ResNet18 + SpatialSoftmax 인코더, DDIM 스케줄러, 6-DoF 회전 동작)을 사용합니다.
• 그 정책을 평가하기 위해 Gripette 그리퍼를 장착한 OpenArm 7-DoF 팔에 적용하고, gRPC API를 통해 구동했으며, 다음과 같은 결과가 나왔습니다:

Policy available on this HF Model

이제 당신의 차례입니다

데이터 병목은 한 연구실의 힘으로 해결되지 않으며, 전 세계 곳곳에서 시연을 기록하는 커뮤니티에 의해 해결됩니다. 이제 Grabette를 만들어 관심 있는 작업을 기록하고 Hub에 공유함으로써 데이터셋 구축에 기여할 수 있습니다. 에피소드 하나하나가 오픈 데이터셋을 더 크고 다양하게 만들고, 모든 기여자는 로봇 학습의 진입 장벽을 조금이라도 낮춥니다.

앞으로의 계획

이번 릴리스는 프로젝트의 시작에 불과합니다! Grabette는 계속 진화할 것이며, 이미 더 많은 것이 다가오고 있습니다. 예를 들어 Grabette를 보완하는 머리 착용 POV 디바이스인 Casquette를 포함해 egocentric 포착을 위한 보완도 준비 중입니다(아직 진행 중). 그러나 가장 중요한 다음 단계는 우리 것뿐만이 아니라 여러분의 것 역시도: 기록을 시작하고 함께 데이터셋을 구축합시다.

👉 Build a Grabette (GitHub) · Process your data (HF Space) · 데이터셋에 기여하기

Pollen Robotics가 ❤️로 만들어졌습니다.