생각많은 소심남의 연구노트
    • English
  • Home
  • 소개
  • 블로그
  • 출간물
  • 활동

    G 안에 로봇 팔과 동작의 잔상을 담은 GhostLab 로고

    GhostLab: 손으로 살펴보는
    로봇의 동작

    Meta VR Start Developer Competition 2026 · Productivity 트랙 · New Experience 부문

    Chanseok Kang

    SO-101 로보틱스 · Meta Quest · 공간에서 살펴보는 동작 기록

    Quest에서 체험하기 데모 영상 Devpost 코드와 검증 기록 시연 데이터셋

    요약

    순간을 찾고, 다시 재생하고, 검토 결과를 남깁니다. GhostLab은 로봇의 실행 기록을 손이 닿는 거리에서 살펴볼 수 있는 가상 작업대로 옮깁니다. 시각이 표시된 노트를 누르고, 해당 관절을 0.25배속으로 재생한 뒤, 관찰한 순간을 저장해 오프라인에서 다시 열 수 있습니다. 앱에 포함된 체험은 로봇이나 워크스테이션, API 키 없이 Quest만으로 동작합니다.

    SO-101 모델, 추정된 팔 끝 궤적, 시각이 표시된 동작 노트가 놓인 GhostLab 작업대.

    Quest 2에서 직접 녹화한 GhostLab 0.6.9 화면입니다. SO-101 모델은 측정된 관절값을 따라 움직이고, 청록색 궤적은 그리퍼 끝 위치의 추정치를 보여줍니다. 각 노트는 관찰 내용을 원본 기록의 해당 시각과 연결합니다.

    60초의 실행 기록 실제 SO-101 정책 실행에서 얻은 1,797개 샘플을 앱에 포함했습니다

    0.25배속 재생 선택한 이벤트 주변의 짧은 구간을 재생하며 해당 관절을 강조합니다

    오프라인 검토 원본 기록, 선택 구간, 재생 위치와 속도를 헤드셋에서 다시 엽니다

    개요

    문제

    로봇이 실행을 마친 뒤 무슨 일이 있었는지 이해하려면 카메라 영상과 관절 그래프를 번갈아 봐야 합니다. 동작은 공간에서 일어나지만, 검토는 서로 분리된 2차원 화면에서 이루어집니다.

    접근

    기록된 로봇 팔을 앉아서 사용할 수 있는 Quest 작업대로 가져옵니다. 손 추적으로 재생 시점을 옮기고, 측정된 이벤트를 살펴보고, 관심 있는 구간을 남깁니다.

    결과

    노트 선택부터 재생, 저장, 다시 열기까지 이어지는 검토 흐름을 구현했습니다. 0.6.10에서는 4단계 안내와 시각적 피드백을 추가하고 Quest 2에서 확인했습니다.

    로봇에게 동작을 가르친 뒤, 그 결과를 살펴보기까지

    이 아이디어는 SO-101을 원격 조작하던 중 시작했습니다. 책상 위 실험 환경에서 캔을 코스터에 올려놓는 작업을 120회 시연해 Hugging Face에 공개했고, 그중 80개로 ACT 정책을 학습했습니다. 학습한 정책이 스스로 동작하기 시작하자, 그 결과를 가상환경에서 살펴보고 손으로 재생 시점을 옮길 수 있으면 좋겠다고 생각했습니다.

    GhostLab은 rollout_main012_1008_004335 기록을 열며 시작합니다. 로봇 팔이 콜라 캔을 집어 코스터 위에 세워 놓는 학습된 정책의 실행 기록입니다. 공개된 시연 데이터는 학습에 사용한 배경이고, 앱에 포함된 기록은 그 정책이 실제로 수행한 결과입니다. 이 둘을 구분해 보여주는 것도 검토의 일부입니다.

    동작 기록 원본을 유지합니다

    측정된 관절값, 원본 시각, 기록에 포함된 목표값을 함께 불러옵니다. 데이터가 빠진 구간은 빈 구간으로 남깁니다.

    →

    공간에서 살펴보기 관심 있는 순간을 찾습니다

    시각이 표시된 노트를 선택하거나 타임라인을 움직입니다. 해당 관절을 느리게 재생하고 팔 끝의 추정 궤적을 살펴봅니다.

    →

    검토 결과 저장 같은 맥락으로 돌아옵니다

    이벤트, 원본, 구간과 태그를 함께 저장합니다. 앱을 다시 실행한 뒤에도, 오프라인에서도 같은 관찰을 다시 열 수 있습니다.

    체험 영상

    2분 53초 데모에는 직접 녹음한 내레이션, 영어 자막과 실제 Quest 2 녹화 화면이 담겨 있습니다. 씬 3은 0.6.8, 씬 4–9는 0.6.9로 촬영했습니다. 같은 검토 흐름을 0.6.10에서도 사용할 수 있으며, 아래에서 소개하는 안내가 추가되었습니다. YouTube에서 보기.

    손으로 재생 시점을 옮기기

    노트 선택

    그리퍼 노트에 접근하는 손끝과 누를 준비가 되었음을 알려주는 표시.

    검지로 시각 카드를 누르거나, 카드 위에서 엄지와 검지를 모았다 펴서 선택합니다. 손끝과 선택 대상이 함께 빛나며, 컨트롤러는 필요하지 않습니다.

    관절 재생

    0.25배속으로 재생하는 동안 강조되는 그리퍼.

    4.21s 예시는 그리퍼의 개폐 방향이 바뀌는 순간을 선택합니다. Replay moment를 누르면 주변의 짧은 구간을 0.25배속으로 재생하고, 해당 순간에 관절을 더 밝게 표시한 뒤 5.41s에서 멈춥니다.

    관찰 저장

    재생 구간과 태그를 포함해 저장된 Gripper reversal 카드.

    재생이 끝까지 완료되면 같은 앞쪽 버튼이 Save this moment로 바뀝니다. 버튼을 한 번 더 눌러 관찰을 저장합니다. 이름이 붙은 카드를 다시 열면 원래 이벤트로 돌아옵니다.

    오프라인에서 다시 열기

    저장한 구간과 재생 위치, 0.25배속 설정이 복원된 화면.

    직접 구간을 고르려면 흰 타임라인 마커를 집어 움직이고, 시작과 끝을 지정한 뒤 태그와 함께 저장합니다. 오프라인 시험에서는 13.7–20.3초 구간, 20.3초 재생 위치와 0.25배속이 복원됐습니다.

    측정 근거와 연결되는 동작 노트

    GhostLab은 모델에 설명을 요청하기 전에 측정된 관절 데이터의 연속 구간을 분석합니다. 방향 반전으로 판단하려면 이벤트 앞뒤 양쪽의 변화가 각각 8° 이상, 그리퍼 개방률의 경우 각각 8%p 이상이어야 합니다. 선택 구간의 끝에서 가장 큰 변화가 나타나더라도 구간 내부의 반전을 찾을 수 있습니다. 데이터가 빠지면 분석 구간도 나눕니다.

    실험실 게이트웨이가 페어링되어 있으면 Meta Muse Ember가 최대 네 개의 측정 사실을 받아, 그 근거에 맞는 영어 설명 한두 문장을 반환합니다. 응답의 이벤트 ID, 관절, 수치와 표현이 근거에 맞는지 검사합니다. 노트를 선택하면 그 설명의 근거가 된 원본 기록으로 돌아갑니다.

    앱의 표시 의미 사용 조건
    Meta · Example 예시 기록과 함께 제공되는, 실제 Meta 응답으로 만든 노트 두 개 처음 설치한 헤드셋에서도 오프라인으로 사용
    On-device analysis 선택 구간에서 기기 자체가 찾아낸 새 관찰 새로운 구간도 오프라인으로 분석
    Meta · Saved 사용자의 검토 카드와 함께 저장된 Meta 응답 생성할 때는 페어링된 게이트웨이가 필요하며, 저장 후에는 오프라인으로 다시 열기 가능

    새로운 Meta 설명 생성은 선택적으로 사용하는 실험실 기능입니다. 모델 API 키는 GX10에 두고, 헤드셋에는 별도의 페어링 토큰을 저장합니다. 공개 생성 서버는 별도로 배포를 준비한 상태이며, Quest만으로 시작하는 기본 체험에는 포함되지 않습니다.

    실제 동작과 가상환경에서의 재구성

    실제 SO-101의 카메라 영상과 같은 정책 실행을 Quest에서 재생한 화면을 나란히 배치한 비교 장면.

    로봇 카메라 기록과 Quest 재생 화면을 제어 시각에 맞춰 편집한 데모의 비교 장면입니다. 앱 안에서 카메라 영상을 동기화해 재생하는 기능은 아닙니다. 측정된 관절값이 가상 모델을 움직이며, 청록색 팔 끝 궤적은 순기구학으로 계산한 추정치입니다.

    실험실 환경과 페어링한 헤드셋에서는 Live monitor도 열 수 있습니다. 패스스루로 실제 책상을 보면서 실물 Follower 옆에 측정된 SO-101 자세를 표시합니다. 선택 기능인 OpenMV 손목 카메라 영상과 Record 20s 기록 기능도 사용할 수 있습니다. 페어링된 GX10과 로봇 구성이 필요하며, GhostLab은 읽기 전용으로 연결되어 팔에 제어 명령을 보내지 않습니다.

    0.6.10에서 더 분명해진 첫 검토 흐름

    1. 선택. 네 개의 가는 진행 표시와 짧은 안내가 다음 동작을 알려줍니다. 예시의 첫 노트를 강조합니다.
    2. 재생. 주변 버튼의 대비를 낮춰 선택한 관절과 앞쪽 재생 버튼이 잘 보이게 합니다.
    3. 저장. Saved on this headset이 저장 성공을 알리고, 저장된 카드가 잠시 청록색으로 밝아졌다 어두워집니다.
    4. 다시 열기. 해당 카드를 열면 안내가 완료됩니다. 완료 상태는 재실행 후에도 유지되어, 다음 방문에서는 도입 안내를 반복하지 않고 기존 조작을 사용할 수 있습니다.

    각 단계에서 필요한 설명 출처와 재생 종료 시각은 계속 표시됩니다.

    0.6.10의 저장 완료 화면. 헤드셋 저장 문구, 네 단계 진행 표시와 강조된 검토 카드가 보인다.

    0.6.10 인터페이스의 에디터 렌더 이미지입니다. 기존 사용자가 Quest 2에서 안내, 시각적 강조와 카드 다시 열기를 별도로 확인했습니다.

    검증 결과와 현재 한계

    항목 확인한 내용
    자동화 검증 2026년 11월 16일 EditMode 111개 + PlayMode 40개 테스트 통과
    Quest 2 사용 기존 사용자가 새 안내에 따라 노트 선택, 재생, 저장과 다시 열기를 완료
    업데이트와 재실행 기존 저장 파일 18개가 모두 보존됐고, 재실행 후에도 안내 완료 상태와 선택한 리뷰 유지
    짧은 성능 측정 27.329초 동안 27개 보고값이 모두 72 Hz에서 72 FPS를 기록. stale frame은 총 3개, 앱 GPU 시간의 95백분위수는 6.78 ms
    배포 릴리스 키로 서명한 0.6.10 (27)을 2026년 11월 16일 Competition 채널에 업로드

    성능 수치는 짧은 실사용 확인 결과이며, 5분 연속 사용 검증 결과는 아닙니다. Quest 3/3S의 독립적인 첫 사용자 시험과 별도 Meta 계정으로 설치하는 시험은 아직 확인하지 못했습니다. 버전별 검증 기록.

    관절 측정값과 팔 끝 추정치

    팔 끝 궤적은 실측한 3차원 좌표가 아니라 순기구학으로 계산합니다. 실물 팔의 별도 검증 자세에서 오차가 최대 18 cm였습니다. 화면에는 궤적을 추정치로, 주황색의 기록된 목표값을 미검증 데이터로 표시합니다.

    관찰과 제어

    앱은 기록된 동작을 검토하고 실시간 측정값을 읽습니다. 기록의 재생 시점을 바꿔도 실물 Follower는 움직이지 않습니다. 실물 연결과 손목 영상은 페어링 후 사용하는 선택 기능입니다.

    검증 범위

    자동화 검증과 기존 사용자의 Quest 2 시험으로 현재 사용 흐름을 확인했습니다. 일반적인 사용성 성공률, 정밀한 팔 끝 정합이나 모든 헤드셋에서의 성능까지 입증한 것은 아닙니다.

    Quest에서 체험하기

    Meta 계정으로 Competition 릴리스 채널에 참여해 GhostLab을 설치합니다. 손 추적을 켜고 책상이나 테이블 앞에 편하게 앉아 주세요.

    1. 작업대가 앞에 오도록 바라봅니다. 필요하면 Recenter를 누릅니다.
    2. 처음 실행하면 예시 노트가 열립니다. 이후에는 Try motion notes를 선택합니다.
    3. 4.21s · Gripper와 Replay moment를 차례로 누릅니다. 재생 중에는 손을 내려놓습니다.
    4. 5.41s에서 멈추면 Save this moment를 누릅니다.
    5. 강조된 카드를 열어 해당 순간을 다시 확인합니다. 이후에는 Review tools에서 직접 구간을 고를 수 있습니다.

    사용 기술

    구성 기술과 역할
    Quest 독립 실행형 앱 Unity 6, C#, OpenXR, Unity XR Hands, URP
    손 상호작용 검지로 누르기, 핀치로 선택하기, 타임라인 끌기를 처리하는 자체 로직
    동작과 데이터 SO-101 기록, ACT 정책 실행, Python 가져오기 도구, LeRobot 형식의 공개 시연 데이터셋
    동작 설명 Meta Model API, Muse Ember, 근거 검증과 기기 내 오프라인 분석
    선택적인 실물 연결 GX10, 읽기 전용 Follower 측정값, Meta 패스스루와 OpenMV 손목 영상

    다음 단계

    다음으로는 처음 사용하는 사람과 검토 흐름을 시험하고, 패스스루를 통해 기록 검토를 실제 책상 위로 옮기려 합니다. 시연 에피소드와 정책 실행을 나란히 살펴보는 기능, 사람이 확인한 관찰을 학습 실험의 피드백으로 내보내는 기능도 계획하고 있습니다. 학습 실험은 시뮬레이션부터 시작할 예정이며, 이 내용은 현재 도구를 바탕으로 확장하려는 계획입니다.

    코드, 데이터와 출처

    • GhostLab 소스와 개발·검증 기록. 2026년 11월 18일 기준 저장소 접근은 제한되어 있으며, 공개 전환을 예정하고 있습니다.
    • Hugging Face의 SO-101 시연 120개는 CC BY 4.0으로 공개했습니다. 앱에 포함된 예시는 이 시연 에피소드와 별개인 정책 실행 기록입니다.
    • 관련 QuantGate 프로젝트에서 실물 실험 환경과 정책 실행의 배경을 확인할 수 있습니다.
    • Devpost 프로젝트와 내레이션이 포함된 데모.

    로고와 Quest 영상은 Chanseok이 제공하거나 촬영했습니다. 갤러리 이미지 여섯 장은 0.6.9 화면이며, 새 안내 화면은 0.6.10의 에디터 렌더 이미지입니다. 페이지 구성은 paired-task audits 프로젝트 페이지를 따릅니다.

    프로젝트 상태는 2026년 11월 18일 저장소 기록을 기준으로 확인했습니다.