
애플 연구진이 컴퓨터로 만든 가상 주택 1000곳의 영상과 언어 지시, 동작 자료를 이용해 사람 형태 로봇을 훈련하고, 중국 유니트리 로보틱스의 두 발 로봇 G1으로 실제 방에서 시험했다. 연구진이 11월 4일 공개한 사전논문과 프로젝트 자료에 따르면 로봇은 카메라 영상과 말로 적은 지시를 바탕으로 낯선 공간에서 물체에 다가가거나 의자에 앉는 동작을 수행했다. 연구는 가상 공간에서 모은 자료를 실제 로봇에 적용할 수 있는지 살피는 데 초점을 맞췄다. 논문은 사전 공개본이며, 가정용 제품의 출시나 모든 집에서의 성능을 발표한 자료는 아니다.
연구진은 이 시스템을 ‘헤일로(HALO)’라고 부른다. 유니트리 G1은 카메라를 달고 몸을 움직이는 시험 장치였다. 애플 연구진은 그 장치가 주어진 일을 수행할 때 카메라 화면에서 무엇을 알아내고 어떤 동작을 만들지 결정하는 시스템을 연구했다. 따라서 연구 결과를 읽을 때 기계 자체와 그 기계를 움직인 연구 시스템을 구분해야 한다. 논문에서 특정 로봇을 사용했다는 사실은 제조사가 같은 기능을 모든 구매자에게 제공한다는 뜻과 거리가 있다.
실제 집에서 자료를 모으려면 어떤 의자가 놓여 있는지, 좁은 공간에서 가구를 지나려면 어디에 발을 놓아야 하는지 같은 조건을 여러 차례 바꿔야 한다. 사람이 같은 장면을 반복해 재현하거나 로봇을 여러 곳으로 옮기는 일에는 시간이 든다. 연구진은 컴퓨터 안에서 방의 모양과 가구 배치가 달라지는 주택 1000곳을 만들었다. 로봇의 관점에서 보이는 영상, 수행할 일을 설명하는 말, 그 일에 필요한 몸의 움직임을 서로 연결해 만든 자료가 훈련에 쓰였다.
예를 들어 의자에 앉는 동작은 의자가 어디에 있는지 찾는 일로 시작한다. 의자에 접근한 뒤에는 등받이와 앉는 면의 위치를 살피고, 방향을 돌려 몸을 내려야 한다. 방의 넓이와 의자의 높이가 달라지면 발을 놓을 자리가 달라질 수 있다. 연구에서 영상과 행동이 짝을 이룬다는 말은 움직이는 모양만 외우는 대신 화면 속 배치에 맞춰 움직임을 바꾸는 법을 학습할 자료를 제공한다는 뜻이다. 실제 환경에서 안전하게 앉을 수 있는 의자의 범위를 전부 확인했다는 의미는 아니다.

가상 주택은 로봇에게 같은 행동을 여러 상황에서 보여 줄 수 있다는 장점이 있다. 한 장면에서 의자가 창문 가까이 있으면 다른 장면에서는 벽 옆에 놓일 수 있다. 움직임을 가구가 가로막지 않는 위치에서 시작하게 하거나, 같은 유형의 동작이 다른 공간에서도 등장하도록 자료를 구성할 수 있다. 다만 실제 가구는 미끄러지거나 흔들릴 수 있고, 조명과 반사에 따라 카메라에 보이는 모습이 달라진다. 이 때문에 가상에서 시험한 결과와 실제 공간에서 시험한 결과는 따로 봐야 한다.
연구진은 동작을 생성하는 부분과 그것을 몸으로 실행하는 부분을 나눴다. 앞의 부분은 영상과 지시에 맞는 움직임을 만들어 내고, 뒤의 부분은 주어진 동작을 실제 로봇이 따라 하도록 조절한다. 카메라에 의자가 보인다고 해서 로봇이 바로 앉을 수 있는 것은 아니다. 몸의 균형을 유지하고 관절을 움직이는 과정도 필요하다. 반대로 미리 정해 놓은 동작을 잘 따라 하더라도 의자가 처음 예상한 곳에 없다면 그 동작을 그대로 쓰기 어렵다.
프로젝트는 실제로 처음 보는 실내 공간에서 로봇을 시험한 사례를 제시한다. 연구진이 공개한 화면에는 가구에 다가가고, 의자에 앉고, 좁은 곳을 지나거나 물체를 밀어 움직이는 모습이 나온다. 이런 동작은 카메라가 보고 있는 실내 배치와 몸의 움직임을 연결하는 데 어떤 문제가 생기는지 연구할 수 있게 한다. 여러 작업을 골라 시연한 결과는 해당 조건에서 움직임이 가능했음을 보여 준다. 모든 집에서 누구의 말이든 알아듣고 가사 일을 처리한다는 증거는 아니다.
이번 자료는 가상 훈련에 쓰인 집의 수를 공개했지만, 숫자가 많다고 실제 주택의 모든 형태를 포함하는 것은 아니다. 사람이 지나가는 통로, 반려동물이 몰려오는 상황, 예상과 달리 움직이는 가구가 있는 공간은 각각 다른 시험이 필요하다. 실제 환경에서 비교할 때는 방의 수와 구조, 선택한 과제, 한 번의 시도를 성공으로 판단한 기준도 함께 살펴야 한다. 예를 들어 로봇이 의자 앞까지 갔는지와 같은 의자에 균형을 잃지 않고 앉았는지는 서로 다른 결과다.
연구진은 실험 동영상과 함께 연구 자료를 공개했다. 이를 통해 독자는 실제 로봇이 움직이는 장면과 가상 자료를 만드는 방식을 각각 살펴볼 수 있다. 가상 공간을 활용하면 반복 실험을 준비하기 쉬워질 수 있지만, 연구진이 사용한 가상 장면이나 계산 장비를 다른 연구자가 그대로 갖출 수 있는지는 별도의 문제다. 연구의 재현에 필요한 환경과 제품을 일상에서 운용하는 비용은 이 결과를 바탕으로 따로 확인해야 한다.
이번 연구가 보여 준 것은 컴퓨터에서 서로 다른 방을 만들고, 그 안에서 모은 자료로 사람 형태 로봇의 일부 움직임을 훈련한 뒤 실제 공간에서 시험할 수 있다는 점이다. 가상 자료가 실제 환경에서 얼마나 도움이 됐는지 판단하려면 방의 유형을 바꾸었을 때 결과가 얼마나 달라지는지도 살펴야 한다. 후속 연구에서는 처음 보는 가구나 주변에서 움직이는 사람이 있는 환경에서도 지시를 안전하고 일관되게 수행하는지, 다양한 로봇 기종에서도 학습한 방식을 적용할 수 있는지가 과제로 남는다.
[참고자료]
애플 연구진은 2026년 11월 4일 공개한 사전논문에서 가상 주택 1000곳에서 영상·언어·동작 자료를 만들어 휴머노이드 시스템을 훈련하고 시험한 방법을 설명했다.
애플 연구진은 헤일로 프로젝트 페이지에서 가상 훈련 자료 구성과 유니트리 G1의 실내 시험 영상을 공개했다.
[苹果研究人员用模拟住宅训练宇树人形机器人]
苹果研究人员11月4日公布预印本,介绍用一千套模拟住宅生成视觉、语言和动作数据,并在宇树G1人形机器人上测试。机器人根据摄像头画面和语言指令,在陌生的实际房间执行走向物体、坐下等任务。项目区分动作生成与跟踪控制。测试说明部分模拟训练结果可用于真实环境,应用范围仍需进一步验证。
[어휘풀이]
预印本 / yùyìnběn / 사전논문
模拟住宅 / mónǐ zhùzhái / 가상 주택
动作数据 / dòngzuò shùjù / 동작 자료
人形机器人 / rénxíng jīqìrén / 사람 형태 로봇
摄像头 / shèxiàngtóu / 카메라
指令 / zhǐlìng / 지시
陌生 / mòshēng / 낯설다
跟踪控制 / gēnzōng kòngzhì / 목표 동작을 따라가는 제어
真实环境 / zhēnshí huánjìng / 실제 환경
验证 / yànzhèng / 검증하다
애플헤일로,유니트리G1,가상훈련,박용호,시노인사이트,sinoinsight,苹果,宇树G1,人形机器人





