섹션별 상세
비전 가이드 시스템은 카메라를 눈으로, CV 모델을 뇌로 사용하여 로봇 암의 물리적 실행을 유도하는 구조를 가진다. 시스템은 장면 캡처, 객체 검출, 좌표 변환, 역기구학 계산, 물리적 이동의 5단계 파이프라인을 거쳐 작동한다. 모델의 검출 결과가 이후의 모든 결정론적 제어 단계를 결정하므로 모델의 정확도가 시스템 성능의 핵심이다. 시뮬레이션 환경을 통해 이러한 복잡한 과정을 안전하고 빠르게 프로토타이핑할 수 있다.
합성 데이터 생성 시 뷰포트 일관성을 유지하는 것이 실제 배포 환경으로의 전이에 가장 중요하다. PyBullet 시뮬레이션 내에서 학습용 카메라와 추론용 카메라의 위치, 각도, 시야각(FOV)을 동일하게 설정하여 모델이 실제 작업 시 보게 될 시점과 일치시킨다. 100장의 이미지를 생성할 때 물체의 위치와 종류를 무작위로 배치하여 모델의 일반화 성능을 높인다. 이를 통해 별도의 수동 레이블링 없이도 정확한 학습 데이터를 확보할 수 있다.
python
cam_view = p.computeViewMatrix(
cameraEyePosition =[0.50, 0.00, 1.20],
cameraTargetPosition=[0.50, 0.00, 0.00],
cameraUpVector=[0, 1, 0])
cam_proj = p.computeProjectionMatrixFOV(
fov=55, aspect=CAM_W/CAM_H, nearVal=0.01, farVal=5.0)PyBullet 시뮬레이션 내에서 합성 데이터 생성을 위한 가상 카메라의 뷰 및 투영 행렬을 설정하는 코드
python
def capture_and_label(index, obj_info):
_, _, rgb, _, seg = p.getCameraImage(CAM_W, CAM_H, viewMatrix=cam_view, projectionMatrix=cam_proj, renderer=p.ER_TINY_RENDERER)
img = cv2.cvtColor(np.array(rgb, dtype=np.uint8).reshape(CAM_H, CAM_W, 4), cv2.COLOR_RGBA2BGR)
seg = np.array(seg).reshape(CAM_H, CAM_W)
cv2.imwrite(os.path.join(IMG_DIR, f"image_{index:04d}.jpg"), img)시뮬레이션 환경에서 이미지를 캡처하고 세그멘테이션 마스크를 기반으로 레이블을 생성하는 함수
Eye-to-Hand 구성은 카메라를 작업 공간 상단에 고정하여 로봇의 움직임과 상관없이 안정적인 시야를 제공한다. 고정된 시야 덕분에 픽셀 좌표를 월드 좌표로 변환하는 계산이 단순하며 컨베이어 벨트와 같은 환경에 적합하다. 시뮬레이션에서는 레이 캐스팅 기법을 사용하여 2D 검출 지점의 정확한 3D 좌표를 추출한다. 이 방식은 시스템 구성이 단순하고 구현이 용이하다는 장점이 있다.
근거
- Eye-to-Hand 시스템은 고정된 오버헤드 카메라를 사용하여 객체를 검출하고 3D 좌표로 변환한다. — 이미지 10: Eye-to-Hand 파이프라인 다이어그램 출처
Eye-in-Hand 구성은 카메라를 로봇 손목에 장착하여 로봇의 이동에 따라 시야가 동적으로 변하는 방식이다. 로봇이 물체에 가까이 접근하여 정밀하게 검사할 수 있으며 장애물에 의한 가려짐 문제를 해결하는 데 유리하다. 스캔 포즈에서 획득한 뷰 행렬의 역행렬을 사용하여 픽셀을 3D 공간의 광선으로 변환하는 복잡한 좌표 계산이 필요하다. 이는 로봇이 더 유연하게 다양한 각도에서 물체를 조작할 수 있게 해준다.
Roboflow RF-DETR 모델은 실시간 객체 검출에 최적화되어 있으며 적은 데이터로도 빠른 수렴 성능을 보인다. 범용 모델을 베이스라인으로 사용하여 파이프라인을 검증한 후 특정 카메라 각도에 맞게 파인튜닝하여 정확도를 극대화한다. 시뮬레이션 데이터로 학습된 모델은 mAP@50 기준 100%에 가까운 성능을 기록하며 정밀한 픽 앤 플레이스를 가능케 한다. 모델 개선이 곧 로봇의 정확도 향상으로 직결되는 구조를 가진다.
python
def pixel_to_world(px, py):
x_min, x_max = 0.34, 0.66
y_min, y_max = -0.24, 0.24
nx = px / CAM_W
ny = py / CAM_H
wx = x_min + nx * (x_max - x_min)
wy = y_max - ny * (y_max - y_min)
return wx, wy검출된 픽셀 좌표를 고정된 카메라 시야 범위에 기반하여 실제 3D 월드 좌표(XY)로 변환하는 로직
근거
- 시뮬레이션 데이터로 학습된 RF-DETR 모델은 테스트 세트에서 mAP@50 100%를 달성했다. — 이미지 8: 모델 성능 지표 테이블 (mAP@50 100%, Precision 100%, Recall 100%) 출처
용어 해설
- 역기구학(Inverse Kinematics)
- — 로봇 공학에서 말단 장치(End-effector)의 목표 위치와 방향이 주어졌을 때, 이를 달성하기 위해 필요한 각 관절의 각도를 계산하는 수학적 과정이다. 로봇이 특정 물체를 집기 위해 팔을 어떻게 굽혀야 하는지 결정하는 핵심 알고리즘이다.
- 합성 데이터셋(Synthetic Dataset)
- — 실제 환경이 아닌 시뮬레이션이나 컴퓨터 그래픽을 통해 생성된 학습용 데이터이다. 데이터 수집 비용을 낮추고 다양한 시나리오를 안전하게 생성할 수 있으며, 본 아티클에서는 PyBullet 환경을 통해 자동으로 생성된다.
- 아이 투 핸드(Eye-to-Hand)
- — 카메라가 로봇 팔 외부의 고정된 위치에 설치되어 작업 공간 전체를 조망하는 구성 방식이다. 로봇의 움직임과 무관하게 안정적인 시야를 확보할 수 있어 컨베이어 벨트나 고정된 작업대 환경에 유리하다.
- 아이 인 핸드(Eye-in-Hand)
- — 카메라가 로봇의 손목이나 말단 장치에 직접 장착되어 로봇과 함께 이동하는 구성 방식이다. 물체를 가까이서 정밀하게 검사하거나 로봇의 이동에 따라 시야를 동적으로 변경해야 하는 복잡한 작업에 적합하다.
- 레이 캐스팅(Ray Casting)
- — 2D 이미지의 픽셀 좌표에서 3D 공간으로 가상의 광선을 쏘아 물체와의 충돌 지점을 찾는 기법이다. 컴퓨터 비전 모델이 찾은 2D 위치를 로봇이 물리적으로 이동할 수 있는 3D 좌표로 변환하는 데 사용된다.
기술
- Roboflow RF-DETR
- PyBullet
- Python
- OpenCV
- KUKA IIWA
활용 사례
- 산업용 부품 분류 시스템
- 농산물 자동 선별 로봇
- 폐기물 재활용 분류 컨베이어
- 의료용 수술 도구 자동 전달 시스템
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 05.수집 2026. 05. 05.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
