센서 입력에서
다중 로봇 시스템까지.

센서융합은 데이터를 결합하기에 앞서 각 센서의 측정 원리와 시간 기준, 좌표계, 장착 위치를 명확히 정의하는 것에서 시작합니다. 카메라·LiDAR·IMU 등 센서별 관측 범위와 측정 특성, 오차 요인을 파악하고, 시스템 내에서 각 센서가 제공하는 정보와 역할을 구분합니다.

ROS·ROS 2의 좌표 변환 체계와 데이터 흐름을 일관되게 구성하여 센서 간 공간적 관계와 데이터 기준을 명확히 합니다. 이를 바탕으로 이후 캘리브레이션과 센서융합 결과를 동일한 조건에서 재현하고 검증할 수 있는 기반을 마련합니다.

서로 다른 측정 주기와 전송 지연을 갖는 센서 데이터를 동일 시점의 관측으로 활용할 수 있도록 시간 기준과 타임스탬프를 정렬합니다. 센서 구성과 인터페이스에 따라 하드웨어 동기화와 소프트웨어 기반 시간 보정 방식을 구분하여 적용합니다.

로봇이 이동하는 환경에서는 작은 시간 오차도 객체 위치와 지형 정합의 오차로 이어질 수 있습니다. 실시간 데이터와 기록 데이터를 활용해 동기화 전후의 시간 오차와 데이터 정합성을 확인하고, 매핑·측위·환경 인식에 필요한 일관된 시간 기준을 확보합니다.

카메라의 내부 파라미터와 센서 간 상대 위치·자세를 추정하여 서로 다른 센서의 관측 데이터를 공통 좌표계에서 활용할 수 있도록 정렬합니다. 장착 구조와 센서 조합에 맞는 캘리브레이션 절차와 기준 데이터를 구성하여 정확한 좌표 변환 관계를 산출합니다.

LiDAR 포인트를 영상에 투영하거나 컬러 포인트 클라우드를 생성하여 센서 간 공간 정합 상태를 시각적으로 확인합니다. 또한 실제 장착 상태에서 반복 측정한 결과를 비교하여 변환 파라미터의 정확도와 일관성을 검증합니다.

IMU와 위치·자세 추정 정보를 활용하여 센서 간 관측 시점의 차이와 로봇 이동으로 발생하는 데이터 왜곡을 보정합니다. 빠르게 움직이는 플랫폼에서도 서로 다른 센서 데이터가 동일 시점의 환경 상태를 나타내도록 시공간적으로 정렬합니다.

거리·영상·관성 정보의 상호 보완적인 특성을 결합하고 각 센서의 관측 특성과 불확실성을 고려하여, 매핑·측위·환경 인식 모듈이 안정적으로 활용할 수 있는 융합 데이터를 생성합니다.