센서 입력에서
다중 로봇 시스템까지.

환경 인식은 포인트 클라우드와 영상을 그대로 사용하는 것이 아니라, 센서 특성과 운용 조건에 맞게 입력 데이터를 전처리하는 단계에서 시작합니다. 노이즈와 불필요한 영역을 제거하고, 센서 간 시간 기준과 좌표계를 정렬하여 일관된 인식 입력을 구성합니다.

LiDAR의 3차원 기하 정보와 RGB·열화상 카메라의 영상 정보를 인식 목적에 맞게 선택·가공하고, 인식 알고리즘에 필요한 공간 구조와 유효한 특징이 유지되도록 전처리 파이프라인을 구성합니다.

포인트 클라우드와 영상에서 공간의 주요 구조와 작업 대상 객체를 구분하고 검출·분류합니다. 환경의 구조와 요구되는 출력 정보에 따라 기하 기반 처리와 학습 기반 인식 방법을 조합하여 적용합니다.

LiDAR·PCL 기반의 3차원 공간 분석과 카메라·OpenCV 기반의 영상 처리를 활용하여, 로봇이 주변 환경을 판단하는 데 필요한 공간 구조와 객체 정보를 추출합니다.

연속된 관측을 시간적으로 연관하여 객체의 위치와 이동 방향, 속도와 상태 변화를 지속적으로 추정합니다. 단일 프레임의 검출 결과를 시간에 따라 연결하여 객체의 움직임과 변화가 반영된 연속적인 환경 정보로 확장합니다.

가림이나 포인트 밀도 저하 등으로 관측이 일시적으로 불안정해지는 상황에서도 관측 간 대응 관계와 객체의 운동 상태를 추정하여 식별과 궤적의 연속성을 유지합니다.

로봇 조작과 정밀 계측에 필요한 대상 객체의 3차원 위치와 자세를 추정합니다. 영상과 3차원 센싱 데이터를 결합하여 객체의 위치와 회전 상태를 6D 자세로 표현하고, 작업 공간 내 객체의 공간적 상태를 정밀하게 파악합니다.

추정된 위치와 자세를 로봇 기준 좌표계로 변환하여 접근 위치, 파지 자세와 작업 목표 설정에 활용할 수 있도록 합니다. 센서 좌표계에서 얻은 인식 결과를 실제 로봇 동작으로 연결할 수 있는 공간 정보로 구성합니다.

공간 구조와 객체 검출·추적, 6D 자세 추정 결과를 환경 지도, 장애물, 목표 객체의 위치·자세와 상태를 포함한 환경 정보로 통합합니다. 서로 다른 인식 결과의 좌표계와 생성 시각을 맞춰 현재 환경 상태를 일관된 기준으로 표현합니다.

새로운 관측에 따라 환경 정보를 지속적으로 갱신하고, 정보의 유효 시간과 신뢰도를 함께 관리합니다. 오래되거나 신뢰도가 낮은 정보는 구분하여 전달함으로써 계획·제어 모듈이 현재 활용할 수 있는 인식 결과를 기준으로 로봇 동작을 결정하도록 합니다.