로봇 핵심 기술과
시스템 통합 역량

복합 임무를 계획하고 수행하는 데 필요한 주변 환경과 객체 정보, 로봇 상태, 사용 가능한 기능과 작업 진행 상황을 통합합니다. 센서와 로봇 시스템에서 얻은 정보를 임무 계획·추론 모듈이 상황을 파악하고 판단에 활용할 수 있는 형태로 정리합니다.

현재 요청과 작업 단계에 필요한 정보를 선별하고, 새로운 관측과 실행 결과에 따라 지속적으로 갱신합니다. 이를 통해 임무 계획과 추론이 실제 환경과 로봇의 최신 상태를 반영하도록 합니다.

사용자의 자연어 요청을 해석하여 수행할 작업과 대상, 위치, 수행 조건을 파악하고 임무 목표를 구체화합니다. 표현이 달라도 같은 의도를 일관되게 해석하고, 요청에 담긴 요구사항과 제약을 임무 계획에 반영합니다.

요청의 의미가 모호하거나 실행에 필요한 정보가 부족하면 실행을 보류하고 추가로 확인할 내용을 정리합니다. 사용자에게 구체적인 질문이나 선택지를 제시해 의도와 수행 조건을 명확히 확인하고, 해석 오류로 인한 잘못된 동작을 줄입니다.

인식·이동·조작 등 여러 기능이 필요한 임무를 실행 가능한 작업 단계로 나누고, 각 단계의 선행 조건과 작업 간 의존 관계를 고려해 수행 순서를 계획합니다. 단계별로 사용할 로봇 기능과 전달할 목표·입력 값, 실행 조건과 완료 기준을 구체화합니다.

실행 중에는 관측 결과와 로봇 상태, 앞선 작업의 결과를 바탕으로 다음에 수행할 작업과 호출할 기능을 결정합니다. 실제 상황이 예상과 다르거나 작업 결과가 계획한 조건을 충족하지 못하면 남은 작업의 순서와 수행 조건을 조정하여 변화한 상황에 맞게 임무를 이어갈 수 있도록 합니다.

LLM이 수립한 임무 계획에 따라 각 작업에 필요한 도구와 로봇 기능을 호출하고, 수행 목표와 입력 값을 전달합니다. 기능별로 호출 권한과 실행 조건을 정의하여 허용된 범위와 조건 안에서 작업이 실행되도록 관리합니다.

이동·조작 기능은 전달받은 목표를 바탕으로 경로·동작 계획과 실시간 제어를 수행하고, 실행 상태와 결과를 반환합니다. LLM의 도구 호출(Tool Calling)과 ROS 2 기반 로봇 기능 사이에 명확한 인터페이스를 구성하여 임무를 판단하는 단계와 실제 로봇 동작을 실행하는 단계의 역할을 구분합니다.

계획된 작업 단계에 따라 도구 호출과 로봇 동작의 실행 상태를 확인하고, 각 단계의 시작부터 완료까지 전체 임무의 진행 상황을 관리합니다. 도구의 응답과 센서 관측, 로봇 상태를 함께 검토하여 작업의 완료 조건이 충족되었는지 확인한 뒤 다음 단계로 전환합니다.

응답 시간 초과나 중복 응답, 계획과 실제 상태의 불일치가 발생하면 다음 단계로의 전환을 보류하고 마지막으로 확인된 상태와 실행 이력을 보존합니다. 이 정보를 바탕으로 동일한 동작이 중복 실행되지 않도록 관리하고, 임무 계획·추론 모듈이 실제 진행 상황에 맞춰 남은 작업의 순서와 수행 조건을 조정하도록 합니다.