센서 입력에서
다중 로봇 시스템까지.

로봇이 복합 임무를 수행하려면 현재 환경과 객체 상태, 로봇 상태, 사용 가능한 기능과 작업 진행 상황을 하나의 실행 컨텍스트로 통합해야 합니다. 센서와 로봇 시스템에서 생성되는 정보를 상위 계획·추론 모듈이 활용할 수 있는 구조로 정리합니다.

모든 정보를 한꺼번에 전달하기보다 현재 요청과 작업 단계에 필요한 정보를 선별하고 지속적으로 갱신하여, 계획과 추론이 실제 환경과 로봇의 최신 상태를 반영할 수 있도록 구성합니다.

사용자의 자연어 요청에서 목표와 대상, 위치, 수행 조건을 추출하여 로봇이 실행할 수 있는 구체적인 작업 단위로 변환합니다. 표현 방식이 달라지더라도 동일한 의도를 일관된 임무 목표와 실행 조건으로 해석할 수 있도록 구성합니다.

요청이 모호하거나 실행에 필요한 정보가 부족한 경우에는 즉시 동작을 수행하지 않고 실행을 보류합니다. 확인이 필요한 조건을 명확히 구분하고 사용자에게 필요한 정보나 선택지를 제시하여 잘못된 해석과 실행 가능성을 줄입니다.

하나의 요청에 환경 인식·이동·로봇 작업 등 여러 기능이 필요한 경우, 각 기능의 선행 조건과 의존 관계, 실행 순서를 분석하여 복합 임무를 단계별로 분해하고 계획합니다. 각 단계에 필요한 입력과 실행 조건, 완료 기준을 명확히 정의합니다.

실행 중 관측 결과와 로봇의 현재 상태를 바탕으로 다음 행동을 추론·선택하고, 예상과 실제 상태가 달라지면 남은 작업의 순서와 조건을 재구성합니다. 중간 실행 결과를 지속적으로 반영하여 상황 변화에 맞게 복합 임무를 이어갈 수 있도록 합니다.

LLM이 로봇이나 외부 시스템을 직접 제어하도록 하지 않고, 사용 가능한 도구와 로봇 기능의 범위, 입력 파라미터와 실행 조건을 명확히 정의합니다. 기능별 권한과 실행 범위를 관리하여 허용된 조건 안에서만 동작하도록 구성합니다.

Tool Calling과 ROS 2 기반 로봇 기능을 분리된 인터페이스로 연결하여, 상위 계획·추론 모듈이 환경 인식·이동·작업 기능을 조합해 사용할 수 있도록 합니다. 또한 기능별 호출 조건과 실행 범위를 관리하여 고수준 판단과 실제 로봇 동작 사이의 안전한 실행 경계를 유지합니다.

계획된 작업 단계와 실제 도구 호출·로봇 동작을 연결하고, 각 단계의 시작·진행·완료 상태를 전체 임무 진행 상황에 반영합니다. 명령이 반환되었다는 이유만으로 완료로 처리하지 않고, 센서 관측과 로봇 상태가 완료 조건을 충족했는지 확인한 뒤 다음 단계로 전환합니다.

타임아웃, 중복 응답이나 계획과 실제 상태의 불일치가 발생하면 단계 전환을 보류하고 마지막으로 확인된 상태와 실행 이력을 유지합니다. 이를 통해 동일한 동작의 중복 실행을 방지하고, 계획·추론 모듈이 확인된 현재 상태를 기준으로 이후 행동을 다시 결정할 수 있도록 합니다.