Isaac Labでロボットアーム制御を試す

はじめに

近年、「フィジカルAI」という言葉が注目を集めており、AIが現実の物理世界を認識して自律的に動作する時代が近づいています。
しかし、物理世界を扱うAIの開発は、ハードウェアのコストや設置場所、安全性の面からハードルが高いのが現実です。
今回は、高価な実機を使用せず、NVIDIAが提供するシミュレーション基盤とGoogleのGemini APIを連携させ、自然言語でのロボットアーム制御(Code-as-Policies)を行いました。

Isaac Labとは

NVIDIAが提供するオープンソースのロボティクスシミュレーション基盤です。
PC内に現実そっくりの物理空間を再現でき、物理法則に従うロボットアームを安全に検証することが可能です。

Code-as-Policiesとは

ロボットの各関節の角度を「直接」計算させるのではなく、LLMにロボットの制御コードを書かせ、それを実行することで「間接的に」計算する手法です。
一見どちらも同じように思えるかもしれませんが、ここには明確な役割分担があります。LLMは3次元空間の複雑な座標計算を直接解くのは苦手ですが、自然言語から「どう動くべきか」という論理的な手順を組み立てるのは非常に得意です。
そのため、「障害物を避けて目的の場所へ移動する」といった状況判断や手順(コード)の作成はLLMに任せ、実際の複雑な角度計算は裏側のAPIが行う仕組みにしています。
LLMの得意分野を最大限に活かす手法をとることで、誤動作を防ぎ、精度の高いロボット制御を実現しています。

動作環境

本コラムでの検証は、以下の環境で構築しています。

  • ホストOS: Ubuntu (GPU: NVIDIA RTX 3090 / 24GB VRAM)
  • コンテナ環境: Docker (Ubuntu 22.04 ベース)
  • シミュレータ: Isaac Lab v3.0+ (Omniverse / PhysX 物理エンジン)
  • ロボットモデル: Franka Emika Panda (7軸アーム + 2軸グリッパー)
  • LLM API: Google Gemini API (gemini-2.5-flash)

ロボット制御を試す

単に「LLMにコードを書かせる」だけでは、ロボットは指示通りに動きません。
物理環境で安定動作させるための橋渡しとして、以下のアプローチを行いました。

① リアルタイムの環境コンテキストを LLM に提供
LLMに「赤いキューブを動かして」とだけ伝えても、キューブがどこにあるか分からなければ正確なコードは書けません。
そこで実行時に、シミュレータから取得した各オブジェクト(赤・青キューブ等)の現在位置座標やアームの現在位置を環境コンテキストとして動的に生成し、自然言語の指示と一緒にGeminiへ渡しています。

環境コンテキストの例

red_cube position: [0.5, 0.1, 0.02] # オブジェクト1の位置
blue_cube position: [0.5, -0.1, 0.02] # オブジェクト2の位置
current flange position: [0.399, 0.0, 0.534] # 現在のアーム位置

② 幾何学計算を行う独自制御モジュールの実装
ロボット制御で最も厄介なのが座標系の計算です。
例えば、今回使用したロボットアーム(Franka Emika Panda)では、手首から実際に物を掴む指先まで10.34cm離れています。
これを考慮せずにLLMへ指令を出させると、「指先で掴むはずが手首ごと衝突する」という事故が起きてしまいます。
そこで今回は、このようなロボット固有の座標のズレや逆運動学制御などを自動で補正する独自の制御モジュールをPythonで実装しました。
複雑な幾何計算処理はこのモジュールに任せ、LLMに与えるタスクをシンプルにすることで、ハルシネーションを最小限に抑える工夫をしています。

システムの全体構成
システムの全体構成

③ 段階的なタスク検証

いきなり複雑なタスクを実行させるのではなく、基礎的な動作確認から複雑な回避タスクまで、段階的に難易度を上げ検証を行いました。

  1. 基礎制御: 指定座標への単一移動・相対移動
  2. 物品移動タスク: 1つの赤いキューブを認識して運ぶ
  3. 積み上げタスク: 赤と青のキューブを分別して指定場所に置く仕分けタスク
  4. 障害物退避・設置タスク: 障害物を避けて目的地へ運ぶ回避タスク

【シミュレーション映像】

物品移動タスク
▲ 物品移動タスクの様子
積み上げタスク
▲ 積み上げタスクの様子
障害物退避・設置タスク
▲ 障害物退避・設置タスクの様子

物理シミュレータ特有の課題と解決策

コードが論理的に正しくても、相手が物理エンジン(PhysX)であるため、特有の課題が発生しました。

  • アームの停止精度のばらつき
    目標位置の手前で止まったり、オーバーシュートする現象に対し、関節トルクとダンピングの制御パラメータの微調整を行いました。
  • 剛体同士の衝突と反発
    テーブルに少し掠っただけでも、剛体同士のめり込みにより大きな反発力が生じるため、接触を防止する安全高度の設定が不可欠でした。
  • 手先軌跡の膨らみ
    目標点の間隔が広い場合や特異点に近づくと、手先が大きな弧を描く課題がありました。
    IKの制御ステップを細かく分割し、1ステップあたりの移動量を制限することで直進性を確保しました。

おわりに

LLMがどれだけ論理的なコードを出力しても、物理世界には重力や摩擦、剛体の干渉といった固有の制約が存在します。
そのギャップを適切なAPI設計や制御ロジックで埋めていくプロセスこそが、フィジカルAI開発の醍醐味だと感じました。
Isaac Lab のような高度なシミュレータを活用すれば、PC1台で手軽にロボット制御の実験を始めることができます。
自然言語で物理空間のロボットを動かす新しいAI制御の可能性を、皆さんもぜひ試してみてください。