MicrosoftがRobotics向けのChatGPTを公開したので解説

Updated: Mar 24, 2023

ChatGPT for Roboticsとは

2023/2/20にMicrosoftが発表したロボット制御向けにカスタマイズしたChatGPTになります。

ロボットアーム、ドローン、ロボット掃除機など、複数のロボットをChatGPTのように自然言語から制御可能なプラットフォームです。

今回はChatGPT for Roboticsがなにを目指していて現在何ができているのか詳しく解説していきます。

ロボットを現場で動かそうと思ったらRobotics Engineerが開発のサイクルに入って実装、アルゴリズム改善、パラメータ調整をする必要があります。

このサイクルだとロボットの導入が十分に進まないことをMicrosoftは指摘しており、ユーザがPromptを駆使して現場にロボットをデプロイできる未来を目指しているとのことです。

実現できたら現場へロボットを導入するために必要な専門知識を大幅に削減できるので、導入が加速しそうですね。

具体例
- ロボットアーム積み込む部品をAからBに変更したい
現在
- Robotics Engineerがシステムを変更し、ピックする部品をBに設定しなおす
ゴール
- ユーザがPromptで「ピックする部品をAからBに変更してください」と指示する

まず、高レベルのロボット API または関数ライブラリのセットを定義します。このライブラリは、特定のロボットに固有のものにすることができ、ロボットの制御スタックまたは知覚ライブラリから既存の低レベルの実装にマップする必要があります。 ChatGPT がその動作について推論できるように、高レベル API にわかりやすい名前を使用することが非常に重要です。
次に、ChatGPT のテキストプロンプトを作成します。これは、タスクの目標を説明すると同時に、高レベルライブラリのどの機能が利用可能かを明示的に示します。プロンプトには、タスクの制約に関する情報も含めることができます。
ユーザーは、ロボットで直接検査するか、シミュレーターを使用して、ChatGPT のコード出力を評価するためにループを回します。必要に応じて、ユーザーは自然言語を使用して、回答の品質と安全性について ChatGPT にフィードバックを返します。
ユーザーがソリューションに満足したら、最終的なコードをロボットにデプロイですることでロボットへのタスクアサインが完了します。

ここで、Roboticsの専門知識が必要になるのは手順1のみです。

手順2ではどの関数が何の機能を持っているのかPromptするだけですので、ドキュメントがあればコピペで済みます。タスクの設定は必要ですがこれはRoboticsEngineerより現場のユーザーのほうが正しく設定できると思います。

事前設定し終えたらあとは手順3で自然言語にてトライ＆エラーを繰り返し、問題なければ手順４でデプロイします。

パレット内にあるブロックを移動させ、Microsoftのロゴを作らせるデモです。

重要なのは指示をPromptで受け取り、

を自分で判断していることです。灰色のブロックを使っていないことからちゃんと認識できていることが分かります。

棚の幅や高さと走査パターンを指定してドローンに棚の物を確認させています。

家の中で使うことはないと思いますが物流倉庫や工場などでは複数のタスクをお願いしたいケースがあると思うので、工場ごとのカスタマイズなどはかなり楽になりそうですね。

人が検査できないタービンをドローンによって自動検査する動画です。ここまでくると複雑なインタラクションが必要みたいですね。AirSimに興味がある方はこちらの公式ドキュメントを参照ください。

人が検査すると時間がかかる作業をドローンで自動検査する動画です。

動画では飛行しているだけですが、将来的には、不審者がいたら通知する、異常があれば通知する、などニーズに合わせたカスタマイズをユーザーができるようになると思います。

指定された目標地点まで飛行する際に、障害物にあたりそうになったら方向転換し目的地点まで到達しています。実装めんどくさそうですがChatGPTが自動で生成してくれるならありがたいですね。

今回はChatGPT for Roboticsがなにを目指していて現在何ができているのか詳しく解説しました。生産性改善のためにロボットを導入したい方が多いと思いますが、タスクが多岐に渡り様々なタスクを簡単に割り当てられなかった問題を解決してくれる未来が見えますね。

Microsoftの勢いは止まらなさそうなので、引き続き動向を追っていきたいと思います。