オートノミー・アット・スケールマルチポリシー意思決定（MPDM）v. 自律走行における早期コミットメント

早期コミットメント決定への深堀り

以下の図1のようなシナリオを考えてみましょう。自車両（緑色）は、2台の車両（青色）と歩行者（水色の円）がいる交差点に差し掛かっています。

アーリーコミットメントシステムでは、エンジニアは感知した状況に応じて対応方法を選択するアルゴリズムを作成します。実際のシステムにはもっとたくさんあるのでしょうが、次のような例があります：

1. 最も近い前方の物体を選択して追従する（例：エゴの前にいる車）
2. ルート付近で最もリスクが高いものを選択する（例えば、歩行者が道路に対してどの位置に立っているかによって、歩行者が選択されるかもしれない）。

エンジニアがこれらの判断を直接プログラミングするのではなく、システムに多くのシナリオを提示し（シミュレーションなど）、結果が安全（「良い」）か危険（「悪い」）かによって報酬やペナルティを与えるのです。

この方法の問題点は、このシナリオには様々な展開があり得るということです。図2（下）には、比較的穏やかなケースからトリッキーな停止シナリオまで、5つの可能性を示していますが、これらは決して網羅的なものではありません。

プログラマーが、ある状況に遭遇する前にシステムが何をすべきかを決定した場合、その決定が誤り、悪い結果につながる可能性があります。例えば、システムが先頭車両を追跡しているときにシナリオ5が発生したとしたらどうでしょう。あるいは、車両が歩行者に反応しているときにシナリオ2が発生したらどうでしょう？エンジニアが考えもしなかったようなシナリオが発生したら？現実の世界で起こりうることの組み合わせは多岐にわたるため、この最後の事態は実際に起こりうることです。

図2：図1のシナリオは、この5つを含め、さまざまな形で展開される可能性がある。すべてのシナリオを想定したロジックを書くことは困難です。また、どのような事態が起こるかを予測し、正しい行動を選択することも難しい。

そこで、エンジニアがよく使うのが、「予測」によって、選択されたアクションが状況に最も適合する確率を高める方法です。このシステムでは、各物体の位置や過去の動きから行動を選択するのではなく、将来的に物体がどこにあるのかを計算し、行動を選択する。

例えば、シナリオの展開を予測するニューラルネットワークを使用して、シーン内のすべてのオブジェクトの位置と速度を処理することができます。この例では、ネットワークのトレーニング中に観察された事例に基づいて、図2のシナリオ1が最も可能性が高いことをシステムが発見するかもしれません。

一般的に、このタイプのアプローチはより良い結果をもたらしますが、それでも基本的には早期コミットメントアプローチです。選択された行動は、現在観察されている状態ではなく、予測に基づいていますが、この行動はまだエンジニアや機械学習アルゴリズムによって事前に決定されたものです。

例えば、予測システムは、歩行者が横断歩道に入るのを待つのではなく、将来的に歩行者が横断歩道に入ると予測した場合、歩行者のために停止する。しかし、停止動作はまだハードコーディングされており、異なるエンティティ間の複雑な相互作用（例えば、図2のシナリオ4はこれらのシステムにとって特に難しい）に遭遇したり、過去のトレーニングやテストデータでシナリオが観察されていないために、システムは間違いを犯しやすい。

これらの問題を解決するために、自律走行チームはエンジニアリングチームを拡大し、データニーズを指数関数的に増大させる必要があります。十分なデータを収集すれば、最終的にはシステムがあらゆる状況を把握し、そのすべてに正しく対応できるようになると考えられています。実際には、可能な行動の組み合わせの空間は広大で、道幅、植生の位置、駐車場の位置、横断歩道の位置など、小さな環境の変化でさえ、正しく処理するためにはかなりのエンジニアリング努力とデータ処理が必要です。基本的に、早期コミットメントに基づくシステムはうまくスケールしません。また、構築と維持にリソースを要する。

図3：自律走行システムの中には、機械学習を使って何が起こるかを予測するものがあります。これはパフォーマンスを大幅に向上させますが、システムが間違っている場合、悪い行動や危険な行動を引き起こす可能性があります。

MPDMは不確実性を克服し、スケーリングを可能にする。

MPDMは表面的にはシンプルに見えますし、ある意味ではそうなのです。MPDMを実現するためには、運転中の人間の行動モデルの作成と、実時間の数百倍の速度で動作するシミュレータの作成という2つの難題を解決しなければなりません。しかし、これらの問題を解決した後は、そのシンプルさとは裏腹に、新規性、不確実性、規模といった、初期のコミットメントシステムが抱える課題を克服する力を秘めています。

まず、MPDMは人間の行動をモデル化できる状況であれば、これまで経験したことのないような新しい状況でも扱うことができます。MPDMが新奇な状況をうまく扱える理由は、MPDMの判断が状況を特定することに依存しないためである。MPDMは常に、適用されうるあらゆる行動を考慮し、そのシナリオを仮想的にドライブしてから選択します。仮想ドライブから最適なアクションが浮かび上がるのです。

次に、MPDMは環境に不確実性がある場合でも、安全な行動を選択します。歩行者なのか自転車なのかがわからない場合、MPDMは両方の可能性をシミュレートします。トラッキングシステムが、車両が2つの車線のうちどちらを走っているのか完全に判断できない場合、両方のケースで可能な行動をシミュレートする。歩行者が道を渡るのか、それとも縁石でうろうろしているのか、システムが確実に判断できない場合、MPDMは選択した行動がどちらの場合でも安全であることを確認する。その結果、MPDMシステムの挙動は人間によく似ています。不確実な場合は速度を落として余裕を持たせ、確実な場合はより積極的に運転するのです。

最後に、MPDMはアーリーコミットメントアプローチに比べ、はるかに優れたスケールを持ち、より少ない開発者とリソースで構築することができます。このスケーリングの利点は、MPDMをプログラミングする際に、物事の組み合わせを認識したりモデル化したりする必要がないことに由来しています。物事の組み合わせ（例えば、前方を横断する可能性のある歩行者がいる車を追跡中に信号が黄色に変わった場合）は、可能性のある状況が爆発的に増加するため、直接モデル化すると、かなりのエンジニアリングとデータ処理のリソースを必要とします。MPDMでは、より単純な問題である運転中の人間の行動モデルを作成することだけが要求されます。このモデルの構築には多大な労力と時間がかかりますが、いったん機能的に検証されれば、あらゆる環境や状況に適用することが可能です。MPDMは、自律行動の開発において最もスケーラブルなアプローチである。

これら3つの利点を総合すると、スケールアップのためのビルディングブロックとなります。ある技術が、新規で複雑性の高い状況でうまく機能するように効率的に構築され、サイトのカスタマイズを制限することができれば、何千もの異なる環境に迅速に展開することができます。MPDMは、このような利点を提供し、スケールアップした自律走行のロックを解除するユニークな技術です。

それは、自律走行の未来です。