背景・目的

アメリカの自動運転車開発企業であるWaymoのエンジニアリングディレクタであるSacha Arnoudが、MIT(マサチューセッツ工科大学)にて講演を行ったようです。その模様がYouTubeで公開されているのですが、なかなか聴く機会もない貴重な講演なので、動画を見て聴いた内容をTwitterでメモしました。
今回の記事では、そのメモ内容を紹介しようと思います。

Waymoについて

Waymoについては以下のサイトを参照ください。

waymo.com

ウェイモ - Wikipedia

講演の動画

今回聴いた講演の動画は以下で公開されています。
www.youtube.com

講演内容のメモ

ここからが講演内容のメモです。しかしながら、自分の英語力では簡単にしか聴き取れませんでした。また何度か繰り返し聴いて、もう少し細かいところまで聞き出せるようにしたいです。

本プレゼンのトピックは３つ。

・WaymoとGoogleによる自動運転の一般的な背景と道路環境認識のための機械学習と深層学習の歴史的な用途

・車の自動運転のために用いられる深層学習の高等技術の概要

・機械学習に強く依存した産業製品の開発に繋がるもの
— Shisato Yano (矢野詩知) (@4310sy) October 22, 2018

・アメリカでの衝突事故の42％がヒューマンエラーによるもの

・40歳以上のアメリカ人の300万人が盲目あるいは視覚障害者

・人間一人当たり、年間で42時間を道路交通で浪費している
— Shisato Yano (矢野詩知) (@4310sy) October 22, 2018

アリゾナ州のフェニックスの市街にて自動運転試験を行った
搭乗者は後部座席に座り、どこに向かいたいかをボタンを押してリクエスト
その後、自動運転車は自動で目的地に向かい走り出す
— Shisato Yano (矢野詩知) (@4310sy) October 22, 2018

走行する環境の周辺画像から、道路標識や信号、道の名前や番号、店の看板や広告などを抽出して判別する。
夜間の市街地での走行でも、信号の赤や緑、他の車のライトの点灯などを認識すると同時に、自転車や歩行者の動きをリアルタイムでトラッキング可能。
— Shisato Yano (矢野詩知) (@4310sy) October 22, 2018

自動運転車を開発するために必要な要素

地図構築、位置計測、知覚、環境認識、行動予測、動作計画、ロボティクス技術(センサから得られるデータの処理や車とのインターフェースなど)、シミュレーションや検証など。
— Shisato Yano (矢野詩知) (@4310sy) October 22, 2018

走行環境の事前情報(地図)と各種外界センサからのセンシングデータを与える。

車両の前方左右にはレーダとレーザ、後方左右にはレーダ、屋根の上には全方位を監視できる画像システム、レーダ、レーザが搭載されている。

これらが知覚の役割を果たして、周辺環境を表現する。
— Shisato Yano (矢野詩知) (@4310sy) October 22, 2018

レーザから得られるPoint Cloudをクラスタリングして、自転車や歩行者、他車両などに分類する。
また、前方の車両のドアが開いているという情報から、そこから人が出てくるかもしれない、それを前方の自転車は避けて前に進むかもしれない、といった行動予測を行う。 pic.twitter.com/cI6Z6IMtVe
— Shisato Yano (矢野詩知) (@4310sy) October 22, 2018

市街地の自動運転における誤認識問題の一つとして、窓ガラスなどへの反射がある。例えば自分の隣を大型バスが走っていたとして、その窓ガラスに光が反射して別の車が映っていたとしたら、視認システムはそこに２台の車が走っていると誤認識してしまう。 pic.twitter.com/gX2Y9Ud79G
— Shisato Yano (矢野詩知) (@4310sy) October 23, 2018

レーザで取得した点群データを２次元平面に投影する。また、ドライバー視点で取得された画像データと組み合わせる。 pic.twitter.com/YWWCEpm2rw
— Shisato Yano (矢野詩知) (@4310sy) October 23, 2018

雪のように事前に形状情報を定義できない物体を認識するために、smaller convolutional Networksを生成する。画像に映る物体を画素単位で分割してクラスタリングする。(Semantic Segmentation) pic.twitter.com/OJcEsjlfDa
— Shisato Yano (矢野詩知) (@4310sy) October 23, 2018

２次元平面に投影されたレーザの点群生データから、その検知物体の端から端までの形状を予測して、それを囲うバウンディングボックスを生成する。 pic.twitter.com/b2nDlFyW1o
— Shisato Yano (矢野詩知) (@4310sy) October 23, 2018

カメラからのある１ショットの画像から走路脇のコーンを検出。
通学バス、パトカー、消防車、救急車といったより細かい車の認識。
オブジェクトのベクトル表現をディープネットで学習
GoogleのDNPが開発した work to Veck
センサが捉えている空間の中で大量の情報が含まれている場合は非常に有効 pic.twitter.com/4l8HWQUmwK
— Shisato Yano (矢野詩知) (@4310sy) October 23, 2018

歩行者は様々な姿勢になったり、狭いところを通って遮蔽されたり出てきたりと、検出して行動を予測することはとても難しい。
人(あるいはマネキン)がトラックの荷台に乗って移動していた場合、それを人だと判断するような事があってはいけない。 pic.twitter.com/8EMNj2Tx6s
— Shisato Yano (矢野詩知) (@4310sy) October 23, 2018

時系列の連続データを用いて、ベクトル表現とRNN(Recurrent Neural Network)を組み合わせたSemantic segmentation pic.twitter.com/msIU8u9fWA
— Shisato Yano (矢野詩知) (@4310sy) October 23, 2018

機械学習システムのロバスト性を検証するための実機テスト pic.twitter.com/daeh2GvNpa
— Shisato Yano (矢野詩知) (@4310sy) October 24, 2018

車の進路に別の車を割り込ませての急停車実験。
なかなかリスクの高い試験方法だな。 pic.twitter.com/TIlYxni3es
— Shisato Yano (矢野詩知) (@4310sy) October 24, 2018

進路が塞がれて、かつ反対車線には別の車が来るというシチュエーション。対向車がいるので車線変更による回避はせず、前方の障害物が無くなるのを待っている。 pic.twitter.com/88uMJlyscF
— Shisato Yano (矢野詩知) (@4310sy) October 24, 2018

今後の課題は雪道などでの自動運転、より複雑な環境の認識や分類である。 pic.twitter.com/epfSln9K22
— Shisato Yano (矢野詩知) (@4310sy) October 24, 2018

プレゼン内容はざっくりこんな感じか。最後の10分間くらいは質疑応答だけど、自分のリスニング力じゃ全然聞き取れないので断念。。
— Shisato Yano (矢野詩知) (@4310sy) October 24, 2018

最後に感想です。

機械学習、深層学習をどう活かしているのかが中心だったけど、個人的には後半で話していたシミュレーション環境について詳しく聞いてみたかったな。
実機試験のテスト内容は結構リスキーな印象だけど、事前のシミュレーションをそれだけしっかりやってるから、リスキーな実機試験に臨めるのだろうか。
— Shisato Yano (矢野詩知) (@4310sy) October 24, 2018