背景・目的
アメリカの自動運転車開発企業であるWaymoのエンジニアリングディレクタであるSacha Arnoudが、MIT(マサチューセッツ工科大学)にて講演を行ったようです。その模様がYouTubeで公開されているのですが、なかなか聴く機会もない貴重な講演なので、動画を見て聴いた内容をTwitterでメモしました。
今回の記事では、そのメモ内容を紹介しようと思います。
Waymoについて
Waymoについては以下のサイトを参照ください。
講演の動画
今回聴いた講演の動画は以下で公開されています。
www.youtube.com
講演内容のメモ
ここからが講演内容のメモです。しかしながら、自分の英語力では簡単にしか聴き取れませんでした。また何度か繰り返し聴いて、もう少し細かいところまで聞き出せるようにしたいです。
本プレゼンのトピックは3つ。
— Shisato Yano (矢野 詩知) (@4310sy) October 22, 2018
・WaymoとGoogleによる自動運転の一般的な背景と道路環境認識のための機械学習と深層学習の歴史的な用途
・車の自動運転のために用いられる深層学習の高等技術の概要
・機械学習に強く依存した産業製品の開発に繋がるもの
・アメリカでの衝突事故の42%がヒューマンエラーによるもの
— Shisato Yano (矢野 詩知) (@4310sy) October 22, 2018
・40歳以上のアメリカ人の300万人が盲目あるいは視覚障害者
・人間一人当たり、年間で42時間を道路交通で浪費している
アリゾナ州のフェニックスの市街にて自動運転試験を行った
— Shisato Yano (矢野 詩知) (@4310sy) October 22, 2018
搭乗者は後部座席に座り、どこに向かいたいかをボタンを押してリクエスト
その後、自動運転車は自動で目的地に向かい走り出す
走行する環境の周辺画像から、道路標識や信号、道の名前や番号、店の看板や広告などを抽出して判別する。
— Shisato Yano (矢野 詩知) (@4310sy) October 22, 2018
夜間の市街地での走行でも、信号の赤や緑、他の車のライトの点灯などを認識すると同時に、自転車や歩行者の動きをリアルタイムでトラッキング可能。
自動運転車を開発するために必要な要素
— Shisato Yano (矢野 詩知) (@4310sy) October 22, 2018
地図構築、位置計測、知覚、環境認識、行動予測、動作計画、ロボティクス技術(センサから得られるデータの処理や車とのインターフェースなど)、シミュレーションや検証など。
走行環境の事前情報(地図)と各種外界センサからのセンシングデータを与える。
— Shisato Yano (矢野 詩知) (@4310sy) October 22, 2018
車両の前方左右にはレーダとレーザ、後方左右にはレーダ、屋根の上には全方位を監視できる画像システム、レーダ、レーザが搭載されている。
これらが知覚の役割を果たして、周辺環境を表現する。
レーザから得られるPoint Cloudをクラスタリングして、自転車や歩行者、他車両などに分類する。
— Shisato Yano (矢野 詩知) (@4310sy) October 22, 2018
また、前方の車両のドアが開いているという情報から、そこから人が出てくるかもしれない、それを前方の自転車は避けて前に進むかもしれない、といった行動予測を行う。 pic.twitter.com/cI6Z6IMtVe
市街地の自動運転における誤認識問題の一つとして、窓ガラスなどへの反射がある。例えば自分の隣を大型バスが走っていたとして、その窓ガラスに光が反射して別の車が映っていたとしたら、視認システムはそこに2台の車が走っていると誤認識してしまう。 pic.twitter.com/gX2Y9Ud79G
— Shisato Yano (矢野 詩知) (@4310sy) October 23, 2018
レーザで取得した点群データを2次元平面に投影する。また、ドライバー視点で取得された画像データと組み合わせる。 pic.twitter.com/YWWCEpm2rw
— Shisato Yano (矢野 詩知) (@4310sy) October 23, 2018
雪のように事前に形状情報を定義できない物体を認識するために、smaller convolutional Networksを生成する。画像に映る物体を画素単位で分割してクラスタリングする。(Semantic Segmentation) pic.twitter.com/OJcEsjlfDa
— Shisato Yano (矢野 詩知) (@4310sy) October 23, 2018
2次元平面に投影されたレーザの点群生データから、その検知物体の端から端までの形状を予測して、それを囲うバウンディングボックスを生成する。 pic.twitter.com/b2nDlFyW1o
— Shisato Yano (矢野 詩知) (@4310sy) October 23, 2018
カメラからのある1ショットの画像から走路脇のコーンを検出。
— Shisato Yano (矢野 詩知) (@4310sy) October 23, 2018
通学バス、パトカー、消防車、救急車といったより細かい車の認識。
オブジェクトのベクトル表現をディープネットで学習
GoogleのDNPが開発した work to Veck
センサが捉えている空間の中で大量の情報が含まれている場合は非常に有効 pic.twitter.com/4l8HWQUmwK
歩行者は様々な姿勢になったり、狭いところを通って遮蔽されたり出てきたりと、検出して行動を予測することはとても難しい。
— Shisato Yano (矢野 詩知) (@4310sy) October 23, 2018
人(あるいはマネキン)がトラックの荷台に乗って移動していた場合、それを人だと判断するような事があってはいけない。 pic.twitter.com/8EMNj2Tx6s
時系列の連続データを用いて、ベクトル表現とRNN(Recurrent Neural Network)を組み合わせたSemantic segmentation pic.twitter.com/msIU8u9fWA
— Shisato Yano (矢野 詩知) (@4310sy) October 23, 2018
機械学習システムのロバスト性を検証するための実機テスト pic.twitter.com/daeh2GvNpa
— Shisato Yano (矢野 詩知) (@4310sy) October 24, 2018
車の進路に別の車を割り込ませての急停車実験。
— Shisato Yano (矢野 詩知) (@4310sy) October 24, 2018
なかなかリスクの高い試験方法だな。 pic.twitter.com/TIlYxni3es
進路が塞がれて、かつ反対車線には別の車が来るというシチュエーション。対向車がいるので車線変更による回避はせず、前方の障害物が無くなるのを待っている。 pic.twitter.com/88uMJlyscF
— Shisato Yano (矢野 詩知) (@4310sy) October 24, 2018
今後の課題は雪道などでの自動運転、より複雑な環境の認識や分類である。 pic.twitter.com/epfSln9K22
— Shisato Yano (矢野 詩知) (@4310sy) October 24, 2018
プレゼン内容はざっくりこんな感じか。最後の10分間くらいは質疑応答だけど、自分のリスニング力じゃ全然聞き取れないので断念。。
— Shisato Yano (矢野 詩知) (@4310sy) October 24, 2018
最後に感想です。
機械学習、深層学習をどう活かしているのかが中心だったけど、個人的には後半で話していたシミュレーション環境について詳しく聞いてみたかったな。
— Shisato Yano (矢野 詩知) (@4310sy) October 24, 2018
実機試験のテスト内容は結構リスキーな印象だけど、事前のシミュレーションをそれだけしっかりやってるから、リスキーな実機試験に臨めるのだろうか。
良く分からなかった部分の参考資料
講演を聴いている中で良く分からなかったのが、機械学習におけるEmbeddingと、再帰型ニューラルネットワーク(RNN)でした。それらについては以下の記事が参考になりそうだったので、一緒にメモしておきました。
また、コメントで以下の書籍がおススメだと紹介してくれた方もいました。有難うございました。
RNNとLSTMだったら「詳解-ディープラーニング-TensorFlow・Kerasによる時系列データ処理」という本が分かりやすいですよ💡
— takurooo (@nozouso) October 24, 2018

詳解 ディープラーニング ~TensorFlow・Kerasによる時系列データ処理~
- 作者: 巣籠悠輔
- 出版社/メーカー: マイナビ出版
- 発売日: 2017/05/30
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (5件) を見る