ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る　

ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る
Quand la machine apprend :
La révolution des neurones artificiels et de l’apprentissage profond
by Yann Le Cun
ヤン・ルカン (著), 松尾豊 (翻訳, 監修), 小川浩一(翻訳)
講談社 (2021/10/25)

ヤン・ルカン　Yann Le Cun
ニューヨーク大学教授およびFacebook副社長
1960年フランス生まれ。1987年パリ第6大学にて計算機科学のPhDを取得。AT&Tベル研究所、AT&T研究所などを経て、2003年からニューヨーク大学教授。2013年には兼業でFacebookに入社し、Facebook人工知能研究所を創設。機械学習、コンピュータビジョン、計算論的神経科学などに関心を持つ。
2018年に、コンピュータ科学分野における最高の栄誉とされるACMチューリング賞を、ジェフリー・ヒントン、ヨシュア・ベンジオとともに受賞。

松尾 豊
東京大学大学院工学系研究科 教授/日本ディープラーニング協会 理事長
1975年香川県生まれ。1997年東京大学工学部電子情報工学科卒業。2002年同大学院博士課程修了。博士(工学)。産業技術総合研究所、スタンフォード大学などを経て、現職。人工知能学会理事、編集委員長、倫理委員長などを務める。
2016年に、『人工知能は人間を超えるか ディープラーニングの先にあるもの』で大川出版賞、ビジネス本大賞特別賞など受賞。

小川 浩一
翻訳家
1964年京都府生まれ。東京大学大学院総合文化研究科修士課程修了。英語とフランス語の翻訳を児童書から専門書まで幅広く手掛ける。主な訳書に、『できる研究者のプレゼン術』『アーティストのための形態学ノート』『GRAPHIC DESIGN THEORY』『ティラノサウルス とびだす解剖学ガイド』などがある。

ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る

■機械学習の能力

GPUを搭載したグラフィックカードは、
1秒間に 1013 回の演算しかこなせない。

人間の脳に近づく には10万枚が
必要になる計算だ。

人間の脳は、25ワットの電力に相当する
エネルギーを消費する。

対するGPUカードは、1枚でその10 倍、
つまり250ワットを消費する。

電子機器は生物の100万倍効率が悪いのだ。

■ディープラーニングの現状

私は、ディープラーニングが
人工知能の未来の一翼を担うと確信しているが、
今のところ、論理的推論が可能な
ディープラーニングシステムはない。

現状では、論理は学習と相いれないのだ。

論理と学習が両立できるような
システムの開発こそが、今後の課題である。

ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る

ディープラーニングの父と呼ばれている、
ヤン・ルカン氏が、ディープラーニングについて
語った著書です。

近年、AIについては、利用が普及してきており、
その将来については、期待と不安が混在している状況です。

一般の人にもわかりやすく書いたということなので、
これを機に、AIについてのきちんとした知識を
身につけたいと思います。

教師あり学習とオッカムの剃刀

■オッカムの剃刀

「オッカムの剃刀」とは、
節約の原理を述べたものだ。

つまり、「必要もないのに多くのものを
定立してはならない」。

一連の観測結果の説明は、余分な概念に頼ることなく、
できるだけシンプルであるべきだというのである。

14世紀のフランシスコ会修道士
ウィリアム・オッカムに由来するこの原理は、
物理学者によく知られている。

理論に必要な方程式、仮説、
自由パラメータ(光速や電子の質量など、
別の量からは計算できないパラメータ)の数は、
なるべく少ないほうがいい。

アルバート・アインシュタインは別の言い方をしている。

「何事もできるだけシンプルにすべきだ。
だが、シンプルすぎてもいけない。」

ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る

学習に必要なサンプルは、少ないと、
暗記してしまい、学習にならないので、
十分な数が必要だとのこと。

そして、あまりに正確性をもとめすぎると、
モデルが複雑になりすぎて、
汎化ができなくなること。

つまり、１０個の点があったときに、
すべての点を正確に通そうとすると、
複雑な曲線になってしまうけれど、
そうではなくて、ある程度の誤差を認めれば、
直線や二次曲線、三次曲線といった、
比較的簡単なモデルに落とすことができます。

「オッカムの剃刀」の考え方を用いると、
必要なパラメーターは少ないほどよいことになります。

画像認識・音声認識・音声合成・言語理解と翻訳

■誤差逆伝播法と多層ニューラルネットワーク

今日では誤差逆伝播法が
ディープラーニングの基礎となっており、
ほとんどの人工知能システムが
この方法を使っている。

多層ニューラルネットワークとは、
複数の種類の層を積み重ねたものである。

それぞれの層の入力は、
前の層における出力の活性状態を表す
ベクトル(数値のリスト)と
見ることができる。

その層の出力もベクトルである。

ただし、入力ベクトルと同じ大きさをもつとは限らない。

■畳み込みニューラルネットワーク

私は、単純型細胞と複雑型細胞を交互に配置し、
誤差逆伝播法による訓練を組み合わせた
多層ニューラルネットワークアーキテクチャを
思いついた。

後に私は、このネットワークを
「畳み込みニューラルネットワーク」
(convolutional neural network)と名付けることになる。

CNNと略す人もいるが、
私はConvNetと呼ぶほうが好きだ。

ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る

17年前から比べると、現在の言語解析の技術は
格段にアップしていて、本当に驚きです。

私は使ってきませんが、
gmailは、勝手に、返信文の候補を出してきますよね。

メールの内容から推測して候補を出すのですが、
まあ、悪くない候補が並んでいるのを見て、
感心します。

ウェブ広告・科学・自律走行・仮想アシスタント

■ウェブ広告

ウェブコンテンツを作成する企業にとって、
クリック数の予測──
CTR(click through rate:クリッ ク率)──
は貴重な情報である。

GoogleやFacebook、ほかにもCriteoといった企業は、
ユーザーがどの広告をクリックするかを
知りたがっている。

収益がクリック数に依存しているからだ。

こうした企業が効率を高めようとすれば、
表示される広告の数を最小限に抑えつつ、
収益を最大化する必要がある。

そのために、ユーザーにクリックされる
可能性の高い広告だけを表示するようにする。

関心を引かない広告を表示しても、
ユーザーの反発を買うだけだからだ。

ニューラルネットワークは、スコアを出すことで、
ユーザーが特定の広告をクリックするかどうかを
予測する。

ユーザーが実際にクリックすると、
ニューラルネットワークは上向きに調整される。

クリックしなければ、下向きに調整される。

Facebookも同じ方法で
ニュースフィードに広告を掲載している。

Googleも検索結果をどの順番で表示するかの
判断に利用している。

ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る

Facebook広告は、どんどん進化していて、
使い勝手もよくなっています。

自動の要素も増えていて、
複数のキャッチコピーを入れておくと、
結果のよいものをどんどん使ってくれる
仕組みになっています。

Youtubeは、プレミアムに誘導するために、
わざわざ鬱陶しく感じるように、
表示させているのでしょうか。

広告表示に関しては、
Facebookとは違う戦略のようです。

自分自身の消費者の経験からいうと、
GoogleやYoutubeの広告を踏むよりも、
Facebookの広告を踏む回数の方が
ずっと多い気がするので、
広告表示のアルゴリズムは、
Facebookのほうが
優れているのかもしれません。

Facebookの取り組み

■エンゲージメント指標

企業の収益を決定付けるのはクリック数だが、
広告を表示すればするほど、
プラットフォームを訪れるユーザーの数が
減ることもわかっている。

ユーザーは広告目当てに来るわけではないからだ。

だから最良の妥協点を見つける必要がある。

つまり、広告の数をできるだけ減らし、
ユーザーが最も興味をもっているものを
表示するということだ。

そのためには、個々のユーザーが
過去に何をクリックしたかを調べ、
似たようなものを表示する必要がある。

そのためには、コンテンツと機械学習の理解が
不可欠だ。

旧来の「エンゲージメント」指標は、
ユーザーがニュースフィードの前で過ごした時間、
クリック数、読んだ記事、投稿数などを
反映したものだった。

この指標に基づきFacebookは、
ユーザーがすべてのコンテンツに満足しなくても、
サイト上で少しでも多くの時間を過ごすように
誘導していた。

2018年1月から、Facebookは
この基準を大幅に変更した。

現在のエンゲージメント指標は、
ユーザーとユーザーにとって重要なコンテンツとの
インタラクションを評価し、
ユーザーに永続的な満足感を与えるコンテンツを
識別しようとしている。

Facebookのサービス全体が、
ユーザーの振る舞いの理解に向けられているのだ。

時間をかけてユーザーの満足度を
最大化しようとする方向性は、
2018年からFacebookの指針となっている。

つまり、ユーザーに積極的な関与を促す
コンテンツの増加と、
受動的にスクロールされるだけの
コンテンツの減少を目指すということだ。

ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る

2013年に独立した当時は、
SNSの可能性に惹かれて、
個人での情報発信がどれくらいできるものなのか、
試してみようと考えていました。

そこで、ブログ、Facebook、メルマガでの
情報発信をこまめに行なっていました。

ネットだけでなく、リアルでの交流も
頻繁に行なっていたので、
新しい人間関係を構築する手段として、
とても役に立ったと考えています。

独立までは、会社での人間関係と、
育児を通じた地域の人間関係だけでしたから。

それから、仕事での役割をいろいろ変えながら、
ネットでの情報発信も形を変えてきました。

事前学習・強化学習・自己教師あり学習・人間の学習

■人間の学習

ほとんどの人間がほんの20時間程度の
ほぼ教師なしの練習で、
ほとんど事故を起こさずに
運転を学習できるのはどうしてだろうか?

教師あり学習や強化学習だけでは
何かが足りないのだ。

子どもは生後数カ月で、
世界の仕組みについての知識を大量に蓄積する。

生物と無生物の違いは、
生後2カ月でわかるようになる。

子どもは、生物であれ無生物であれ、
自然発生的に現れるものではないこと、
別の物体の陰に隠れていても、
常にそこにあるということを、
かなり早い段階で理解している。

これは永続性の概念を身につけたということだ。

人間や動物は、さまざまな方法を組み合わせて学習する。

私の仮説によれば、人間の知識の大半(基本的な部分)は
自己教師あり学習によって習得される。

自己教師あり学習の基本は観察にある。

残りは教師あり(または模倣による)学習と、
ごく一部が強化学習によるものだ。

われわれは右側に谷がある道路の運転を学習すると、
世界モデルから右にハンドルを切ると
車が谷に向かうことを知っており、
重力の知識によって車が谷に落ちてしまうことを
予測できる。

試してみるまでもない。

今のところ、機械にはこの世界モデルが欠けている。

その欠如のせいで、強化学習は
大して効果が上がらないのだ。

人間の脳では、前頭葉が
こうした知識の獲得を担っている。

私はここに知能の本質があると考えている。

ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る

赤ちゃんがいないいないばあを喜ぶのは、
実際に顔や物がなくなっているのではなく、
隠れているという自分の予測どおりであることを
確認するからですね。

また、２歳児のころは、大人が飽きても、
繰り返し同じ動作の遊びや、同じ物語、
同じ動画を何十回でもせがみます。

そして、自転車や水泳などは、
一度できるようになると、
できない自分に戻ることはありません。

こうやって考えると、人間の学習スタイルは
とても不思議です。

人間が無意識に学習した世界モデルは、
言語化、明確化することが難しく、
だから、人工知能に教え込むことも
難しくなります。

しかしながら、この世界で自律したモデルを
動かそうと思えば、
世界モデルを持っていてもらう必要があります。

AIの問題点と未来

機械は現段階でも十分に威力を発揮しており、
その性能の高さには驚かされるばかりだが、
人間や動物の本当の知能を再現するには
まだほど遠い。

いくら複雑なアーキテクチャをもっていようと、
ニューラルネットワークには
常識や意識の片鱗さえ見られない。

しかし、将来も同じとは限らない。

私は、意識とは創発特性であり、
知能の必然的な帰結であると考えている。

ディープラーニングの研究は
まだまだ始まったばかりだが、
現在はモデルの効率化が着実に進められているので、
いずれ機械が高度化の極みに達し、
意識が開花する日が間違いなく訪れる。

必ずそうなるはずだ。

それでも、追い越されることを恐れないようにしよう。

人類は何世紀にもわたり、
その身体的・精神的能力を
道具に追い越される経験を何度もしてきた。

石器やナイフは人間の歯よりも優れていたし、
使役動物、トラクター、ショベルカーは
人間のパワーを凌いでいた。

馬、車、そして飛行機は、
人間の足よりも速くわれわれを目的地へ運んでくれる。

コンピュータは人間の脳よりも計算が速い。

人間は自らが生み出したテクノロジーによって
その力を増大してきたのだ。

われわれの知能も機械の知能によって
拡張されることになるだろう。

これまでの技術革新と同じく、
AIはわれわれ人間の基準を大きく変えつつある。

AIは人類の進歩につながる可能性がある。

だが、その反対もありうる。

油断は禁物だ。

ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る

一生懸命身につけたスキルが、
一生役に立つかどうかは、
わからないものです。

時代とともに、必要とされるスキルは
変わるものであり、
必要とされるときに、
身につければよいものではないでしょうか。

AIによって、仕事がなくなるとか、
心配してもしかたないことです。

著者も書いているように（引用していませんが）
Youtubeでお金を稼ぐ人が出てくるなんて、
誰も考えていなかったことです。

ましては、こどものなりたい職業の上位に
入るなんて、誰も考えていません。

私が就職する時も、
「システムエンジニアって何をする仕事なんですか？」
と、IBMの人事担当者に質問したくらいでした。
（いやあ、よくこんな無知な学生を受け入れたものです。
バブルのおかげですね。）

私が今一番面倒だと思うのは、
「朝日さんは、どんな仕事をしているのですか？」
という質問に答えることです。

「いろいろなことをしています」
としか、説明しようがないからです。

独立したときには、
USP(Unique Selling Proposition：独自の強み)が
大事だと思っていたけれど、
そんなものにこだわらなくても、
生きてはいけます。

飛び抜けたスキルがなくても、
目の前の課題が解決できれば、十分なのです。

だとしたら、AIが作り出す将来に振り回されることなく、
目の前の課題解決に集中して、
なおかつ、自分が必要と思われるスキルを
常にブラッシュアップすることで、
社会に貢献し続けられるのではないでしょうか。