The Next Generation Of Artificial Intelligenceの要約。
次世代に流行するAIは何か？
記事によると以下の3点が注目らしい。
教師なし学習
現在も機械学習の1手法として、使われている学習手法。
データに対して、正解ラベルを付与する必要がある教師あり学習に比べて、正解ラベルが不要であるため、学習コストが少ない。
その分、現状、教師あり学習の方が主流であり、教師なし学習が適応できる範囲はそう多くない。
しかし、ラベルを付与する工数は思っている以上に多大であるため、教師なし学習によって、適応できる範囲が増えれば、それはブレイクスルーになるだろう、とのこと。
「その他全てのものからすべてを予測する」と言われているらしい。
連合学習
初耳だった。googleが2017年に提唱した概念とのこと。
文脈としては、大量に集まるデータのプライバシー保護の観点から考案された概念らしい。
AIを学習させるには、大量のデータが必要であるが、個人情報保護などの観点から、重要な情報にいつでも自由にアクセス出来るとは限らない。
そこで、集権的にデータの集まる一つのサーバー上で学習を行うのではなく、ユーザーが持つ端末（googleなので、この場合Androidを想定されているのだろうと思う）の中で、小さな学習を行い、夜間などに集約して大きなモデルとして再学習、再配布を行う、というもの。
この場合、個人情報を送信する必要はなく、端末との送受信はモデルのみになるため、プライバシー保護にもなるだろう、というもの。
Transformers
自然言語処理に関わっている人は、全員が知っているであろう、近年の自然言語処理のブレイクスルーとなった技術。
Attention機構という文章のどこに注目するべきか、というアルゴリズムをベースとすることで、計算の並列処理が可能になった。
それまでのRNNに比べ、計算効率がはるかに向上したため、自然言語処理では、それまでに使用できていた以上に巨大なデータセットで学習させたAIモデル（GPT-3やBERTなど）が登場してきている。