強化学習とは何か?

前に書いた記事で、強化学習が盛り上がっているとのことだったので、少し整理。
読書記録:AI研究「次の10年」を読み解く(雑誌 MIT Technology Reviewより)

強化学習の概要

機械学習を整理した記事などを見ると、主に3種類の学習方法があると言われている。

  • 学習データと正解が必要なもの
    • 教師あり学習
    • 強化学習
  • 学習データだけ必要なもの
    • 教師なし学習

教師あり学習と強化学習の違いは、教師あり学習はデータに対してラベル(自然言語処理のQ&Aタスクに対する正解・不正解、など)があるのに対して、強化学習は、ある状態の時にある行動を起こすと、最終的に報酬が高くなるように学習する手法。

なんで注目されているか

一番大きく注目されたのは、GoogleのAlphaGoが大きい。
囲碁は盤面が大きいので、機械が人間に勝つのはなかなか難しいと言われていたが、2015年に人間との対局に勝利したことで脚光を浴びた。

その性質から、よくゲームを学習させる動画やプログラミング記事が見られる。
ただ、ゲーム以外にもロボット、自動運転などにも使われている。

シミュレーションさえ出来れば、学習データを集める、追加する、という作業が不要で、自動でAIが学習してくれるのが強み。
一方、内容によっては、シミュレーション出来る環境を用意すること自体が大変(自動運転は観測できる場所がなければ、一般的にはできない)になる場合もある。

WordPressの新規投稿で詰まったところと解決策

wordpressを始めて、投稿をしようとしたときに詰まったこととその解決策

状況

サーバーはAWSで構築。
wordpressをインストールして、諸々最初の設定を変更した後、投稿を試してみた。

起きた事象

  1. 投稿 > 新規追加、から投稿も下書き保存できない。
    「更新に失敗しました。返答が正しい JSON レスポンスではありません。」と表示される。
  2. 1.が解決した後、設定したパーマリンクを見に行っても、「404 not found」が表示される。

試したことと解決策

以下、ネットでいろいろ調べながら、試したことと解決した対応

1.の投稿も下書き保存もできない件について

エラーにつながった要因は、設定 > パーマネントリンク設定を変更したことにあるようだった。
実際、デフォルトだと投稿した記事が数字の連番になるので、カスタム構造で「/%postname%」にしたほうがよい、と見かけたので、そのように変更していた。

パーマネントリンク設定を変更(厳密には、「基本」以外に変更したら、らしい)すると、サーバーのwordpressを展開したフォルダ配下に「.htaccess」というファイルが出来るが、ファイルが出来なかったり、うまく動かないことがあったりするらしい。
※後述の通り、ここは関係なかったが。

試したこと
  • パーマネントリンク設定を再度保存する。
  • 「.htaccess」ファイルを自分で作成して、アップロードする。

どちらも、無関係。そもそも、「.htaccess」は正しく生成されていた。

解決方法
  • 「Classic Editor」プラグインを入れる

wordpress5.0からデフォルトのエディターが「Gutenberg」というものになっていたらしいが、そのエディターが原因だったとのこと。
上記のエディターに変更したら、無事に投稿が出来た。

2.のリンクを見に行っても投稿が表示されない件について

1.で投稿はできるようになり、実際、ブログのトップでは、記事が見られた。
しかし、パーマネントを設定したリンク先が「404 not found」が表示された。

試したこと
  • 「.htaccess」ファイルのRewriteBase、RewriteRuleのところに、「/%postname%」を追加する

ページを見ても更新されず。

解決方法
  • Appachの設定ファイル(httpd.conf)を修正

「.htaccess」の上書を許可するかどうかをこのファイルで設定しているとのこと。
httpd.confファイルでDirectoryが指定されているので、「.htaccess」が置かれているDirectoryに対して、「AllowOverride None」→「AllowOverride All」に修正。
ちなみに、ALLはすべて許可、Noneはすべて不許可、とのこと。

後書き

一般的には、「htaccess」に問題があることが多いらしく、「htaccess」ファイル周辺をいじっていたので、時間がかかった。
ただ、そもそも、「htaccess」ファイルはなるべく触らないほうがよい、という記載もあったので、今後は気を付ける。

参考になったサイト

音楽レビュー:Ruby Vroom/Soul Coughing

あと80円買えば送料無料になる時に、110円だったので、購入。
アーティストは初見。ジャケ買いというか、価格買い。

アルバム概要

タイトル:Ruby Vroom
アーティスト:Soul Coughing
90年代ロックバンドのファーストアルバム、オルタナ・ロック(定義が分からないのだが、wikiによると)らしい。

感想

90年代らしい音とメロディー。
サンプラーが至るところで使われていて、アルバムのよい特徴になってる。
最近の音楽だと、サンプリングやシンセの音とリアルの音が聞き分けづらかったりするので、こう明白にサンプリングです、という音は懐かしいというか、少し新鮮味も感じた。
全体的にはゆったりとしたロック、という印象で、肩ひじ張らずに聞ける。

読書記録:破戒(島崎藤村)

作品

タイトル:破戒
作者:島崎藤村

あらすじ

明治後期、信州小諸城下の被差別部落に生まれた主人公・瀬川丑松は、その生い立ちと身分を隠して生きよ、と父より戒めを受けて育った。その戒めを頑なに守り成人し、小学校教員となった丑松であったが、同じく被差別部落に生まれた解放運動家、猪子蓮太郎を慕うようになる。丑松は、猪子にならば自らの出生を打ち明けたいと思い、口まで出掛かかることもあるが、その思いは揺れ、日々は過ぎる。やがて学校で丑松が被差別部落出身であるとの噂が流れ、更に猪子が壮絶な死を遂げる。
その衝撃の激しさによってか、同僚などの猜疑によってか、丑松は追い詰められ、遂に父の戒めを破りその素性を打ち明けてしまう。そして丑松はアメリカのテキサスへと旅立ってゆく。

wikipediaより引用

感想

所感

面白かった。
ドラマチックなストーリー展開で、登場人物の多くは、物語の最初と最後で大きな環境の変化にさらされている。
生活環境が大きく破壊されたようにも見えるが、一方で全体的には解放感が感じられた。
悲劇が多い中で、主人公の丑松のストーリーは、希望の見える終わり方をしているからか。
友達の銀之助が最後までいいやつだった。

意識したわけではないが、昨今の差別問題が社会的話題になっている中で、読んだため、考えさせられた。
差別の歴史が個人に与える影響の重さを教えてくれるようだった。
一方でこの話については、まだ、理解のある周囲に恵まれたことが救いになっていたと思う。

文体

3人称視点で語りかけてくるような活弁士?(あまり詳しくないが、そういう印象を抱いた)のような文体と、緻密な自然の描写は、白黒映画を見ているようなイメージを浮かべた。

読書記録:AI研究「次の10年」を読み解く(雑誌 MIT Technology Reviewより)

概要

MIT Technology Reviewのコンテンツを読んで。
MIT Technology Review Vol1は、MITテクノロジーレビューのAI関連の過去記事を集めたムック本ということで、ここ数年のAIの外観を知れる面白い記事が色々載っています。

内容(サマリ)

AI研究「次の10年」を読み解く、より
人口知能は10年ごとに人気の手法が入れ替わる。
今はニューラルネットワークの時代、2000年代はサポート・ベクター・マシン。
なので、2020年代はまた別の手法が流行るだろう。
それが何かは予測出来ないとしているが、近年、強化学習が増加していることには言及されている。
ブレークスルーは突然起こるように見える、が、それまで研究の試行錯誤があって、ある日、結果が出るということが多いので、次の技術もある日、突然、ブレークスルーが起こるかもしれない。
ニューラルネットワークは2012年のイメージネットチャレンジで精度が出たし、強化学習も2015年にalpha碁が出た。

考え事

この本の他の記事にもあったが、今はニューラルネットワークに寄りすぎだ、という意見もあった。
実際に、仕事の場でAIを使うこともあるが、ニューラルネットワークですべての予測をするのではなく、ルールベースで作ったり、強化学習を試したり、といろいろな手法を認識しておくことは大事なことなんだと思う。
そのためにも、色々な論文、手法は、使うかは別にしても、知識としては蓄えておきたいと思う。