はじめに
おジャ魔女どれみDockerん！！！ 😂😂😂、nikkieです。
アーカイブを視聴した勉強会の感想エントリです。
目次
- はじめに
- 目次
- 2023/05/17 これならわかる深層学習入門 - Forkwell ML Startup #1
- 『これならわかる深層学習入門』
- 基調講演「2017年以前以後の深層学習」感想
- ちょw 定説覆りまくりww
- 終わりに
- P.S. スタッフゥー!!（続く楽しみ）
2023/05/17 これならわかる深層学習入門 - Forkwell ML Startup #1
「機械学習を基礎から学ぶ」Forkwell ML Startupシリーズ第一弾。
機械学習をもっと身近に、機械学習をもっとわかりやすく!」を合言葉にしている機械学習スタートアップシリーズの書籍たちをテーマとして開催してまいります。それぞれの著者の方々と共に機械学習を基礎から学んでいきましょう！
「こんなエンジニアにおすすめ」！
私は2番めに該当します🙋♂️
アーカイブ
お供にどうぞ
『これならわかる深層学習入門』
2017年刊行。
機械学習の予備知識がない読者を、研究の最前線までしっかり連れて行く。
過去、正則化を知りたく、5章だけ読んだことがありました。
今回の参加は積ん読解消のきっかけ作りの狙いもあります。
勉強会での発表は、書籍の解説ではなく、書籍+αと情報量マシマシです。
本日19:30〜開催！
— Forkwell_フォークウェル🤖 (@Forkwell) 2023年5月17日
著者の瀧雅人さんにご登壇いただきます👏
出版から6年が経ち、今や日常会話の中で「Chat GPT」などの言葉を聞くようになりました。
出版当時の深層学習と、その後どのような発展を辿ったかについてお話いただきます！https://t.co/uvlg47B5To#Forkwell_Event#Forkwell_MLS pic.twitter.com/nX3y9MKpZK
なお、機械学習スタートアップシリーズはこちら（エントリ執筆時点で4冊）：
機械学習スタートアップシリーズ | 書籍情報 | 株式会社 講談社サイエンティフィク
『機械学習プロフェッショナルシリーズ』の弟分的な存在を目指す
基調講演「2017年以前以後の深層学習」感想
めちゃめちゃ面白かったです〜
#Forkwell_MLS 瀧先生の基調講演をアーカイブで視聴。
— nikkie にっきー (@ftnext) 2023年5月21日
めちゃおもしろかったです👏
出版年の2017年は深層学習にとっても大きな転換点👀
そこから現在の生成AIまでの流れを"完全に理解"。
定説覆っとる、おもしろ！
これならわかる深層学習入門 - Forkwell ML Startup #1 https://t.co/HQiiHdT578
書籍が2017年の研究の最前線まで連れて行くだと思うのですが、この基調講演は2017年からの差分を通して現在の研究の最前線まで連れて行ってもらえた感覚です！
なお、これは私が「機械学習の分野で働いてい」て、前提知識が多いからだと思っています。
「私には何がなんだかよく分からなかった」という場合は、書籍を一読してからアーカイブをもう一度聞くと、分かるところが増えるんじゃないかな〜と思います（書籍プレゼントというForkwellさん太っ腹すぎるキャンペーンもありますし）
- 書籍が出版された2017年は、深層学習にとっても特別な年
- モデル栄枯盛衰の流れ
- GANとStable Diffusion（拡散モデル）
- LSTMとTransformer
説明された流れによっていろいろ繋がり、めちゃめちゃ面白いな〜と思うのです！
ちょw 定説覆りまくりww
マジか😱（我に返った）
ドロップアウト
書籍の5章でも正則化手法として取り上げられていたドロップアウト。
ニューラルネットワークを汎化させるには必須という認識でしたが、これは初期のもので、いまはなしでもうまくいくとのこと。
衝撃的だったのは以下の論文。
人類はドロップアウトのこと、まだ全然わかってないんだね...🤩
#111論文等共有 612 https://t.co/diTx2ljDft
— anonym(論文1000本ノックの人) (@shriver_light) 2023年4月21日
[arXiv’23] これは驚き。Dropoutの開発から11年。過学習だけでなく学習初期には未学習にも効くことを発見。バッチ間の勾配分散を減らす。学習初期だけDropoutすると最終的なlossも減る。学習後期だけ使うと汎化が良くなる。 pic.twitter.com/1kqjYWsVcC
良性過学習
こちらは今回始めて知った概念。
原語は「Benign Overfitting」（benignは「（腫瘍が）良性の」）
言われてみれば、パラメタ数が多くてもうまくいっている深層学習は、「パラメタ数が少ないと学習不足」「パラメタ数が多いと過学習」という教科書的な説明では説明できてないのですが、著しくパラメタ数が増えると過学習状態なんだけどうまくいくという！
過学習の向こう側には桃源郷があった #Forkwell_MLS
— かわまた@DevRel (@r_kawamata) 2023年5月17日
これは驚きましたね〜
関連研究にOpenAIも噛んでいるみたいで、double descentもちょっと気になるところです。
終わりに
『これならわかる深層学習入門』基調講演の面白かったポイントのアウトプットでした。
定説だと思っていたことが覆っていて、めちゃ刺激的でした。
キャッチアップしよう！
深層学習という1つの科学技術のブレイクスルーが10年続いていて、これはあまりない事例というお話がありましたが、LLMsの潮流がやってきて「ほんとこの技術はどこまでいくんだ（もう10年いっちゃう！？）」というドキドキワクワクがありますね〜
Forkwellさん、開催ならびに運営ありがとうございます。
瀧先生、発表ありがとうございました。
参加者の皆さま、お疲れさまでした〜
P.S. スタッフゥー!!（続く楽しみ）
スタッフゥー!!エンジニアがどんなものか知らんと
— nikkie にっきー (@ftnext) 2023年5月21日
イベント登録をすなり #Forkwell_Libraryhttps://t.co/ePF76aeBuY
5/24(水)の夜は「スタッフゥーーー!!⤴️」
