イベントレポート&LT報告 | みんなのPython勉強会#32 #stapy

だんないよ、nikkieです。
実践LT駆動開発ということで「みんなのPython勉強会#32」に参加し、LTしてきました。

勉強会プログラム

「Kubernetesのエコシステムとその影響」

「Road to kaggle master」

「いまNetwork embeddingが熱い！」

今回のテーマは「オープンソース時代のエコスタイル」。
3つの幅広い分野の講演の後、
　「オープンソースの時代は常に勉強、
　　教材は本、ネット、コミュニティといたるところにある」
というまとめの話に納得しました。

デモに使ったnotebook

業務の都合でpandasを触り始めたので、それをLTネタにしました。
まだまだ学ぶべきことは多いので引き続き勉強していきます（pandasの力で業務を楽にしたい）

KubernetesってDockerのオーケストレーションツールだよなという前提知識で聞いたところ
Kubernetesはプラットフォームだと認識が改まりました。
ユーザは意識しなくてもクラウドベンダーはKubernetesを使っているそうです。

キャッチアップするにはまずはこのあたりでしょうか。

また、マイクロサービスという概念も合わせて理解したほうがよさそうです。
（Kubernetesの運用では数百・数千のコンテナをまとめて扱うために試行錯誤しているそうです。
　これらのコンテナでマイクロサービスを提供しているらしいです）

機械学習に携わっている身としては、
業務で機械学習に取り組む難しさや、kaggleを学習リソースとして使う方法を共有いただき、
大変ありがたい講義でした。

以下、講義中のメモです。

kaggleはデータを理解し、モデルを構築する点に特化している
コンペが開催され、kaggleには賞金稼ぎもいる
初級から中級にステップアップするには、機械学習の理論を勉強しないといけなかった
『Python Machine Learning』という本が勉強に役立ったそうです。
日本語版：https://www.amazon.co.jp/dp/4844380605
（感想：購入済みだったので、後は読み切るだけ）
ビジネスとしての機械学習ではデータが手に入らない
コンペのkaggleと違って、ビジネスのデータは貴重
（感想：これは肝に銘じよう）
kaggleはwinner solutionが勉強になる
こんな特徴量使ったなど情報が公開される
（感想：学習リソースとしてkaggle使ってみます）
データを可視化して特徴量を考える
jupyter notebookでデータの全体像を見る

購買情報もネットワークで扱えるというのは業務に使えるかもしれません。
以下、講義中のメモです。

Network embedding
買ったか買っていないかで繋げばいいので購買情報もネットワーク化できる
つながりの情報だけでは機械学習で扱わせにくい
全ノードを3次元ベクトルとして表現→3次元空間の中で近さ遠さが計算できる→機械学習に持ち込める
ネットワークは隣接行列に表せる
隣接行列は0が多くてスカスカ sparse
PCA（主成分分析）で次元縮約して隣接ベクトルを扱う
次元縮約にDeepLearningを使うのが最近のはやり
AutoEncoder（入力5次元、中で3次元に縮約し、5次元で出力）うまく5次元に戻せるような重み付け
DeepAutoEncoderを作る
※ただし、メモリの容量からノード数には制限があるとのこと。GPUを使っても全てのノードがメモリに置けなくなるらしい