はじめに
だんないよ、nikkieです。
実践LT駆動開発ということで「みんなのPython勉強会#32」に参加し、LTしてきました。
勉強会の概要
勉強会プログラム
「Kubernetesのエコシステムとその影響」
「Road to kaggle master」
「いまNetwork embeddingが熱い!」
今回のテーマは「オープンソース時代のエコスタイル」。
3つの幅広い分野の講演の後、
「オープンソースの時代は常に勉強、
教材は本、ネット、コミュニティといたるところにある」
というまとめの話に納得しました。
LT報告:pandasを触り始めた話
デモに使ったnotebook
業務の都合でpandasを触り始めたので、それをLTネタにしました。
まだまだ学ぶべきことは多いので引き続き勉強していきます(pandasの力で業務を楽にしたい)
Kubernetesのエコシステムとその影響
KubernetesってDockerのオーケストレーションツールだよなという前提知識で聞いたところ
Kubernetesはプラットフォームだと認識が改まりました。
ユーザは意識しなくてもクラウドベンダーはKubernetesを使っているそうです。
キャッチアップするにはまずはこのあたりでしょうか。
また、マイクロサービスという概念も合わせて理解したほうがよさそうです。
(Kubernetesの運用では数百・数千のコンテナをまとめて扱うために試行錯誤しているそうです。
これらのコンテナでマイクロサービスを提供しているらしいです)
マイクロサービスとは何か? デジタル変革の時代を生き残るための、テクノロジー入門 - Customer Success
Road to kaggle master
機械学習に携わっている身としては、
業務で機械学習に取り組む難しさや、kaggleを学習リソースとして使う方法を共有いただき、
大変ありがたい講義でした。
以下、講義中のメモです。
- kaggleはデータを理解し、モデルを構築する点に特化している
コンペが開催され、kaggleには賞金稼ぎもいる - 初級から中級にステップアップするには、機械学習の理論を勉強しないといけなかった
『Python Machine Learning』という本が勉強に役立ったそうです。
日本語版:https://www.amazon.co.jp/dp/4844380605
(感想:購入済みだったので、後は読み切るだけ) - ビジネスとしての機械学習ではデータが手に入らない
コンペのkaggleと違って、ビジネスのデータは貴重
(感想:これは肝に銘じよう) - kaggleはwinner solutionが勉強になる
こんな特徴量使ったなど情報が公開される
(感想:学習リソースとしてkaggle使ってみます) - データを可視化して特徴量を考える
jupyter notebookでデータの全体像を見る
いまNetwork embeddingが熱い!
資料:http://www.tsjshg.info/TSUJI_20180207.pdf
購買情報もネットワークで扱えるというのは業務に使えるかもしれません。
以下、講義中のメモです。
- Network embedding
買ったか買っていないかで繋げばいいので購買情報もネットワーク化できる
つながりの情報だけでは機械学習で扱わせにくい
全ノードを3次元ベクトルとして表現→3次元空間の中で近さ遠さが計算できる→機械学習に持ち込める - ネットワークは隣接行列に表せる
隣接行列は0が多くてスカスカ sparse
PCA(主成分分析)で次元縮約して隣接ベクトルを扱う - 次元縮約にDeepLearningを使うのが最近のはやり
AutoEncoder(入力5次元、中で3次元に縮約し、5次元で出力)うまく5次元に戻せるような重み付け
DeepAutoEncoderを作る
※ただし、メモリの容量からノード数には制限があるとのこと。GPUを使っても全てのノードがメモリに置けなくなるらしい
LT
GitPitchはheader要素のアルファベットが全部大文字になるなど経験したので、
まとめていただいたLTスライドは重宝しそうです。
また、1リポジトリでディレクトリを分けてスライドを作成したり、
自己紹介を共通化するというのは試してみたいです。
また、Eelでアプリを作ったというLTもありました。
GitHub - ChrisKnott/Eel: A little Python library for making simple Electron-like HTML/JS GUI apps
終わりに
Kubernetes、kaggle、Network embeddingと幅広い話を聞く中で
業務に役立てられそうな事項も知ることができました。
LTの機会もいただきありがとうございます。毎月やっていきたいと思います。
スライドは公開されるそうなので、気を見てアップデートします。