はじめに
だんないよ、nikkieです。
MANABIYA 1日目の「成長を止めない機械学習のやり方」(クックパッド 染谷さん)の聴講メモをまとめました。
講義の概要
【国内最大級のエンジニア向け技術祭典】MANABIYA -teratail Developer Days-
2016年7月の発足以来、クックパッドの研究開発部は機械学習を用いた様々なプロジェクトに取り組んで来ました。
本セッションではまず機械学習を取り入れた組織における価値創造を阻害あるいは鈍化させる幾つかの要因を指摘し、
それらの要因について開発基盤やエンジニアリング、チーム構成様々な角度から考察します。
またさらに、そのような課題に対するクックパッドの取り組みを紹介します。
案件で機械学習をやっているので聞きに行きました。(MANABIYAを通してAI枠の講義に積極的に行っています)
2月のPyDataで登壇された方だったので、その時のスライドを確認してから講義に臨みました。
成長を止めない機械学習のやり方
組織編
問題:サービス開発とモデルの開発/デプロイのスピード感にギャップがある
- 人材配置の最適化
サービス開発に求められるスピードとモデルの開発/デプロイにかかる時間のギャップを共有して歩み寄る
例:サービス開発にモデルのデプロイを手伝ってもらう - 取り組む問題の見直し
機械学習はシステムにとって潜在的コストになりやすい
Google論文:
https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/43146.pdfそもそも機械学習を使って取り組むべきか考える - モデル開発/デプロイの効率化
メイントピック。問題をエンジニアリングで解決する。
モデル開発/デプロイの効率化
- オンデマンドGPU実験環境(Chat bot経由で起動/停止可能)
→詳しくはPyDataのスライド
クックパッドの機械学習基盤 2018 / Machine Learning Platform at Cookpad ~ 2018 ~ // Speaker Deck
- プロジェクトテンプレートによる実験再現性の向上
追実験で再現しない→先の実験で使った画像データの管理の問題
cookiecutter(プロジェクトテンプレート作成のPythonライブラリ)に着目
(cookiecutterの参考)Pythonメモ : cookiecutterでプロジェクトの雛形を作成する - もた日記
cookiecutter-data-scienceを利用
GitHub - drivendata/cookiecutter-data-science: A logical, reasonably standardized, but flexible project structure for doing and sharing data science work.
Dockerで再現性を保証。OSSとして公開
GitHub - docker-science/cookiecutter-docker-science: Cookiecutter template for data scientists working in Docker containers
- デプロイ:API化、そのための共通基盤整備
→詳しくは前掲のPyDataスライド
個人編
- 個人にとって、目標/目的の具体化が重要
- 実務でやるのが一番の近道
現場でやるべきことは多く、これをやれとは言えない状態。
1冊1冊の本で学べないことが多い - データ分析系のコンペもよい
与えられた問題が明確というのが現場と違うが、
限られたデータと時間でスコアを上げていくのが実務に近い
感想
個人にとっての成長を止めない機械学習のやり方は、やはりkaggleに行き着くんですね。
これはやるしかないな、kaggle!(kernelを覗いて勉強する予定)
これはやるしかないな、kaggle!(kernelを覗いて勉強する予定)
幻滅期を見越した上で、地に足をつけて価値を生み出し続けるという姿勢を見習い、
一歩一歩機械学習を進めていきたいと思います。
一歩一歩機械学習を進めていきたいと思います。
自社サービスでの機械学習の利用については、こんな世界なのかと聞いていました。
私の機械学習の取り組みの中では色々と失敗がありましたが、
クックパッドさんも機械学習でやりたいことと現場の成熟度にギャップがあり、
多少の失敗をしつつも進めているのかもという印象です。
(どこも機械学習で苦い経験をしているんじゃないかと思います)
私の機械学習の取り組みの中では色々と失敗がありましたが、
クックパッドさんも機械学習でやりたいことと現場の成熟度にギャップがあり、
多少の失敗をしつつも進めているのかもという印象です。
(どこも機械学習で苦い経験をしているんじゃないかと思います)
お話しいただいた染谷さん、並びにMANABIYA運営スタッフの皆さま、
貴重なお話とそれを聞く機会をありがとうございました。