nikkie-ftnextの日記

イベントレポートや読書メモを発信

機械学習

#atmaCup 16 に参加しています(2023/12/09のログ)

12/9は機械学習コンペに注力しました。 エントリネタを別に用意する余力がないところまでやったので、1日のログを書き残すことにしました。 なお、コンペに関係する情報はディスカッションに出したほうがいいと考えているので、コードや考察は含みません。 …

multilingual-e5のUsageのaverage poolの実装を理解する 〜attention maskが0のトークンを除いて平均しているんだ!〜

はじめに プラチナランカー!! nikkieです transformers・PyTorchの組合せで、文のembeddingsを得るコードで理解したいことがありました。 理解を深める目的でこの記事でアウトプットします。 目次 はじめに 目次 E5 参考文献 average_pool関数、何をやって…

素振りの記:『日経Linux2023年9月号』の特集に沿ってLLMをファインチューニング! Linuxコマンドを教え込む

はじめに 面白いじゃない!1 nikkieです。 世はまさに大LLM時代。 ChatGPTのAPIを叩いたり2、各社が公開したLLMを触ったり3と既存のLLMを利用してきたnikkie氏。 「LLMのファインチューニング(解きたいタスクに特化した少量データでの調整訓練)ってどうや…

素振りの記:BERT-CRFで固有表現認識したい!『大規模言語モデル入門』6章でクイックツアー

はじめに 無敵級ビリーバー3周年 nikkieです。 「お休みの日にしかできないことを」と追求した結果、最近のお休みは開発合宿感があります。 今回は気になっていた技術、BERT-CRFを触りました。 目次 はじめに 目次 ずっと引っかかっていたBERT-CRF 『大規模…

scikit-learnでprecision, recall, f1_scoreを一度に求められる! sklearn.metrics.precision_recall_fscore_support

はじめに 一射絶命、nikkieです。 ツルネを見終えました(沙絵ちゃんかわいい) scikit-learnの実装を眺めていて、「各種評価指標を一発で出せる関数あるじゃん!」と気付きました。 この感動を共有していきます。 目次 はじめに 目次 sklearn.metrics.preci…

sklearn.metrics.f1_scoreのUndefinedMetricWarningとzero_division引数

はじめに 7月はナイスなstapyです。みんな来てね! nikkieです。 機械学習ではおなじみのライブラリscikit-learn。 親の顔を見た回数よりインストールしているフシがあります。 そんなscikit-learnのf1_score関数で見かけることのあるwarningについて、最近…

scikit-learnのf1_scoreのaverage引数に指定するmicroやmacroやsamplesって、なに?

はじめに アカネチャン...(推しの子6話見た)、nikkieです 機械学習モデルの評価指標の1つ F1 score について、scikit-learnの実装を使いこなすために調べたことをまとめます。 目次 はじめに 目次 scikit-learnのf1_scoreのaverage引数 おことわり事項 動作環境 …

scikit-learnのconfusion_matrixが返す混同行列を、読めるようになりたい!(2値分類篇)

はじめに はぁ... 安西こころさん... 尊い...、nikkieです scikit-learnにまつわる小ネタです。 2値分類における混同行列を読めるようになりたい! 目次 はじめに 目次 2値分類における混同行列 scikit-learnのconfusion_matrixは書籍でよく見る説明から、行…

Forkwell ML Startupシリーズ第一弾『これならわかる深層学習入門』基調講演がとても面白かった! #Forkwell_MLS

はじめに おジャ魔女どれみDockerん!!! 、nikkieです。 アーカイブを視聴した勉強会の感想エントリです。 目次 はじめに 目次 2023/05/17 これならわかる深層学習入門 - Forkwell ML Startup #1 アーカイブ 『これならわかる深層学習入門』 基調講演「201…

「機械学習を使って30分で固有表現抽出器を作るチュートリアル」を写経しました

はじめに わーい、ホッテントリ、わーい!1 nikkieです。 固有表現抽出(NER)タスクをCRF(Conditional Random Fields2)で解く実装の理解を深めたく、チュートリアルで素振りしました。 目次 はじめに 目次 Hironsanによるチュートリアル 素振り成果物 チ…

読書ログ | 『機械学習デザインパターン』3.2 マルチラベルパターン

はじめに マル・マル・モリ・モリ!1 nikkieです。 機械学習関係の読書ログを残します。 取り組むことの多いマルチラベル分類について、まとまった記述のある書籍を知ったので、読みました。 目次 はじめに 目次 『機械学習デザインパターン』 シングルラベル…

動画や資料でChatGPTのヤバさを遅ればせながら認識!ワクワクもんだぁ!

はじめに こころはやってんの、ChatGPT?1 nikkieです。 OpenAI発、話題のチャットAI、ChatGPT。 遅ればせながら、私もそのヤバさを認識しました! 「ChatGPT、無視できないな」と思った情報源をバックアップとして記します。 目次 はじめに 目次 2023/02/01…

読書ログ | 『 #評価指標入門 』3章・4章でついに分類の評価指標の全体感を掴めました(2月の #stapy 予習) #架け橋本

はじめに ブラボー!! nikkieです。 今週木曜日2/16は19時からオンラインでみんなのPython勉強会 (a.k.a stapy)「新刊本から知る機械学習の今」! 予習リストエントリを公開し、予習を進めています。 2月のみんなのPython勉強会は"機械学習新刊特集"!予習…

読書ログ | 『Kaggleに挑む深層学習プログラミングの極意』石原さんによる1章・2章は極意と例が目白押し!(2月の #stapy 予習)

はじめに 未来ずら〜、nikkieです。 今週木曜日2/16は19時からオンラインでみんなのPython勉強会 (a.k.a stapy)「新刊本から知る機械学習の今」! 先日予習リストエントリも公開しました。 今回は『Kaggleに挑む深層学習プログラミングの極意』について現時…

2月のみんなのPython勉強会は"機械学習新刊特集"!予習積ん読リスト📚 #stapy

はじめに この冬、機械学習の新刊が熱い! nikkieです。 来週2/16(木)にみんなのPython勉強会がオンライン開催されます(今日を含めてあと7日!)。 機械学習本の著者に発表いただくのですが、「一部だけでも読んで参加したい」と自分用予習リストを作りまし…

イベントレポート | 「Attentionさえあればいい。」に参加、ようやく論文を完全理解できるかも #StudyCo

はじめに ともーだちーほーしーーーーー!!!! nikkieです1。 11/3に論文「Attention is All You Need」についての勉強会(StudyCoさん開催)に参加しました。 なかなか完全に理解に至れていないこの論文ですが、N度目かの正直で「今回は完全理解できそう2…

論文「Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning」(2018 Sebastian Raschka)を読み始めました

はじめに 青春は、やさしいだけじゃない。痛いだけでもない。1 nikkieです 機械学習モデルの評価についての論文を読み始めました。 まだ読んでいる途中ではありますが、アウトプットしていきます。 『Python機械学習プログラミング』を書かれたrasbt氏(Seba…

イベントレポート | Pythonで自然言語処理ハンズオン #はんなりPython

はじめに すごい、すごいよこれ。 nikkieです。 #はんなりPython 自然言語処理ハンズオン、ありがとうございました!transformersやばいですね。spaCyを彷彿とさせる簡単なインターフェース!モデルの指定を変えることしかしてないのに、日英の感情分析、日…

声をPythonに聴かせて(後編:対処し、マイクの音声でも「変じゃないよ」)

はじめに 私の熱い『アイの歌声を聴かせて』ファン活動、アイカツ、はじまります! 私のアイカツ(#アイの歌声を聴かせて 技術者なりのファン活動)、シオン v0.0.1に大きく近づきましたこの嬉しさ、「やったな、サンダー」級!!プログラムを起動してから音…

声をPythonに聴かせて(前編:wavファイルだと書き起こせるのに、マイクの入力はいまいち!?)

はじめに 私の熱い『アイの歌声を聴かせて』ファン活動、アイカツ、はじまります! 私のアイカツ(#アイの歌声を聴かせて 技術者なりのファン活動)、シオン v0.0.1に大きく近づきましたこの嬉しさ、「やったな、サンダー」級!!プログラムを起動してから音…

Pythonの読み上げを聴かせて

はじめに 吉浦康裕スペース、楽しかったー!(配信ありがとうございます) nikkieです。 #吉浦康裕スペース めっちゃ楽しんでます!筒井康隆さん小説は全然知らなくて、吉浦監督に限らず「こんなにアニメに影響与えてるのか」と読んでみたくなりましたーゲー…

data2vecのSOTAを見せて(data2vec NLP Baseを動かしてみたログ)

はじめに 見守っていたんだよ、ずっと nikkieです。 この週末、data2vecというモデルを動かしてみました。 そのログを残します。 Meta AIが1月後半に発表したdata2vec、モデルとコードがfairseqのexampleとして公開されていたので、完全に理解したいとGLUEの…

イベントレポート | BPStudy#173〜ゼロからはじめるデータサイエンス #bpstudy

はじめに 聞いて聞いて! リリースされた新バージョンのpipは、installのprogress barがかっこよくなってるんだよ! nikkieです。 Python実践レシピで知った--upgrade-depsオプションでvenv作るとpip 22.0.2が入りました。なんと、pip installのprogress bar…

週末ログ | PyTorch Lightningの"Lightning in 2 steps"を触りました⚡️

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 最近v1.0が出たPyTorch Lightning、Getting startedのドキュメントに沿って週末に素振りしました。 目次 はじめに 目次 PyTorch Lightningとは Lightningの哲学 今回の環境 Lightning in 2 steps…

イベントレポート | Python mini Hack-a-thon(オンライン)で"機械学習しました" #pyhack

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 週末の #pyhack で手を動かした内容についてブログに残します。 目次 はじめに 目次 勉強会の概要 取り組んだこと うまくいったこと 課題に感じていること 今後 勉強会の概要 (第112回)Python mi…

週末ログ | GKEでKFServingを使ってPyTorchのモデルのサーブを試しハマりました(後編:デプロイしたら暗中模索)

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 週末ログの後編です。 PyTorchでモデルを訓練した後、KFServingでサーブする部分です。 目次 はじめに 目次 1. KFServingが使える環境を用意する 2. PyTorchでテキスト分類するモデルを用意 Pyth…

週末ログ | GKEでKFServingを使ってPyTorchのモデルをサーブを試しハマりました(前編:GKE環境構築)

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 自然言語処理ネタで週1ブログは完結したので、気の向くまま不定期にブログを書いていきます。 今回は週末に手を動かしたことをまとめます。 うまくいっていない(悔しくて死にそう)のですが、記…

transformersのTFBertModelを使ってテキストを特徴量に変換し、ロジスティック回帰、ランダムフォレスト、MLPで分類を試しました

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 そこで直近1クール(2020年3月末まで)は、自然言語処理のネタで毎週1本ブログを書くことにします。 今回で最終回を迎えま…

transformersのBERTをTensorFlowからいじって多クラス分類しようとしたところ、ハマった末に😫、BERTは特徴量生成に使うのがよさそうと体験しました🤗

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 3/9の週はもろもろ締切が重なりやむなく断念。 お気づきでしょうか、自然言語処理ネタで週1ブログを週末にリリースしていな…

TensorFlowのドキュメントを確認し、tf.py_functionが何をやっているのか理解を深めました

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 先週、総括としてライブドアニュース(日本語テキスト)の分類に取り組んだところ、tf.py_functionが何をやっているのか分…