はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 そこで直近1クール（2020年3月末まで）は、自然言語処理のネタで毎週1本ブログを書くことにします。 今回で最終回を迎えま…

transformersのTFBertModelを使ってテキストを特徴量に変換し、ロジスティック回帰、ランダムフォレスト、MLPで分類を試しました

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 3/9の週はもろもろ締切が重なりやむなく断念。 お気づきでしょうか、自然言語処理ネタで週1ブログを週末にリリースしていな…

transformersのBERTをTensorFlowからいじって多クラス分類しようとしたところ、ハマった末に😫、BERTは特徴量生成に使うのがよさそうと体験しました🤗

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 2/3の週から自然言語処理の基礎固めとして『入門 自然言語処理』に取り組んでいます。 入門 自然言語処理作者:Steven Bird,…

『入門 自然言語処理』6章に取り組み、NLTKだけでも機械学習の分類問題にアプローチできることを知りました

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 2/3の週から自然言語処理の基礎固めとして『入門 自然言語処理』に取り組んでいます。 入門 自然言語処理作者:Steven Bird,…

『入門 自然言語処理』12章から、分かち書きした日本語のテキストがNLTKに読み込め、扱いは意外と英語テキストと共通と学びました

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 2/3の週から自然言語処理の基礎固めとして『入門 自然言語処理』に取り組んでいます。 入門 自然言語処理作者:Steven Bird,…

『入門 自然言語処理』5章を写経し、ルールベースと訓練、2種類の自動タグ付けの方法を学びました

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 先週から自然言語処理の基礎固めとして『入門 自然言語処理』に取り組んでいます。 入門 自然言語処理作者:Steven Bird,Ewa…

『入門 自然言語処理』5章から、英語テキストでも品詞分類できると知った私は、特定の品詞を取り出したWordCloudを試してみました

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 今週からは自然言語処理の基礎固めとして『入門 自然言語処理』に取り組んでいきます。 入門 自然言語処理作者:Steven Bird…

『入門 自然言語処理』3章をPython 3で写経し、テキスト処理の前処理であるステミングとトークン化についてインプットしました

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 先週、総括としてライブドアニュース（日本語テキスト）の分類に取り組んだところ、tf.py_functionが何をやっているのか分…

TensorFlowのドキュメントを確認し、tf.py_functionが何をやっているのか理解を深めました

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 今週はここまでの総決算として、日本語テキストを分類するタスクにTensorFlowを使って取り組みました。 目次 はじめに 目次…

tf.data でライブドアニュース（日本語テキスト）の分類に取り組んだところ、自分のコードの課題が見えました

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 今週はTensorFlowにおける新しめのデータの扱い方のチュートリアルに取り組みました。 チュートリアル「tf.data を使ったテ…

tf.dataを使って英文テキストを読み込み、分類するモデルを作るTensorFlowのチュートリアルに取り組みました

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 今週は、1本目のブログで作ったWordCloudに使っているjanomeについて、チュートリアルに取り組んでの学びをまとめます。 前…

「Janome ではじめるテキストマイニング」の中のWordCloudのチュートリアルに取り組み、janomeを全然使いこなせていなかったと思い知りました

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 週次ブログ駆動開発、「自然言語処理のタスクをするkeras(tensorflow)製のモデルをpytorchでも書いてみる」の後編です。 前編はこちら： 続・kerasからtorchへ、しかし ...！ 前編から再掲します…

ニュースを分類するMLP(keras製)をpytorchで動くように書き直そう [後編]

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2019年12月末から自然言語処理のネタで毎週1本ブログを書いています。 初回はこちら： 今週のネタは「自然言語処理のタスクをするkeras(tensorflow)製のモデルをpytorchでも書いてみる」です。 …

ニュースを分類するMLP(keras製)をpytorchで動くように書き直そう [前編]

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 先日「エンジニアの登壇を応援する会」の忘年LT大会にて、週1でブログを書くブログ駆動開発を知りました。 今週のネタ「自分の今年のブログのWordCloudを作る」についてブログを書きます。 宣言…

自分が書いたはてなブログの記事でWordCloudを作り、2019年と2018年を比較する