nikkie-ftnextの日記

イベントレポートや読書メモを発信

2023-07-01から1ヶ月間の記事一覧

VS CodeのFindで正規表現。.+と$0だけで、行をたやすくクォートで囲めたとは!

はじめに ありすちゃじゃなくて、橘さん、お誕生日おめでとうございます。 アニメU149全部見ました。キラメキ、よかった... nikkieです これまでVS Codeを長らく使ってきました1が、本日衝撃が走りました。 目次 はじめに 目次 行をダブルクォートで囲みたい…

『プロになるJava』のHello WorldやbusinessCalendar4Jの例を、Mavenでビルドしたjarで実行する(maven-jar-plugin、maven-assembly-plugin) #projava

はじめに 今はまだ、勇気も自信も全然だから。これが精一杯、nikkieです。 JavaのMavenってあるじゃないですか。 触ることがあるんですが、「なんだかよくわからなくてイカツイな」「Pythonと結構違うんだよな」と感じてきました。 このたび「避けずに少し勉…

素振りの記:BERT-CRFで固有表現認識したい!『大規模言語モデル入門』6章でクイックツアー

はじめに 無敵級ビリーバー3周年 nikkieです。 「お休みの日にしかできないことを」と追求した結果、最近のお休みは開発合宿感があります。 今回は気になっていた技術、BERT-CRFを触りました。 目次 はじめに 目次 ずっと引っかかっていたBERT-CRF 『大規模…

sort | uniq にも使い所はあったのです! いただいたコメントを機にuniqのオプションを確認しました

はじめに テノヒラクルー、nikkieです。 昨日の小ネタの(まさかの)続編です。 uniqコマンドも便利なことに気づきました。 目次 はじめに 目次 前回 & いただいたコメント uniqのオプションを使ったsort | uniq sort | uniq -c sort | uniq -d sort | uniq -u uniq…

え! sort -u って sort | uniq と同じなの!?

はじめに その必要はないわ。 nikkieです。 今回取り上げるのは小ネタです。 最近知ってえらく驚きました 目次 はじめに 目次 sortの-uオプション!? マニュアル確認 man uniq man sort sort | uniq との出会い 終わりに sortの-uオプション!? 『マスタリ…

勉強法の勉強会#2、LT3本(英語学習・チーム勉強会・個人開発駆動)を聞き思ったのです。ぼくらはみな自分に合う勉強法を探す旅の途中なんだ! #YUMEMIxTORALAB

はじめに デリシャスマイル〜、nikkieです。 以前参加した「勉強法の勉強会」(オンライン勉強会)のシーズン2がありまして、参加してきました。 レポートを綴っていきます。 目次 はじめに 目次 「勉強法の勉強会#2」 #YUMEMIxTORALAB 伝説のシーズン1 今回…

はじめてThreadPoolExecutor(Pythonのconcurrent.futuresの素振り一歩目)

はじめに 未来で待ってる。 nikkieです1。 ここ最近イベントループを使った並行処理(asyncio)を素振りしました。 これはI/Oバウンドな処理に有効です。 I/Oバウンドな処理にはマルチスレッドも有効と聞くので、少しだけ素振りしました。 目次 はじめに 目…

非同期ジェネレータ 素振りの記(OpenAIのAPIに並行処理でリクエストを送る処理を書き直す)

はじめに みんな、目黒シネマへ行くんだ。特別上映版『かがみの孤城』が観られるぞ! nikkieです。 ここ数日Pythonの非同期ジェネレータが頭に引っかかっています。 難しそうな概念ですが、「ついにその時が来たか」と腹を決めて素振りしました。 ※考え違い…

nikkieだって「焼く」くらいできますけど

はじめに 中須かすみさん1、いろんなコッペパン作れるのマジ尊敬、nikkieです。 たまには暮らし向きを綴っていきます。 目次 はじめに 目次 nikkie as 調理スキル駆け出しエンジニア 最近焼いてます 餃子 ソーセージ 放っておく調理は性に合っているかも 終…

OpenAIのAPIに並行処理でリクエストを送る(ChatCompletionにasync/await!イベントループ篇)

はじめに たくさん、どうぞ!1 nikkieです。 毎日夏!って感じですが、今日も元気にOpenAIのAPIを叩いていきたいと思います! 今回はたくさん送るので、並行処理を模索しました。 現時点での考えのバックアップ目的のエントリです。 目次 はじめに 目次 デー…

これがSQLインジェクション! やられサイトBad Todo Listで体験し、湯婆婆に対する防衛術を習得しました!

はじめに 贅沢な名だね、とは言わせねーよ! nikkieです。 実習として、やられサイトにSQLインジェクションしました。 これで湯婆婆と遭遇しても身を守れます! 目次 はじめに 目次 やられサイトBad Todo List 脱線:湯婆婆とSQLインジェクションってなんの…

scikit-learnでprecision, recall, f1_scoreを一度に求められる! sklearn.metrics.precision_recall_fscore_support

はじめに 一射絶命、nikkieです。 ツルネを見終えました(沙絵ちゃんかわいい) scikit-learnの実装を眺めていて、「各種評価指標を一発で出せる関数あるじゃん!」と気付きました。 この感動を共有していきます。 目次 はじめに 目次 sklearn.metrics.preci…

読書ログ | 『ロバストPython』14章、Pydanticのdataclassデコレータに切り替えるだけで実行時バリデーション追加!バリデータを書いて不変式を表現!なんて便利なの!

はじめに PrayForKyoani、nikkieです。 久しぶりの『ロバストPython』読書ログ。 将来の開発者に意図を伝えるPythonの書き方が指南された(議論のための)本です。 Pydanticの関係1で14章を読みました。 目次 はじめに 目次 前回の『ロバストPython』! 14章…

論文「Is Information Extraction Solved by ChatGPT? (arXiv:2305.14450)」を論文紹介という巨人の肩に乗って追いかける

はじめに 解かれたのかい?解かれないのかい?どっちなんだい? nikkieです。 Twitterのタイムラインで見かけた論文紹介から興味を持ち、論文を少し追ってみました。 記事にして、セーブポイントを作ります 目次 はじめに 目次 Is Information Extraction So…

読書ログ | #ちょうぜつ本 第3章 〜オブジェクト指向の理解度が、かなり上がった感覚!〜

はじめに 変更しやすいコードが書けないのにソフトウェア開発とか舐めているのですか 天使様1ごめんなさい〜、nikkieです 「かわいい」と技術書が夢の合体を果たした、ちょうぜつ本(『ちょうぜつソフトウェア設計入門』)! 読書会と絡めて読み進めており、…

Pydanticがv2にメジャーバージョンアップ! v1もサポートされているし、移行ツールbump-pydanticもあるし、破壊的変更は怖くない(はず)

はじめに もう何も怖くない。 nikkieです FastAPIやLangChainといったライブラリが依存していることでおなじみPydantic! 約2週間前、6月の終わりにv1.10.xからv2へとメジャーバージョンアップしました。 破壊的変更1もあります ですが、他のライブラリのメ…

イベントレポート | 7/13開催 みんなのPython勉強会#95 「推し(レコメンデーション)と機械学習」、ナイスな #stapy でした

はじめに いいいっけええええええええっ!!!!! nikkieです。 時をかける少女でおなじみ、ナイスの日にみんなのPython勉強会がありました。 いつものようにスタッフ参加しており、勉強会のレポートを綴ります。 目次 はじめに 目次 勉強会の概要 『Python…

YouTubeの文字起こし、youtube-transcript-apiで簡単に取得でき、LangChainでLLMに入力できる!

はじめに 夢見ていた nikkieです。 最近LangChainに執心ですが、今回は「こんなこともサクッとできちゃうの!?」という個人的ビッグニュースをアウトプットします 目次 はじめに 目次 YouTubeの文字起こしをこんなに簡単に取得できちゃうの!? 素振り:Lan…

LangChainでlangchain.verbose = Trueと書くと、それがChainのverbose属性に設定されるまで

はじめに あっなったっの アーイドル〜♪ ナイスなstapyでした! nikkieです。 最近触っているLangChain、触るたびにこれはすごいライブラリだと実感します。 小さい箇所ですが、langchain.verbose = Trueと指定するだけで、プロンプトが出力され、何が起こっ…

sklearn.metrics.f1_scoreのUndefinedMetricWarningとzero_division引数

はじめに 7月はナイスなstapyです。みんな来てね! nikkieです。 機械学習ではおなじみのライブラリscikit-learn。 親の顔を見た回数よりインストールしているフシがあります。 そんなscikit-learnのf1_score関数で見かけることのあるwarningについて、最近…

LangChainのRetrievalQAを使い文脈をプロンプトに含めることで、ChatGPTとアニメについておしゃべりしてみる(ムビマス篇)

はじめに 「でも、私は天海春香だから。」 nikkieです。 LLM・LangChain関係の素振りですが、今回は自分の趣味嗜好に振り切ります。 文脈をプロンプトに含めて、LLMさんとアニメについておしゃべりするぞ〜! 目次 はじめに 目次 やりたいこと「文脈をプロン…

LangChain素振りの記:sentence-transformersで計算したembeddingsをChromaに保存して検索する

はじめに 7月はナイスなstapyです。みんな来てね! nikkieです。 StudyCoさんの勉強会アーカイブを機に、LangChainを使って文脈をプロンプトに含めてLLM(ChatGPT)に問い合わせるコードを動かしました。 この理解を深めるべく、「文脈をプロンプトに含める…

Clickを使ったCLIアプリケーションのテストについて、ドキュメントの「Testing Click Applications」を読みました(CliRunnerのinvokeメソッドやisolated_filesystemメソッドを知る)

はじめに アプリケーション・テスティング! nikkieです。 Command Line Interface Creation Kit、頭文字を取ってClick。 コマンドラインツールを実装できるライブラリの1つです。 Clickのドキュメントの中にテストの書き方を見つけ、手を動かしてみました。…

ライブラリsentence-transformersのサンプルコードを動かし、英語や日本語テキストからembeddingsやその類似度を計算する

はじめに アヤさん、たんじょーび、おめでとう!! nikkieです。 みんなアイうた見ていて嬉しい限り♪ sentence-transformersというPythonのライブラリがあります。 こいつでembeddings(テキストの埋め込み表現)が計算できるらしく、気になったので触ってみ…

読書ログ | Clean Architecture 第14章 コンポーネントの結合についての3原則

はじめに 手をつなごう nikkieです。 アイうたがみんなに見られていて嬉しい限り♪ ちょうぜつ本(『ちょうぜつソフトウェア設計入門』)でパッケージ原則を知ったのを機に『Clean Architecture』に手を伸ばしてみています。 今回は結合に関する3原則篇の読書…

読書ログ | Clean Architecture 第13章 コンポーネントの凝集性についての3原則

はじめに ディープラーニングのおじさああああん!!(からあげさん転職おめでとうございます1) nikkieです。 先日ちょうぜつ本(『ちょうぜつソフトウェア設計入門』)第2章で6つのパッケージ原則を知りました。 提唱者 Uncle Bobの『Clean Architecture』…

読書ログ | #ちょうぜつ本 第2章 〜初めて見る原則がいっぱいだ!〜

はじめに 変更しやすいコードが書けないのにソフトウェア開発とか舐めているのですか 天使様1ごめんなさい〜、nikkieです 「かわいい」と技術書が夢の合体を果たした、ちょうぜつ本(『ちょうぜつソフトウェア設計入門』)! そんなちょうぜつ本の読書会に向…

ライブラリGCSFSを使う時、クレデンシャルを環境変数 GOOGLE_APPLICATION_CREDENTIALS でもapplication default credentials(gcloud auth application-default login)でも指定できるのはどういう仕組み? 縁の下にはgoogle-authがいたのです

はじめに グラスゴー・コーマ・スケールというGCSもある。nikkieです。 Python製のライブラリGCSFSを使っていて気になったことを、ソースコードを読んで調べました。 目次 はじめに 目次 結論(タイトルへの回答) バージョン情報 GCSFS GCSFSのCredentials …

Clickで複数コマンドの連鎖をパイプラインとして実装できる! ドキュメント「Multi Command Pipelines」の例も完全に理解しました

はじめに マルチコマンド・パイプライニング! nikkieです。 先日Clickのドキュメントの「Multi Command Chaining」を取り上げました。 今回はそのよくあるユースケースの「Multi Command Pipelines」について、ドキュメントから理解したことをまとめます。 …

Clickは複数のコマンドを連鎖させて呼び出せる!(awesome_cli command_a command_b command_c) ドキュメント「Multi Command Chaining」の例を完全に理解しました

はじめに マルチコマンド・チェイニング!1 nikkieです。 コマンドラインツール作成は標準ライブラリのargparseが多い私2ですが、サードパーティのClick(Command Line Interface Creation Kitの頭辞語)も覗いてみました。 「argparseではできなさそうです…