nikkie-ftnextの日記

イベントレポートや読書メモを発信

LLM

FastAPIで実装しての学び! GitHub Copilot Extensionsは、GitHubがホストするOpenAI API互換のLLM APIのレスポンスを、受け流す

はじめに 右から左へ〜 受け流す〜♪ nikkieです。 Blackbeard1を例に、GitHub Copilot Extensionsを実装して知ったことを記事にします。 目次 はじめに 目次 LT「PythonでもGitHub Copilot Extensions作れるもん!」 読み解きNode.js版Blackbeard 1️⃣Streami…

OpenAIのChat completions APIをstreamで使う(Pythonクライアントでstream=Trueを指定)

LLM

はじめに 今晩は朝までラーニング! nikkieです。 ChatGPTが流れるように出力する仕組みに迫る素振りです。 目次 はじめに 目次 OpenAI Cookbook「How to stream completions」 動作環境 streamを指定しない場合 streamを指定する場合 まとめ:OpenAIのChat c…

松尾研 LLM コミュニティ "Paper & Hacks Vol.21"「合成データの作成について」視聴メモ #松尾研_LLM

はじめに 整合騎士、nikkie・シンセシス・ワンハンドレッドエイトです。 LLMの情報収集では、松尾研 LLM コミュニティに大変お世話になっています。 合成データ回の試聴メモを記事として残します(あくまで今の私の理解です)。 複数回見て、ようやく分かっ…

11/14(木)はオンラインでみんなのPython勉強会! 開発とAIがテーマです #stapy

はじめに 泣き顔のままで会いに行こう♪ 泣き顔のままで笑おう♪ nikkieです スタッフをしているみんなのPython勉強会のお知らせ記事です。 目次 はじめに 目次 11/14(木) みんなのPython勉強会#110 サムライズム 山本さん『Python開発環境 - PyCharmとAI』 Gi…

GitHub Copilot Extensionsの Hello world にあたる Blackbeard を動かす #vscodejp

はじめに ろこどるは実質ミリオンライブ! nikkieです。 11月のVS Code Meetupで知った GitHub Copilot Extensions を素振りしました。 目次 はじめに 目次 VS Code Meetup #32よりGitHub Copilot Extensions Blackbeardを動かす Blackbeardエージェントをデ…

GKEでTGIを使ってGemmaをサーブする

はじめに 桜になりたいバラ、うう... nikkieです。 LLMをサーブする環境を思いのほか簡単に立てられそうと気づき、素振りしました。 切ってくぜ、身銭! 目次 はじめに 目次 用語の整理 見つけたチュートリアル「Deploy Gemma2 with multiple LoRA adapters …

OpenAIのドキュメントで「Safety best practices」に載っている Moderation API を触る

LLM

はじめに 入寮した魔瞳の大鷲、やべーやつしかいねーぞ!! nikkieです1。 OpenAIのModeration APIなるものを素振りしました。 目次 はじめに 目次 OpenAIのドキュメントより「Safety best practices」 Moderation API 終わりに OpenAIのドキュメントより「S…

docstringを持ち文字列を返す関数をデコレートするだけでGPTなどのLLMを呼び出せる! ell-aiの @ell.simple 素振りの記

LLM

はじめに 1、2、3、4、せーの!1 nikkieです。 LLM関係の気になるライブラリ ell-ai を小さく素振りしました 目次 はじめに 目次 ell-ai ell-ai素振り @ell.simple、"魔法"の仕組みの一端をのぞき見る ell-ai 今後知りたいこと 終わりに ell-ai ご存知ですか…

LLMへの攻撃についてのサーベイ論文「Breaking Down the Defenses」で知った Prompt Injection の論文メモ

LLM

はじめに ふふっ。Python界の田中琴葉、nikkieです。 LLMへの攻撃の1つ、プロンプトインジェクションについて、サーベイ論文から代表的な論文をいくつか知りました。 論文を読んでいる中での中間アウトプットです。 目次 はじめに 目次 Breaking Down the De…

論文「Efficient Large Language Models: A Survey」よりText-Generation-Inferenceの箇所だけ読んだメモ

LLM

はじめに 厳しい1on1って、アオのハコの聖地巡礼だったんだね... nikkieです。 今回は、サーベイ論文のごくごく一部を読んでのメモ書きです。 目次 はじめに 目次 論文「Efficient Large Language Models: A Survey」 Text-Generation-Inference (TGI) TGIと…

LangChainを使って、同じプロンプトを複数のLLMのWeb APIに送る(GPTとGeminiを例に)

LLM

はじめに Sky Survive nikkieです。 LangChainでは初歩的なことだと思うのですが、ここ最近気になっていたことに解を得ました。 目次 はじめに 目次 同じプロンプトを複数のLLMのAPIに送りたい みんなのPython勉強会#109 池内さんの発表より 素振り:同じプ…

文脈をプロンプトに含めてChatGPTとアニメ(ムビマス)についておしゃべりしていたスクリプトを、LangChain v0.2で動くように更新しました

はじめに 絵羽模様 nikkieです。 過去にLangChainのRetrievalQAを素振りしました。 これはLangChain v0.0.228で動かしたのですが、v0.2で動くように更新します。 目次 はじめに 目次 LangChainのRetrievalQAを使い文脈をプロンプトに含めることで、ChatGPTと…

transformers.AutoModelForCausalLM の from_pretrained() の attn_implementation 引数に泣かされています(Gemmaを例に)

LLM

Today(※最近) I Learned です。 といっても全然うまくいっていません 目次 目次 AutoModelForCausalLM.from_pretrainedの引数 attn_implementation引数のデフォルト値 attn_implementation="eager"(訓練できる) attn_implementation="sdpa"かつ、Flash Att…

python -m bitsandbytes でGPU環境を診断

LLM

Today(※最近) I Learned です 目次 目次 LLMの量子化で知っていたbitsandbytes python -m bitsandbytes Colabでの実行例 実装 通らない場合 終わりに LLMの量子化で知っていたbitsandbytes 過去の素振りから、bitsandbytesはtransformers.BitsAndBytesConfig…

LLMアプリケーションのヒントを探して、AIあんの解説noteを読んだログ #TOKYOAI

LLM

目次 目次 都知事選 2024 AIあんの技術解説 Human-in-the-loop 積ん読 終わりに 都知事選 2024 2024年の都知事選は安野さんに注目しました。 安野さんは選挙活動の一環としてAIあんのを公開。 AIあんのをはじめとした選挙活動の一連のコードは公開予定(誰で…

LoRAでPEFTしたモデルをrevision指定して読み込む (huggingface/peft 0.11.1)

LLM

タイトルで期待した方には最初にごめんなさいなのですが、0.11.1ではできません。 しかしできるようにする変更はマージされており、GitHubからインストールすればできます(0.11.2.dev0) はじめに チケットご用意されてほし〜 、nikkieです。 最近のToday I…

HuggingFace CourseのCausal Language Modeling用データ処理のビデオを見たメモ

4分30秒と短いビデオですが、予期していた以上に学びがありました。 目次 目次 Causal Language Modeling 入力 正解ラベル Causal Language Modeling 雑にいうと、テキスト生成。 それまでに与えられたトークン列から次のトークンを予測します ビデオ中の例…

trlのSFTTrainerの実装を覗き、初期化時にtokenizerやdata collatorがどのように設定されるかを理解する

LLM

はじめに フウカチャン1 nikkieです。 trlというライブラリを使ったLLMのファインチューンのチュートリアルに過去に取り組みました。 その中で、自然言語のドキュメントではどうも細かい点が明確に分かりづらく、実装を見るのが手っ取り早そうと感じ始めました。 …

『17才の帝国』を思い出す、2024夏

LLM

はじめに 新しい季節と誰かのサイン♪1 nikkieです。 『17才の帝国』というドラマについて、最近思うことを綴っていきます。 ※作品のネタバレありです 目次 はじめに 目次 17才の帝国(2022年) 閑話休題:Pythonさんご出演!! 大規模言語モデルって、だいぶ…

ミリシタを楽しむ私の身に起きた"RAG" 〜北沢志保さんのメモリアルコミュを例に〜

はじめに アソビストアでLOVEしたい! nikkieです。 趣味のミリシタエントリを書いていきますが、LLMを追っている立場から技術トピックと悪魔合体させます。 ミリオンライブの楽しみ方は"RAG"なんだな〜と思い始めているという内容です(この時点でだいぶ意…

rasbtさんにならって、MacBook上でLlama 3を動かしてLLMの出力を評価させてみる

LLM

我が機械学習のヨーダ、rasbt氏1が興味深いことをやっていたのでパクってみます Was toying around with LLM model eval that run well on a laptop. Turns out Llama 3 8B Instruct is a pretty good evaluator that runs on a MacBook Air. I got a pretty…

Hugging FaceのText Generation InferenceのGuidance、ユーザが望む出力形式を実現する仕組みの概略

LLM

Today I Learned1です。 目次 目次 Hugging FaceのText Generation Inference Guidance (Tutorialより) ドキュメントより、Guidanceの概念 終わりに Hugging FaceのText Generation Inference A Rust, Python and gRPC server for text generation inference…

改良、Hugging Face Blogの「Fine-Tuning Gemma Models in Hugging Face」〜tokenizerの扱いとformatting_func引数に渡す関数〜

はじめに 安かったから買ったってだけで!1 nikkieです。 Hugging Faceの記事の中に、Googleのgemmaをファインチューンする記事があります。 こちらについて手を動かす中で、どうやらデバッグに成功したように思われるのでこちらに記します。 なお、trlをは…

llama.cppでLLMを量子化し、ollamaで動かせた!これで勝つる!(cyberagent/calm2-7b-chat量子化記事の再現編)

LLM

はじめに 愛衣ちゃん大勝利〜!! nikkieです。 世はまさに大規模言語モデル1時代! ollamaを使ってLLMをもふもふ手元のPC(CPUのみ)でも動かしています2が、その秘密は量子化。 今回は、今まで利用するだけだった量子化を自分でもやってみます 目次 はじめ…

ollamaはHugging Faceほど、オープンモデルのライセンスをユーザに意識させないんだなあ

LLM

はじめに ルールを守って楽しく決闘! nikkieです。 最近ollamaをもふもふしているのですが、ちょっと思うところがあり、アウトプットネタに選びました。 ※自分用のメモの意味合いが強いです。ライセンスの解釈について専門知識は皆無ですので、記載は鵜呑み…

OpenAI Spring Update「Introducing GPT-4o」をアーカイブ視聴。音声解禁、リアルタイムで会話する数々のデモに震撼しました

LLM

はじめに ららーららーららー♪ nikkieです。 OpenAIのアップデート、これは失職したかもしれません(半年ぶり、たぶん通算3回目) 前回の失職(DevDay) 目次 はじめに 目次 OpenAI Spring Update「Introducing GPT-4o」 感想 観測した声 終わりに OpenAI Sp…

大規模言語モデルって、だいぶ『#アイの歌声を聴かせて』のシオンさんじゃね?(アイうたのネタバレあり)

はじめに リリイベありがとうございました! nikkieです。 直近でエンジニアがアニメから得た学びをLTします。 このブログで何度も取り上げている『アイの歌声を聴かせて』の話になるのですが、話したいことが多すぎて持ち時間に収まりきりません。 そこで、…

基本に立ち戻る:LLMのプロンプト

はじめに すべてのエンチャントを破壊する。 nikkieです 4月末に複数の勉強会でLLMのプロンプトについてインプットしました。 復習またハーケンとして、今回アウトプットします 目次 はじめに 目次 プロンプトってなんだったっけ?『大規模言語モデル入門』…

論文「Instruction Matters, a Simple yet Effective Task Selection Approach in Instruction Tuning for Specific Tasks」の研究上の位置づけを調べたメモ

はじめに シャニアニ5話、イルミネがギスギスにならなくてホントよかった nikkieです。 今回は、Instruction Tuningに関する論文を読んだメモです。 通読ではなく、研究上の位置づけが知られそうな箇所を読み進めました。 目次 はじめに 目次 「Instruction …

Instruction Tuningをさがして(2024年4月時点の理解まとめ)

はじめに みなさんは、死の先には何があると思いますか? nikkieです。 連休で「Instruction Tuning」を少し調べまして、現時点の理解をまとめます。 ※間違ったことを書いていたら@ftnextまでツッコミを入れてください!(お手柔らかにお願いします) 目次 …