nikkie-ftnextの日記

イベントレポートや読書メモを発信

トップ > LLM

LLM

松尾研 LLM コミュニティ "Paper & Hacks Vol.21"「合成データの作成について」視聴メモ #松尾研_LLM

LLM NLP(自然言語処理)

はじめに 整合騎士、nikkie・シンセシス・ワンハンドレッドエイトです。 LLMの情報収集では、松尾研 LLM コミュニティに大変お世話になっています。 合成データ回の試聴メモを記事として残します（あくまで今の私の理解です）。 複数回見て、ようやく分かっ…

#LLM #合成データ #synthetic data

11/14(木)はオンラインでみんなのPython勉強会！ 開発とAIがテーマです #stapy

勉強会コレクション LLM

はじめに 泣き顔のままで会いに行こう♪ 泣き顔のままで笑おう♪ nikkieです スタッフをしているみんなのPython勉強会のお知らせ記事です。 目次 はじめに 目次 11/14(木) みんなのPython勉強会#110 サムライズム 山本さん『Python開発環境 - PyCharmとAI』 Gi…

#みんなのPython勉強会 #stapy #コード×AI

GitHub Copilot Extensionsの Hello world にあたる Blackbeard を動かす #vscodejp

LLM

はじめに ろこどるは実質ミリオンライブ！ nikkieです。 11月のVS Code Meetupで知った GitHub Copilot Extensions を素振りしました。 目次 はじめに 目次 VS Code Meetup #32よりGitHub Copilot Extensions Blackbeardを動かす Blackbeardエージェントをデ…

#GitHub Copilot Extensions

GKEでTGIを使ってGemmaをサーブする

Kubernetes LLM

はじめに 桜になりたいバラ、うう... nikkieです。 LLMをサーブする環境を思いのほか簡単に立てられそうと気づき、素振りしました。 切ってくぜ、身銭！ 目次 はじめに 目次 用語の整理 見つけたチュートリアル「Deploy Gemma2 with multiple LoRA adapters …

#GKE #TGI #Text Generation Inference #Gemma

OpenAIのドキュメントで「Safety best practices」に載っている Moderation API を触る

LLM

はじめに 入寮した魔瞳の大鷲、やべーやつしかいねーぞ！！ nikkieです1。 OpenAIのModeration APIなるものを素振りしました。 目次 はじめに 目次 OpenAIのドキュメントより「Safety best practices」 Moderation API 終わりに OpenAIのドキュメントより「S…

#OpenAI #Moderation

docstringを持ち文字列を返す関数をデコレートするだけでGPTなどのLLMを呼び出せる！ ell-aiの @ell.simple 素振りの記

LLM

はじめに 1、2、3、4、せーの！1 nikkieです。 LLM関係の気になるライブラリ ell-ai を小さく素振りしました 目次 はじめに 目次 ell-ai ell-ai素振り @ell.simple、"魔法"の仕組みの一端をのぞき見る ell-ai 今後知りたいこと 終わりに ell-ai ご存知ですか…

#ell-ai #ell

LLMへの攻撃についてのサーベイ論文「Breaking Down the Defenses」で知った Prompt Injection の論文メモ

LLM

はじめに ふふっ。Python界の田中琴葉、nikkieです。 LLMへの攻撃の1つ、プロンプトインジェクションについて、サーベイ論文から代表的な論文をいくつか知りました。 論文を読んでいる中での中間アウトプットです。 目次 はじめに 目次 Breaking Down the De…

#LLM #Prompt Injection #プロンプトインジェクション攻撃

論文「Efficient Large Language Models: A Survey」よりText-Generation-Inferenceの箇所だけ読んだメモ

LLM

はじめに 厳しい1on1って、アオのハコの聖地巡礼だったんだね... nikkieです。 今回は、サーベイ論文のごくごく一部を読んでのメモ書きです。 目次 はじめに 目次 論文「Efficient Large Language Models: A Survey」 Text-Generation-Inference (TGI) TGIと…

#TGI #Text Generation Inference

LangChainを使って、同じプロンプトを複数のLLMのWeb APIに送る（GPTとGeminiを例に）

LLM

はじめに Sky Survive nikkieです。 LangChainでは初歩的なことだと思うのですが、ここ最近気になっていたことに解を得ました。 目次 はじめに 目次 同じプロンプトを複数のLLMのAPIに送りたい みんなのPython勉強会#109 池内さんの発表より 素振り：同じプ…

#LangChain #GPT-4 #gemini pro

文脈をプロンプトに含めてChatGPTとアニメ（ムビマス）についておしゃべりしていたスクリプトを、LangChain v0.2で動くように更新しました

LLM アニメ

はじめに 絵羽模様 nikkieです。 過去にLangChainのRetrievalQAを素振りしました。 これはLangChain v0.0.228で動かしたのですが、v0.2で動くように更新します。 目次 はじめに 目次 LangChainのRetrievalQAを使い文脈をプロンプトに含めることで、ChatGPTと…

#LangChain #RetrievalQA #RAG #Retrieval-Augmented Generation #ムビマス #THE IDOLM@STER MOVIE 輝きの向こう側へ! #embeddings

transformers.AutoModelForCausalLM の from_pretrained() の attn_implementation 引数に泣かされています（Gemmaを例に）

LLM

Today(※最近) I Learned です。 といっても全然うまくいっていません 目次 目次 AutoModelForCausalLM.from_pretrainedの引数 attn_implementation引数のデフォルト値 attn_implementation="eager"（訓練できる） attn_implementation="sdpa"かつ、Flash Att…

#LLM #Flash Attention #transformers

python -m bitsandbytes でGPU環境を診断

LLM

Today(※最近) I Learned です 目次 目次 LLMの量子化で知っていたbitsandbytes python -m bitsandbytes Colabでの実行例 実装 通らない場合 終わりに LLMの量子化で知っていたbitsandbytes 過去の素振りから、bitsandbytesはtransformers.BitsAndBytesConfig…

#bitsandbytes #GPU #CUDA

LLMアプリケーションのヒントを探して、AIあんの解説noteを読んだログ #TOKYOAI

LLM

目次 目次 都知事選 2024 AIあんの技術解説 Human-in-the-loop 積ん読 終わりに 都知事選 2024 2024年の都知事選は安野さんに注目しました。 安野さんは選挙活動の一環としてAIあんのを公開。 AIあんのをはじめとした選挙活動の一連のコードは公開予定（誰で…

#LLM #安野たかひろ #AIあんの #TOKYOAI

LoRAでPEFTしたモデルをrevision指定して読み込む (huggingface/peft 0.11.1)

LLM

タイトルで期待した方には最初にごめんなさいなのですが、0.11.1ではできません。 しかしできるようにする変更はマージされており、GitHubからインストールすればできます（0.11.2.dev0） はじめに チケットご用意されてほし〜 、nikkieです。 最近のToday I…

#LLM #PEFT #LoRA

HuggingFace CourseのCausal Language Modeling用データ処理のビデオを見たメモ

LLM NLP(自然言語処理)

4分30秒と短いビデオですが、予期していた以上に学びがありました。 目次 目次 Causal Language Modeling 入力 正解ラベル Causal Language Modeling 雑にいうと、テキスト生成。 それまでに与えられたトークン列から次のトークンを予測します ビデオ中の例…

trlのSFTTrainerの実装を覗き、初期化時にtokenizerやdata collatorがどのように設定されるかを理解する

LLM

はじめに ﾌｳｶﾁｬﾝ1 nikkieです。 trlというライブラリを使ったLLMのファインチューンのチュートリアルに過去に取り組みました。 その中で、自然言語のドキュメントではどうも細かい点が明確に分かりづらく、実装を見るのが手っ取り早そうと感じ始めました。 …

#trl #SFTTrainer #ソースコードリーディング #トークナイザー #data collator

『17才の帝国』を思い出す、2024夏

LLM

はじめに 新しい季節と誰かのサイン♪1 nikkieです。 『17才の帝国』というドラマについて、最近思うことを綴っていきます。 ※作品のネタバレありです 目次 はじめに 目次 17才の帝国（2022年） 閑話休題：Pythonさんご出演！！ 大規模言語モデルって、だいぶ…

#17才の帝国 #都知事選2024 #安野たかひろ

ミリシタを楽しむ私の身に起きた"RAG" 〜北沢志保さんのメモリアルコミュを例に〜

LLM アニメ

はじめに アソビストアでLOVEしたい！ nikkieです。 趣味のミリシタエントリを書いていきますが、LLMを追っている立場から技術トピックと悪魔合体させます。 ミリオンライブの楽しみ方は"RAG"なんだな〜と思い始めているという内容です（この時点でだいぶ意…

#アイドルマスター ミリオンライブ! #RAG #Retrieval-Augmented Generation #北沢志保

rasbtさんにならって、MacBook上でLlama 3を動かしてLLMの出力を評価させてみる

LLM

我が機械学習のヨーダ、rasbt氏1が興味深いことをやっていたのでパクってみます Was toying around with LLM model eval that run well on a laptop. Turns out Llama 3 8B Instruct is a pretty good evaluator that runs on a MacBook Air. I got a pretty…

#ollama #Llama 3 #LLM-as-a-Judge #openai-python

Hugging FaceのText Generation InferenceのGuidance、ユーザが望む出力形式を実現する仕組みの概略

LLM

Today I Learned1です。 目次 目次 Hugging FaceのText Generation Inference Guidance (Tutorialより) ドキュメントより、Guidanceの概念 終わりに Hugging FaceのText Generation Inference A Rust, Python and gRPC server for text generation inference…

#Hugging Face #Text Generation Inference #TGI #guidance #outlines

改良、Hugging Face Blogの「Fine-Tuning Gemma Models in Hugging Face」〜tokenizerの扱いとformatting_func引数に渡す関数〜

NLP(自然言語処理) LLM

はじめに 安かったから買ったってだけで！1 nikkieです。 Hugging Faceの記事の中に、Googleのgemmaをファインチューンする記事があります。 こちらについて手を動かす中で、どうやらデバッグに成功したように思われるのでこちらに記します。 なお、trlをは…

#gemma #trl #SFTTrainer #Hugging Face

llama.cppでLLMを量子化し、ollamaで動かせた！これで勝つる！（cyberagent/calm2-7b-chat量子化記事の再現編）

LLM

はじめに 愛衣ちゃん大勝利〜！！ nikkieです。 世はまさに大規模言語モデル1時代！ ollamaを使ってLLMをもふもふ手元のPC（CPUのみ）でも動かしています2が、その秘密は量子化。 今回は、今まで利用するだけだった量子化を自分でもやってみます 目次 はじめ…

#大規模言語モデル #LLM #量子化 #llama.cpp #ollama #OpenCALM2

ollamaはHugging Faceほど、オープンモデルのライセンスをユーザに意識させないんだなあ

LLM

はじめに ルールを守って楽しく決闘！ nikkieです。 最近ollamaをもふもふしているのですが、ちょっと思うところがあり、アウトプットネタに選びました。 ※自分用のメモの意味合いが強いです。ライセンスの解釈について専門知識は皆無ですので、記載は鵜呑み…

#ollama #GEMMA #Llama 3 #ライセンス

OpenAI Spring Update「Introducing GPT-4o」をアーカイブ視聴。音声解禁、リアルタイムで会話する数々のデモに震撼しました

LLM

はじめに ららーららーららー♪ nikkieです。 OpenAIのアップデート、これは失職したかもしれません（半年ぶり、たぶん通算3回目） 前回の失職（DevDay） 目次 はじめに 目次 OpenAI Spring Update「Introducing GPT-4o」 感想 観測した声 終わりに OpenAI Sp…

大規模言語モデルって、だいぶ『#アイの歌声を聴かせて』のシオンさんじゃね？（アイうたのネタバレあり）

LLM シオン・プロジェクト アニメ

はじめに リリイベありがとうございました！ nikkieです。 直近でエンジニアがアニメから得た学びをLTします。 このブログで何度も取り上げている『アイの歌声を聴かせて』の話になるのですが、話したいことが多すぎて持ち時間に収まりきりません。 そこで、…

#アイの歌声を聴かせて #AI #妄想 #LLM #プロンプト #エージェント #Copilot #モデルマージ

基本に立ち戻る：LLMのプロンプト

NLP(自然言語処理) LLM

はじめに すべてのエンチャントを破壊する。 nikkieです 4月末に複数の勉強会でLLMのプロンプトについてインプットしました。 復習またハーケンとして、今回アウトプットします 目次 はじめに 目次 プロンプトってなんだったっけ？『大規模言語モデル入門』…

#LLM #プロンプト #GPT-3 #Few-shot #in-context learning #文脈内学習 #CoT #chain of thought #ステップバイステップ

論文「Instruction Matters, a Simple yet Effective Task Selection Approach in Instruction Tuning for Specific Tasks」の研究上の位置づけを調べたメモ

LLM NLP(自然言語処理)

はじめに シャニアニ5話、イルミネがギスギスにならなくてホントよかった nikkieです。 今回は、Instruction Tuningに関する論文を読んだメモです。 通読ではなく、研究上の位置づけが知られそうな箇所を読み進めました。 目次 はじめに 目次 「Instruction …

#Instruction Tuning #論文メモ #位置づけ #流れ

Instruction Tuningをさがして（2024年4月時点の理解まとめ）

LLM NLP(自然言語処理)

はじめに みなさんは、死の先には何があると思いますか？ nikkieです。 連休で「Instruction Tuning」を少し調べまして、現時点の理解をまとめます。 ※間違ったことを書いていたら@ftnextまでツッコミを入れてください！（お手柔らかにお願いします） 目次 …

#LLM #Instruction Tuning #FLAN #Alpaca #ichikara-instruction

Apple Silicon・CPUでphi-3（Phi-3-mini-4k-instruct-gguf）を動かす

LLM

はじめに ユーフォ3期4話、めっちゃよかった。すっごいよかった nikkieです 最近登場したphi-3、気になったので触りました。 目次 はじめに 目次 届いたphi-3の興奮 Phi-3-mini-4k-instruct-ggufを動かす ollamaで動かす llama-cpp-pythonを使って動かす 量…

#Phi-3 #ollama #llama-cpp-python #transformers

イベントレポート | Bedrock Claude Night、Anthropic社Maggie VoさんのキーノートでClaudeを完全に理解した！ #jawsug_aiml

LLM イベントレポート

はじめに クロちゃんです！1 nikkieです 世はまさに大LLM時代。 OpenAIのGPTにうつつを抜かしていたところ、GeminiやClaudeも登場。 Claudeを高く評価する声を見かけて気になっていましたが、このたび開発元のAnthropicの話を聞く機会がありました。 目次 は…

#Bedrock #Claude #Anthropic #Claude 3 #jawsug_aiml #Bedrock Claude Night