LLM
はじめに 右から左へ〜 受け流す〜♪ nikkieです。 Blackbeard1を例に、GitHub Copilot Extensionsを実装して知ったことを記事にします。 目次 はじめに 目次 LT「PythonでもGitHub Copilot Extensions作れるもん!」 読み解きNode.js版Blackbeard 1️⃣Streami…
はじめに 今晩は朝までラーニング! nikkieです。 ChatGPTが流れるように出力する仕組みに迫る素振りです。 目次 はじめに 目次 OpenAI Cookbook「How to stream completions」 動作環境 streamを指定しない場合 streamを指定する場合 まとめ:OpenAIのChat c…
はじめに 整合騎士、nikkie・シンセシス・ワンハンドレッドエイトです。 LLMの情報収集では、松尾研 LLM コミュニティに大変お世話になっています。 合成データ回の試聴メモを記事として残します(あくまで今の私の理解です)。 複数回見て、ようやく分かっ…
はじめに 泣き顔のままで会いに行こう♪ 泣き顔のままで笑おう♪ nikkieです スタッフをしているみんなのPython勉強会のお知らせ記事です。 目次 はじめに 目次 11/14(木) みんなのPython勉強会#110 サムライズム 山本さん『Python開発環境 - PyCharmとAI』 Gi…
はじめに ろこどるは実質ミリオンライブ! nikkieです。 11月のVS Code Meetupで知った GitHub Copilot Extensions を素振りしました。 目次 はじめに 目次 VS Code Meetup #32よりGitHub Copilot Extensions Blackbeardを動かす Blackbeardエージェントをデ…
はじめに 桜になりたいバラ、うう... nikkieです。 LLMをサーブする環境を思いのほか簡単に立てられそうと気づき、素振りしました。 切ってくぜ、身銭! 目次 はじめに 目次 用語の整理 見つけたチュートリアル「Deploy Gemma2 with multiple LoRA adapters …
はじめに 入寮した魔瞳の大鷲、やべーやつしかいねーぞ!! nikkieです1。 OpenAIのModeration APIなるものを素振りしました。 目次 はじめに 目次 OpenAIのドキュメントより「Safety best practices」 Moderation API 終わりに OpenAIのドキュメントより「S…
はじめに 1、2、3、4、せーの!1 nikkieです。 LLM関係の気になるライブラリ ell-ai を小さく素振りしました 目次 はじめに 目次 ell-ai ell-ai素振り @ell.simple、"魔法"の仕組みの一端をのぞき見る ell-ai 今後知りたいこと 終わりに ell-ai ご存知ですか…
はじめに ふふっ。Python界の田中琴葉、nikkieです。 LLMへの攻撃の1つ、プロンプトインジェクションについて、サーベイ論文から代表的な論文をいくつか知りました。 論文を読んでいる中での中間アウトプットです。 目次 はじめに 目次 Breaking Down the De…
はじめに 厳しい1on1って、アオのハコの聖地巡礼だったんだね... nikkieです。 今回は、サーベイ論文のごくごく一部を読んでのメモ書きです。 目次 はじめに 目次 論文「Efficient Large Language Models: A Survey」 Text-Generation-Inference (TGI) TGIと…
はじめに Sky Survive nikkieです。 LangChainでは初歩的なことだと思うのですが、ここ最近気になっていたことに解を得ました。 目次 はじめに 目次 同じプロンプトを複数のLLMのAPIに送りたい みんなのPython勉強会#109 池内さんの発表より 素振り:同じプ…
はじめに 絵羽模様 nikkieです。 過去にLangChainのRetrievalQAを素振りしました。 これはLangChain v0.0.228で動かしたのですが、v0.2で動くように更新します。 目次 はじめに 目次 LangChainのRetrievalQAを使い文脈をプロンプトに含めることで、ChatGPTと…
Today(※最近) I Learned です。 といっても全然うまくいっていません 目次 目次 AutoModelForCausalLM.from_pretrainedの引数 attn_implementation引数のデフォルト値 attn_implementation="eager"(訓練できる) attn_implementation="sdpa"かつ、Flash Att…
Today(※最近) I Learned です 目次 目次 LLMの量子化で知っていたbitsandbytes python -m bitsandbytes Colabでの実行例 実装 通らない場合 終わりに LLMの量子化で知っていたbitsandbytes 過去の素振りから、bitsandbytesはtransformers.BitsAndBytesConfig…
目次 目次 都知事選 2024 AIあんの技術解説 Human-in-the-loop 積ん読 終わりに 都知事選 2024 2024年の都知事選は安野さんに注目しました。 安野さんは選挙活動の一環としてAIあんのを公開。 AIあんのをはじめとした選挙活動の一連のコードは公開予定(誰で…
タイトルで期待した方には最初にごめんなさいなのですが、0.11.1ではできません。 しかしできるようにする変更はマージされており、GitHubからインストールすればできます(0.11.2.dev0) はじめに チケットご用意されてほし〜 、nikkieです。 最近のToday I…
4分30秒と短いビデオですが、予期していた以上に学びがありました。 目次 目次 Causal Language Modeling 入力 正解ラベル Causal Language Modeling 雑にいうと、テキスト生成。 それまでに与えられたトークン列から次のトークンを予測します ビデオ中の例…
はじめに フウカチャン1 nikkieです。 trlというライブラリを使ったLLMのファインチューンのチュートリアルに過去に取り組みました。 その中で、自然言語のドキュメントではどうも細かい点が明確に分かりづらく、実装を見るのが手っ取り早そうと感じ始めました。 …
はじめに 新しい季節と誰かのサイン♪1 nikkieです。 『17才の帝国』というドラマについて、最近思うことを綴っていきます。 ※作品のネタバレありです 目次 はじめに 目次 17才の帝国(2022年) 閑話休題:Pythonさんご出演!! 大規模言語モデルって、だいぶ…
はじめに アソビストアでLOVEしたい! nikkieです。 趣味のミリシタエントリを書いていきますが、LLMを追っている立場から技術トピックと悪魔合体させます。 ミリオンライブの楽しみ方は"RAG"なんだな〜と思い始めているという内容です(この時点でだいぶ意…
我が機械学習のヨーダ、rasbt氏1が興味深いことをやっていたのでパクってみます Was toying around with LLM model eval that run well on a laptop. Turns out Llama 3 8B Instruct is a pretty good evaluator that runs on a MacBook Air. I got a pretty…
Today I Learned1です。 目次 目次 Hugging FaceのText Generation Inference Guidance (Tutorialより) ドキュメントより、Guidanceの概念 終わりに Hugging FaceのText Generation Inference A Rust, Python and gRPC server for text generation inference…
改良、Hugging Face Blogの「Fine-Tuning Gemma Models in Hugging Face」〜tokenizerの扱いとformatting_func引数に渡す関数〜
はじめに 安かったから買ったってだけで!1 nikkieです。 Hugging Faceの記事の中に、Googleのgemmaをファインチューンする記事があります。 こちらについて手を動かす中で、どうやらデバッグに成功したように思われるのでこちらに記します。 なお、trlをは…
はじめに 愛衣ちゃん大勝利〜!! nikkieです。 世はまさに大規模言語モデル1時代! ollamaを使ってLLMをもふもふ手元のPC(CPUのみ)でも動かしています2が、その秘密は量子化。 今回は、今まで利用するだけだった量子化を自分でもやってみます 目次 はじめ…
はじめに ルールを守って楽しく決闘! nikkieです。 最近ollamaをもふもふしているのですが、ちょっと思うところがあり、アウトプットネタに選びました。 ※自分用のメモの意味合いが強いです。ライセンスの解釈について専門知識は皆無ですので、記載は鵜呑み…
はじめに ららーららーららー♪ nikkieです。 OpenAIのアップデート、これは失職したかもしれません(半年ぶり、たぶん通算3回目) 前回の失職(DevDay) 目次 はじめに 目次 OpenAI Spring Update「Introducing GPT-4o」 感想 観測した声 終わりに OpenAI Sp…
はじめに リリイベありがとうございました! nikkieです。 直近でエンジニアがアニメから得た学びをLTします。 このブログで何度も取り上げている『アイの歌声を聴かせて』の話になるのですが、話したいことが多すぎて持ち時間に収まりきりません。 そこで、…
はじめに すべてのエンチャントを破壊する。 nikkieです 4月末に複数の勉強会でLLMのプロンプトについてインプットしました。 復習またハーケンとして、今回アウトプットします 目次 はじめに 目次 プロンプトってなんだったっけ?『大規模言語モデル入門』…
はじめに シャニアニ5話、イルミネがギスギスにならなくてホントよかった nikkieです。 今回は、Instruction Tuningに関する論文を読んだメモです。 通読ではなく、研究上の位置づけが知られそうな箇所を読み進めました。 目次 はじめに 目次 「Instruction …
はじめに みなさんは、死の先には何があると思いますか? nikkieです。 連休で「Instruction Tuning」を少し調べまして、現時点の理解をまとめます。 ※間違ったことを書いていたら@ftnextまでツッコミを入れてください!(お手柔らかにお願いします) 目次 …