nikkie-ftnextの日記

イベントレポートや読書メモを発信

2024-05-20から1日間の記事一覧

llama.cppでLLMを量子化し、ollamaで動かせた!これで勝つる!(cyberagent/calm2-7b-chat量子化記事の再現編)

LLM

はじめに 愛衣ちゃん大勝利〜!! nikkieです。 世はまさに大規模言語モデル1時代! ollamaを使ってLLMをもふもふ手元のPC(CPUのみ)でも動かしています2が、その秘密は量子化。 今回は、今まで利用するだけだった量子化を自分でもやってみます 目次 はじめ…