2024-05-21から1日間の記事一覧
はじめに ピーーーーーーー。1nikkieです。 transformersを使ったLLMのファインチューニング(SFT)のコードを最近眺めているのですが、data collatorという概念がよく分かっていません。 1日1エントリを使って調べてみます。 目次 はじめに 目次 transforme…
はじめに ピーーーーーーー。1nikkieです。 transformersを使ったLLMのファインチューニング(SFT)のコードを最近眺めているのですが、data collatorという概念がよく分かっていません。 1日1エントリを使って調べてみます。 目次 はじめに 目次 transforme…