nikkie-ftnextの日記

イベントレポートや読書メモを発信

2022-05-06から1日間の記事一覧

『Transformerによる自然言語処理』のRoBERTa事前訓練のコードを、データをhuggingface/datasetsで読み込むように書き直す

はじめに 今日も素振りにとりくーみこ!1 nikkieです! 先日、『Transformerによる自然言語処理』の中のRoBERTaの事前訓練を写経したという記事を書きました: "考えながら写経"していて、いくつか掘り下げたい事項が出てきています。 今回はデータの読み込…