はじめに うにおん！ならぬ、うにこーど！ nikkieです。 先日ChatGPTがどのように日本語テキストをトークン化するのか覗きました。 トークンのIDから対応するテキストを見ようとPythonのbytesを扱ったわけですが、その中で感じた疑問についてアウトプットで…