LLMアプリケーションのヒントを探して、AIあんの解説noteを読んだログ #TOKYOAI

都知事選 2024

2024年の都知事選は安野さんに注目しました。

安野さんは選挙活動の一環としてAIあんのを公開。
AIあんのをはじめとした選挙活動の一連のコードは公開予定（誰でも利用可能にする）と発言されています（執筆時点で公開されているかは不明）

安野さんのnoteマガジンの中には技術記事もあります。
都知事候補安野たかひろ選挙活動ストーリー｜#安野たかひろ事務所（公式）｜note

この技術記事を読んだログです。

AIあんの技術解説

AIあんのは、安野たかひろの政策を学習したAI応答システムが、本人のアバターと声色によって、Youtube Liveと電話という2つの経路で、みなさまのご意見やご質問に回答するシステムです。

実装はRAGなんですよね。
RAGアプリケーションのベンチマークだと思っており、コード公開を楽しみにしています。

ポイントとしては、本人の政策を自動生成で喋らせる以上、本人の考えと異なることを発言するのはなるべく避けたいので、ChatGPTでダブルチェックなどを行い、有効回答の生成率が多少下がることを許容し安全側に倒しています。

返答生成（RAG）に詳しい記事が以下

タスクを分割して複数のプロンプトで実現
検索後、（LLMで）リランキングして返答生成
ハルシネーションチェック、事例として興味深い

AIあんのでは生成された返答においてハルシネーションが発生していないかをLLMで自動検知する仕組みを導入しています。

Human-in-the-loop

AIあんので強く興味を惹かれたのは、Human-in-the-loop。

AIあんのの文脈に含める知識に使うFAQについて、回答を人間が整備したというHuman-in-the-loop事例。
整備を効率化するために、LLMで質問にカテゴリ分類&タグ付け、人間が得意分野の回答生成に注力できる！
LLM as a Judgeは今回はうまくいかなかったとのことhttps://t.co/d5eV1btOXU #TOKYOAI
— nikkie / にっきー技書博け-04 Python型ヒント本 (@ftnext) 2024年7月8日

回答できなかった質問に人間が回答を用意！
この動きにより、似た質問が次回されたときには回答できると期待されます（協働している！）

人間が回答を用意するのも労力がかかるので、ここをLLMでサポートしています。

（noteより引用）

なるべく人の手をかけずに効率よく回答を作成する為に、質問に対する回答作成に人間が着手する前にLLMを用いたタグ付けとカテゴリ分類を事前に実施しています。

タグ付け・カテゴリ分類を行う意図は、回答作成のアサインを効率化するためです。

もう1本、カテゴリ分類事例の詳細

Human-in-the-loopでAIあんの向けのデータ（FAQ）整備するために、GPT-4oで質問をカテゴリ分類したとのこと #TOKYOAI

工夫はマルチプロセスや1プロンプトで複数質問処理（記事ではバッチ処理）
カテゴリを自由に作らせて分類させたあと、カテゴリをまとめて再分類させているhttps://t.co/4dkIMfqs2c
— nikkie / にっきー技書博け-04 Python型ヒント本 (@ftnext) 2024年7月9日