nikkie-ftnextの日記

イベントレポートや読書メモを発信

イベントレポート | Bedrock Claude Night、Anthropic社Maggie VoさんのキーノートでClaudeを完全に理解した！ #jawsug_aiml

LLM イベントレポート

はじめに

クロちゃんです！1 nikkieです

世はまさに大LLM時代。
OpenAIのGPTにうつつを抜かしていたところ、GeminiやClaudeも登場。
Claudeを高く評価する声を見かけて気になっていましたが、このたび開発元のAnthropicの話を聞く機会がありました。

目次

勉強会の概要

JAWS-UG AI/ML支部、東京支部の合同イベント。
目黒 & YouTube Liveのハイブリッドで開催されました

オンラインは限定公開ですが、後日アーカイブ公開されるようです。
Togetterにまとめてみました。

私の一推しポイントはこちら：

Anthropic エンジニアチームがビデオ出演！

以前OpenAI DevDayで一次情報を得られた経験が大きかった2ので、今回もAnthropicの方からお話を聞けるのを楽しみにしていました。
キーノートで印象的だった点をメモに残します

安全性のAnthropic

AIの安全性に重きをおいているんだなと知りました。
言われてみると、このスタンスはOpenAIやGoogleとの差別化ポイントかも

ジェイルブレイク3耐性を見て、有言実行しているという印象を受けました。
棒グラフはジェイルブレイクの成功率で低いほうが良いです。
Claude 2で0%、3でさらに改善しているとのこと

積ん読

Claude 3はどうして3つもモデルがあるの？

利用者に選択肢を提供してくれているという理解です。

Anthropicの立場として、one size fits all（どんなユースケースにも対応できる万能のモデル）は存在しないとのこと。
コストとインテリジェンス（性能）の2軸でトレードオフがあります。

https://www.anthropic.com/news/claude-3-family より画像

Haiku／Sonnet／Opusと3つあるのは、トレードオフを考慮して利用者が選択するためなんだと気づきました。
タスクごとにコスト（料金や処理時間）と性能の要求は異なりますもんね！

印象的だった例がこちら

数千のスキャンされたドキュメントデータ（画像）をHaikuで構造化しています。
大量データを捌くという観点でHaikuが選ばれているんでしょうね。
Haikuは2秒で1冊分読める速さとも紹介されており、納得の選択です（上のグラフで賢さがめちゃ落ちているわけでもないですし）。
恥を忍んで告白すると、最高性能のOpusで常に殴ればいいと考えていました...

その他印象的だった点

Claude 3はマルチモーダル（視覚も持つ）のデモでびっくりしたのがこちら。
エディタで2つのファイルをside-by-sideで開いたスクリーンショットと「ユニットテストを書いて」で、テストコードが出力されたんです！
Copilotのようにコードを見ているならまだしも、画像4からいけるのはすごすぎる！

手書きのホワイトボードも認識！
構造化してくれるとのこと

あとはClaude 3のモデル間のエージェントですね。
こんなことできるの！？

終わりに

Bedrock Claude Nightのキーノートの印象に残った点のレポートでした。
キャッチアップの手が回っていなかったClaude、今回のイベントで完全に理解した（気がする）！

  • 安全性に重きをおいて開発（ジェイルブレイク成功率 0%）
  • 開発者に選択肢を与える3つのモデル（トレードオフを考慮して選択）

キーノートではAnthropicのサイト内のさまざまなリソースも紹介され、（興味深いLTも目白押しで）お腹いっぱいです！
今回は貴重な機会をありがとうございました！

  1. https://dot.asahi.com/articles/-/14732?page=1 より。これは引用なんですが、ブログの始まり方がカオスですねw↩
  2. いくつか記事を書いています ↩
  3. 参考：ChatGPTが答えられない質問でも強引に聞き出す「ジェイルブレイク」が可能になる会話例を集めた「Jailbreak Chat」 - GIGAZINE↩
  4. からあげさんの記事を過去に見ていました。 画像からユニットテストという今回の例は、私にはあまりにもやばいです↩