CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 現在の「いまちゃん」 できること ・1:nの対話 by GPT-4 ・短期記憶と長期記憶 ・文章ごとの感情生成と音声・表情の変更 ・音声認識 ・ツイート - @imaliveai ・歌を歌う ・マルチモーダル（Vision to Text）
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy Motivation - AI × Entertainment × Global ● 人間らしいAITuberをもっと作りたい...... ● 作詞作曲をしてライブできる存在にしたい...... ● 紅白歌合戦にAI歌手を出したい......
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy VectorStore LlamaIndex “いまちゃん”の超ざっくり全体像（LLM関連のみ） Core Layer GPT-4 Language Model Prompt Base Chara cter Context Store NoSQL + + GPT-3.5 FT Retrieval-augmented Models 今日のテーマ
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy よくある事例 画像引用：Llamaindex を用いた社内文書の ChatGPT QA ツールをチューニングする GMO Tech blog（Link） LLMが回答できない最新の知識・学習できない社内情報 をインプットし回答可能にする
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy RAGに期待するものは”知識”の同定 コスト的概念 振る舞いを同定する 知識を同定する Prompt Tuning In Context Learning Fine Tuning RAG RLHF 事前学習 引用：最近のLLMの学習法のまとめ - SFT・RLHF・RAG by npakaさん（Link）を元にスライド作成者の解釈を加え編集 合わせて広義の Prompt Engineering
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy “いま”における事例 = AIタレントに求められる要件 ・・・プロフィールや生まれ持った人間関係 先天的知識 学習知識・経験 文脈 振る舞い ・・・SNSやGoogle検索で得た”知識”・”体験” ・・・会話・配信の中のやり取り履歴 ・・・口調、返し方、感情 etc
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy いまにおける事例 先天的知識 学習知識 文脈 振る舞い Prompt Fine Tuning RAG Prompt Engineering 先天的知識 学習知識・経験 文脈 振る舞い
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 今日紹介するTips 1. 対話ログを保持できるようにしたい 2. OpenAI GPT-3.5のFineTuningモデルと1を併用したい 3. ドキュメントが大型化・複雑化しても検索させたい ※LlamaIndex 0.8.12を前提にお話を進めます。 最新が0.8.43（23/10/12時点）ですが有用だと思われます。 逆に0.8.12未満だとGPT3.5のFineTuningに対応していないため今回のケースの2は利用できません。
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 今日紹介するTips 1. 対話ログを保持できるようにしたい 2. OpenAI GPT-3.5のFineTuningモデルと1を併用したい 3. ドキュメントが大型化・複雑化しても検索させたい
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 1-1. 対話ログ保持のモチベーション 学習知識と文脈の保持を両立させたい。 ・・・プロフィールや生まれ持った人間関係 先天的知識 学習知識 文脈 振る舞い ・・・SNSやGoogle検索で得た”知識” ・・・会話・配信の中のやり取り履歴 ・・・口調、返し方、感情 etc 先天的知識 学習知識・経験 文脈 振る舞い
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 1-2. 具体的な手法（概要編） ChatMessageとChat Engine Context Modeの利用 Document読み込み Index作成 message履歴作成 Memoryインスタンス作成 ChatEngine Context Mode SimpleDirectoryReaderなどでドキュメントのLoad VectorStoreIndexなどでindex作成 1.対話履歴の辞書型データ用意（ChatAPIのリスト形式でok） 2.ChatMessageというクラスを用いてLlamaが理解できる対話履歴 の形に変換する ChatMemoryBufferクラスを用いて対話履歴をChatEngineに渡せ るようにする index.as_chat_engineの引数chat_modeに”context”、memory にMemoryインスタンスを渡す。 Service Context作成 Service Contextを作成。llmにはOpenAIのgptモデルを指定
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 1-2. 具体的な手法（詳細編） ポイント2：ContextモードでChatEngine利用 Memoryインスタンス作成 Context Modeで ChatEngineを利用する
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 1-3.失敗事例 chat_mode = CondenseQuestionModeを利用 対話履歴+Llamaという手法でCondenseQuestionModeを 利用することも可能だが、、 対話生成までの速度がかなり落ちます。 ※Contextを使うとLlamaを使わない場合と変わらない生成速度でした
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 今日紹介するTips 1. 対話ログを保持できるようにしたい 2. OpenAI GPT-3.5のFineTuningモデルと1を併用したい 3. ドキュメントが大型化・複雑化しても検索させたい
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 2-1. 対話ログ保持のモチベーション 学習知識と文脈と振る舞いの保持を両立させたい。 ・・・プロフィールや生まれ持った人間関係 先天的知識 学習知識 文脈 振る舞い ・・・SNSやGoogle検索で得た”知識” ・・・会話・配信の中のやり取り履歴 ・・・口調、返し方、感情 etc 先天的知識 学習知識・経験 文脈 振る舞い
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 2-2. 具体的な手法（概要編） 1の手法からの変更点はService Context作成のみ Document読み込み Index作成 message履歴作成 Memoryインスタンス作成 ChatEngine Context Mode SimpleDirectoryReaderなどでドキュメントのLoad VectorStoreIndexなどでindex作成 1.対話履歴の辞書型データ用意（ChatAPIのリスト形式でok） 2.ChatMessageというクラスを用いてLlamaが理解できる対話履歴 の形に変換する（ポイント1） ChatMemoryBufferクラスを用いて対話履歴をChatEngineに渡せ るようにする index.as_chat_engineの引数chat_modeに”context”、memory にMemoryインスタンスを渡す。 Service Context作成 finetuneしたモデル専用のllmインスタンスでservice_context作成
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 2-2. 具体的な手法（詳細編） 地味に分からないチューニング済みのモデル利用法 LlamaIndex公式ドキュメントには既存モデルの利用方法の記載がなく、ソースコードを読みながらなんとか実 行したのが上記のコード。コツはstart_job_idにチューニング済みモデルのidを渡すこと。
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 今日紹介するTips 1. 対話ログを保持できるようにしたい 2. OpenAI GPT-3.5のFineTuningモデルと1を併用したい 3. ドキュメントが大型化・複雑化しても検索させたい
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 3-2. 具体的な手法（概要編） 多岐にわたり、全部話すと時間がないのでまたどこかで。 ・・・読み込むドキュメントの構造整理、Metadata付与 etc. Documentの最適化 Node・Index作成最適化 Queryの最適化 Embeddingの最適化 ・・・chunk size最適化、NodeParserの利用、Index作成方法の変更 etc. ・・・Recursive Retrieverの利用、Auto-Retrievalの利用 etc. ・・・Embedding modelのFineTuning 更新方法の最適化 ・・・Document更新に対して作成済みIndexを正しく更新できてない etc.
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy 3-2. 取り組んだ結果の考え方 1. 読み込むドキュメントを減らせるなら減らす 2. 減らせないなら構造（見出し + 行 + Levelの平準化）を最適化する 3. ドキュメントが10ページ以内なら手動でMetaData付与、それを超えるなら Automatic Metadata Extractionを試してみるといいかも。 4. 検索精度と結果取得速度のトレードオフに陥る手法もあるので注意してください。
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy あとはLlama公式ドキュメントで扱っている手法をとにかく試して自分のProductに合う 手法を探すのが一番です......。愛を持って取り組みましょう......。
CONFIDENTIAL INFORMATION Not For Public Distribution - Do Not Copy We are Hiring ● 中が人なのかAIなのかどうでもいい時代を創りたい！ ● AIが紅白歌合戦に出る事態をつくってみたい！ ● 言語以外のメディアも扱う総合格闘技感楽しそう！ 一緒にAIアイドルグループを創る仲間を募集してます〜！ ● エンジニア大募集中です！
kanadadada
ivargrimstad
bungoume
mariofusco
takahashiikki
yamamotohiroya
hollycummins
nwiizo
memory1994
mh4gf
andyatkinson
o0h
steelydylan
jensimmons
cromwellryan
michaelherold
gr2m
colly
paigeccino
marktimemedia
lemiorhan
cherdarchuk
chriscoyier
smashingmag
zakiyama