目指すは自分専用アシスタント！？~社内向けAIチャットボットの開発とその展望~

Transcript

1. 目指すは自分専用アシスタント！？
   ~社内向けAIチャットボットの開発と
   その展望~
   グリー株式会社
   開発本部 情報システム部 エンジニア
   萩原 勝
   

   View Slide

2. 自己紹介
   ● 名前
   ○ 萩原 勝(はぎわら まさる)
   ● 略歴
   ○ ソフトウェアエンジニア →SE→社内SEを経て、
   2023年4月グリー株式会社入社。
   ● 所属
   ○ グリー株式会社
   開発本部 / 情報システム部 / ITマネジメントグループ
   ITサービスオペレーションチーム
   ● 業務内容
   ○ 社内ITシステムの企画・運用
   2
   

   View Slide

3. グリーの社内ツール
   3
   Slack
   Zoom
   Confluence
   クラウドストレージ
   電子署名
   業務システム
   Adobe Sign
   ワークフロー
   ServiceNow
   サービスデスク
   JIRA
   Slack
   データ共有
   Google Drive
   Box
   ファイルサーバ
   Cohesity
   問い合わせ
   ナレッジ共有
   Wiki
   Portal
   Sharepoint Online
   横断検索
   Google Cloud Search
   コミュニケーション
   ビジネスチャット
   Web会議
   コラボレーション
   開発基盤
   アプリケーション開発
   Google Cloud
   データ連携
   Workato
   Google Workspace
   設備-ネットワーク 設備-オフィス
   Azure Active Directory
   Client VPN
   Global Protect
   無人受付システム
   RECEPTIONIST
   ビジネスフォン
   INNOVERA
   レポート
   Looker Studio
   VDI
   Amazon Workspaces
   SSO
   Google Sites
   ビデオ会議システム
   DTEN, Neat Bar
   

   View Slide

4. 本日の内容
   ● 生成AIを取り巻く状況
   ● 情シスにおける生成AIへの取り組み
   ○ Azure OpenAIの利用検討
   ○ 自社データに答えてくれる AIチャットボットを目指すに至った経緯
   ○ 技術的な実装例
   ○ 現状のサンプル
   ● 今後の展望について
   4
   

   View Slide

5. 生成AIを取り巻く状況
   昨年11月にChatGPTがリリースされて以降、各社生成
   AIを用いたサービスを次々にリリース。
   ● OpenAI社：ChatGPT(Enterprise含)
   ● Microsoft社
   ○ Bing Chat(Enterprise含)
   ○ Microsoft 365 Copilot
   ○ Azure OpenAI Service
   ● Google社
   ○ Bard
   ○ Duet AI
   ○ Google Cloud Vertex AI(PaLM2)
   ● その他ツール
   ○ Atlassian(Jira,Confluence) ： Atlassian Intelligence
   ○ Slack ：Slack AI
   ○ etc..
   5
   

   View Slide

6. 生成AIを取り巻く状況
   6
   ● ChatGPT
   ● Bing Chat
   ● Bard
   コンシューマー向け
   ビジネスユース向け
   ● ChatGPT Enterprise
   ● Azure OpenAI Service
   ● Google Cloud Vertex
   AI(PaLM2)
   開発型
   ● Bing Chat Enterprise
   ● Microsoft 365 Copilot
   ● Duet AI
   ● Atlassian Intelligence
   ● Slack AI
   ツールネイティブ型
   

   View Slide

7. 生成AIを取り巻く状況
   7
   ● ChatGPT
   ● Bing Chat
   ● Bard
   コンシューマー向け
   ビジネスユース向け
   ● ChatGPT Enterprise
   ● Azure OpenAI Service
   ● Google Cloud Vertex
   AI(PaLM2)
   開発型
   ● Bing Chat Enterprise
   ● Microsoft 365 Copilot
   ● Duet AI
   ● Atlassian Intelligence
   ● Slack AI
   ツールネイティブ型
   

   View Slide

8. 情シスにおける生成AIへの取り組み
   8
   

   View Slide

9. Azure OpenAI Serviceの活用検証
   ● 認証基盤として利用していて導入が容易
   ● セキュリティ/ガバナンスの制御
   a. ログ
   b. 認証
   c. NW
   ● 責任あるAIへの対応
   a. コンテンツフィルタリング
   b. プライバシー
   9
   

   View Slide

10. Azure OpenAIとは
    ● Azureの1サービス
    ● OpenAI社とパートナーシップを結んでいるため、ChatGPTで使われているGPTモ
    デルを利用できる
    ● Azureの各種サービスと組み合わせることで、エンタープライズ要件に対応したAI
    環境を構築可能
    10
    

    View Slide

11. どう活用するか
    当初(5月くらい)の検討
    11
    ● 自社専用のChatGPTクローンな環境
    →あまり使ってもらえなそう。。
    ● Slackなどの社内ツールから生成 AIを使える
    ようにする
    →そのうち機能として搭載されそう。
    

    View Slide

12. 自社データに答えてくれるAIチャットボット
    生成AIは特定時点までのwebに公開された情報にしか答えてくれない。
    12
    自社が保有している情報に対しても回答してくれることに価値。
    社内の煩雑な社内手続きを読み取って、答えてくれるAIチャットボット
    

    View Slide

13. 生成AIに自社データを回答させる手法
    ● Fine-tuning
    既に学習済みの生成AIのモデル(GPT)を、トレーニングデータと呼ばれるデータセットを使って、再
    学習させる方法。
    →トレーニングデータの作成や、再学習後のモデルの調整、実行にかかるコスト等、まだカジュアル
    にできるものではない印象。
    ● Retrieval Augmented Generation(RAG)
    回答に必要な、言語モデルが知りえない情報を外部のデータソースから取得し、回
    答を生成する手法。
    →データソースの準備など、事前に必要な作業はあるが、Fine-tuningよりは比較
    的取り組みやすい状況。
    13
    

    View Slide

14. オーケストレー
    ション
    (バックエンド)
    RAGのアーキテクチャ
    14
    生成AI
    (API)
    フロントAPP
    ①入力
    例) PCやモニタを会社に発送したい
    ⑤回答を返す
    ユーザー
    DB
    ・
    ・
    ・
    社
    内
    の
    ド
    キ
    ュ
    メ
    ン
    ト
    ②検索クエリに分解
    ③検索→結果取得
    ④検索結果+当初の質問文
    をもとに回答を作成
    ⓪事前準備
    社内の情報をインデックス
    という形式で格納
    (PDF)
    

    View Slide

15. オーケストレー
    ション
    (バックエンド)
    RAGのアーキテクチャ
    15
    生成AI
    (API)
    フロントAPP
    ①入力
    例) PCやモニタを会社に発送したい
    ⑤回答を返す
    ユーザー
    DB
    ・
    ・
    ・
    社
    内
    の
    ド
    キ
    ュ
    メ
    ン
    ト
    ②検索クエリに分解
    ③検索→結果取得
    ④検索結果+当初の質問文
    をもとに回答を作成
    ⓪事前準備
    社内の情報をインデックス
    という形式で格納
    (PDF)
    Azure OpenAI Service
    Cognitive Search
    プログラム
    App Service
    プログラム
    

    View Slide

16. オーケストレー
    ション
    (バックエンド)
    RAGのアーキテクチャ
    16
    生成AI
    (API)
    フロントAPP
    ①入力
    例) PCやモニタを会社に発送したい
    ⑤回答を返す
    ユーザー
    DB
    ・
    ・
    ・
    社
    内
    の
    ド
    キ
    ュ
    メ
    ン
    ト
    ②検索クエリに分解
    ③検索→結果取得
    ④検索結果+当初の質問文
    をもとに回答を作成
    ⓪事前準備
    社内の情報をインデックス
    という形式で格納
    (PDF)
    Azure OpenAI Service
    Cognitive Search
    プログラム
    App Service
    プログラム
    非機能系の実装
    ・ログ管理、認証、ＮＷ制限、コスト管理、アクセス権
    ・運用方法
    

    View Slide

17. Azure OpenAI on your dataの登場
    ● 先ほどのRAGのアーキテクチャを、画面数回のクリックで構築できるAzure
    OpenAIの機能
    17
    

    View Slide

18. オーケストレー
    ション
    (バックエンド)
    RAGのアーキテクチャ
    18
    生成AI
    (API)
    フロントAPP
    ①入力
    例) PCやモニタを会社に発送したい
    ⑤回答を返す
    ユーザー
    DB
    ・
    ・
    ・
    社
    内
    の
    ド
    キ
    ュ
    メ
    ン
    ト
    ②検索クエリに分解
    ③検索→結果取得
    ④検索結果+当初の質問文
    をもとに回答を作成
    ⓪事前準備
    社内の情報をインデックス
    という形式で格納
    (PDF)
    Azure OpenAI Service
    Cognitive Search
    プログラム
    App Service
    プログラム
    非機能系の実装
    ・ログ管理、認証、ＮＷ制限、コスト管理、アクセス権
    ・運用方法
    

    View Slide

19. Azure OpenAI Service リファレンスアーキテクチャ
    ● エンタープライズにおける活用シナリオを想定した参考アーキテクチャ
    ● IaCのコードで構築
    19
    

    View Slide

20. Azure OpenAI Service リファレンスアーキテクチャ
    20
    

    View Slide

21. まとめと今後の展望について
    ● エンタープライズ用途に耐えうる自社データに答えるAIチャットボットが比較的カ
    ジュアルに構築できる環境が整ってきている。
    ● 現状MS系のデータソースや特定のファイル拡張子にしか対応していないのが課
    題。
    →最近Google社のPaLM 2が日本語対応したので、そちらも含めてグリーにとっ
    て最適な導入形態を検討していきます。
    ● 将来的な構想として、社内のことに答えてくれるのはもちろん、棚卸などの煩雑な
    社内業務も依頼すればやってくれる、自分専用のアシスタントが一人一人について
    くれるようなものを提供したいと思っています。
    21
    

    View Slide

22. 22
    

    View Slide