Google製LLM PaLM2と対話できるLINE_Botを爆速開発ハンズオン

Transcript

1. Google製LLM「PaLM2」と対話できるLINE Botを
   爆速開発ハンズオン
   1
   

   View Slide

2. 本日やること
   ● 本日やること
   ● 自己紹介
   ● 完成品の動作
   ● 構成
   ● 今回使う技術
   ● VertexAIとは
   ● PaLM2とは
   ● CloudRunとは
   ● 実際に作ろう
   ● まとめ
   2
   

   View Slide

3. 自己紹介
   3
   Amazon ベストセラー獲得
   Kento.Yamada (github,Twitter,zenn,Qiita＠ymd65536)
   経歴
   ● 2022年10月～現在 虎ノ門のCIer
   ○ Multi Cloud Developer
   ● （2016年～2022年9月）某通信キャリアの子会社
   ○ ITスペシャリスト
   

   View Slide

4. 完成品の動作
   4
   デモをやります！
   

   View Slide

5. 全体構成
   5
   Artifact
   Registry
   Cloud Run
   Vertex AI
   

   View Slide

6. デプロイ時の構成
   6
   Artifact
   Registry
   Cloud Run
   2.コンテナイメージをpull 1.イメージをpush
   

   View Slide

7. Vertex AIとの疎通確認
   7
   Cloud Run Vertex AI
   2. text-bison@001のAPIを実行
   1. エンドポイント接続
   （GETリクエスト）
   3.結果を取得
   4.ブラウザで結果を参照
   

   View Slide

8. LINE botからVertex AIのAPIを実行
   8
   Cloud Run
   1.Webhookによる接続
   Vertex AI
   2. chat-bison@001のAPIを実行
   2. chat-bison@001のAPIを実行
   3.結果を取得
   4.LINEアプリ上で結果を閲覧
   

   View Slide

9. 今回使う技術
   ● LINE API
   ○ Messaging API
   ● Google Cloud
   ○ CloudRun
   ○ Artifact Registry
   ○ Vertex AI
   9
   

   View Slide

10. LINE Messaging API
    👈詳しく知りたい人はこちら
    10
    https://www.youtube.com/watch?v=KiuLRTSuTzg
    

    View Slide

11. CloudRunとは
    コンテナを実行できるマネージドサービス
    特徴
    ● サーバレスコンピューティング
    ● 受信リクエストに合わせて、コンテナが自動的にスケール
    今回はジョブではなく、サービスとしてコンテナを実行
    LINE Messaging APIのWebhook URLとして利用
    11
    CloudRunの料金：https://cloud.google.com/run/pricing?hl=ja
    

    View Slide

12. Artifact Registryとは
    12
    次世代の Container Registry
    特徴
    ● パッケージと Docker コンテナイメージを1 か所で保管し、管理できる
    ● CloudBuildのアーティファクトを保存する場所として利用できる
    Caution
    現在はContainer Registryではなく、Artifact Registryが推奨されています！
    今回はCloudRunに使うコンテナのイメージを保存するために利用
    Artifact Registryの料金：https://cloud.google.com/artifact-registry/pricing?hl=ja
    

    View Slide

13. VertexAIとは
    13
    エンタープライズ対応の生成 AI でイノベーションを加速する
    特徴
    ● さまざまなAIモデルの提供およびトレーニング
    ● 検証にちょうどいいGenerative AI Studio
    ● もちろん、PaLM2も提供
    今回はCloudRunからVertex AIのAPIを実行してAIを呼び出す
    

    View Slide

14. PaLM2とは
    ● Google が開発した最新のLLMであり、PaLMの後継
    ● 4種類のモデル：Gecko、Otter、Bison、Unicorn
    ● 25 を超える Google の製品と機能に搭載
    なお、読み方は「パーム」
    14
    引用元：PaLM 2 のご紹介 https://japan.googleblog.com/2023/05/palm-2.html
    

    View Slide

15. Vertex AIでPaLM2を利用する時
    1. text prompts
    a. 一問一答という形で利用する
    2. chat prompts
    a. 文字通りチャット、コンテキスト（文脈）を理解して返信
    3. text embeddings
    a. テキスト同士の類似性を測定して返信
    15
    

    View Slide

16. Vertex AI における生成 AI サポートの料金
    16
    Vertex AI における生成 AI サポートの料金：https://cloud.google.com/vertex-ai/pricing?hl=ja
    1,000文字あたり、$0.0010
    1,000文字あたり、$0.0005
    

    View Slide

17. 実際に作ろう
    百聞は一つのハンズオンにしかず！！
    17
    

    View Slide

18. まとめ
    ● 今回はCloudRunを使ってVertexAIを実行した
    ● VertexAIを使うと手軽に生成AIが扱える！
    ● PaLM2は比較的に安い！すごい！
    ● まだまだ知見は少ないけども、可能性は無限大！
    18
    

    View Slide