BigQuery・LLM を活用したユーザーの検索意図分析の事例

Transcript

1. 2023/10/03
   【IVRy/LAPRAS/Sansan/Ubie】Meetup
   BigQuery・LLM を活用したユーザーの検索意図分析の事例
   Ubie @masa_kazama
   

   View Slide

2. 2
   自己紹介(@masa_kazama)
   ● 大学院で機械学習を研究。
   ● 卒業後、リクルートと Indeedで、推薦システムの開発に携わる
   ● 2020年にUbieに入社し、データサイエンスチームをリード
   ● 最近は社内の生成AIチームの立ち上げ・推進
   ● 2022年、「推薦システム実践入門 (オライリー)」を執筆
   ● 東京都立大学非常勤講師
   

   View Slide

3. 3
   Ubie会社概要
   医師とエンジニアで創業
   「テクノロジーで人々を適切な医療に案内する」
   医療AIスタートアップ企業
   社名　　　：Ubie株式会社
   代表　　　：阿部吉倫（医師）、久保恒太（エンジニア）
   設立　　　：2017年5月（創業7年目）
   従業員　　：260名（2023年7月現在）
   オフィス　：東京、アメリカ、シンガポール
   累計調達額：107.3億円
   社名の由来：”指”で医療にアクセスする
   

   View Slide

4. 4
   主要サービス
   医療機関向けの業務効率化等サポートサービス「ユビーメディカルナビ」と
   生活者向けの受診支援アプリ「症状検索エンジン ユビー」を提供しています
   導入施設
   1500
   件
   登録
   かかりつけ医
   15000
   件
   問診業務効率化や認知向上など、
   患者さんとのコミュニケーション設計を通じ、
   診察の質向上を支援する
   ユビーAI問診
   ユビーリンク
   ホームページAI相談窓口
   問診業務効率化
   （有料）
   かかりつけ医サポート
   （無料）
   症状から受診の手がかりがわかる
   結果から医療機関につながる
   （無料）
   利用者
   月間
   700万
   

   View Slide

5. 5
   Ubieでの生成AIの取り組み
   生産性向上
   エンジニア生産性
   営業生産性
   Ops生産性
   リスク最小化(法律、政府・業界動向)
   プロダクトへの活用
   toCプロダクト
   toBプロダクト
   新規プロダクト
   生成AIの基礎技術検証
   生成AIの各種アカウント整備(Google, OpenAI, Azure)
   

   View Slide

6. 6
   社内用ChatGPTツールによる生産性向上
   ● 機密情報を入力して試せる
   ● 従量課金なのでコストを抑えられる
   ○ 月数万円
   ● 社内ナレッジを貯められる
   ○ 社内でのURL共有も可能
   ● 自社業務に特化したカスタマイズができる
   ○ 業務特化な機能
   ○ 社内のデータベースとの連携
   ● 社員が生成AIを生産性向上に実際に活用し、
   生成AIへの理解度を上げて、プロダクト活用に
   つなげるきっかけに
   

   View Slide

7. 7
   Github Copilotの活用による生産性向上事例
   ● 社内のアンケートでコーディング業務が平均
   40% 効率的になるという結果
   ○ 定型業務だけでなく、創造性にも寄与し
   たというアンケート結果も
   ● １人当たり1ヶ月 $20 の Invest で、生産性
   の向上により月に数十万円 の Return
   GitHub Copilotによるコードの自動補完
   

   View Slide

8. 8
   Code interpreterやプラグインによる幅広い可能性
   CSVファイルをアップロードすると自動で分析 プラグインで店舗一覧情報を CSV形式で抽出
   

   View Slide

9. 9
   BigQuery・LLM を活用した検索意図分析の事例
   「症状検索エンジン ユビー」のユーザーの検索意図分析
   ● 各ページに流入したユーザーの目的分析
   ● 各ページに流入したキーワードを分類することで、強化すべきキーワードを発見
   Search Console のデー
   タを BQ にエクスポート
   BQ・LLM を
   活用して、
   キーワードの
   分類
   BQ のグラフ
   機能で分析
   BQ のスケ
   ジュール機
   能で自動化
   生成AIは、OpenAI一強ではなく、それぞれの生成AIの強みがあるので、適材適所で活用していく
   

   View Slide

10. 10
    Search ConsoleのデータをBQにエクスポート
    Webアプリに流入した時のユーザーの検索クエリを BigQueryにエクスポート
    

    View Slide

11. 11
    LLM を活用したユーザーの検索目的分類
    SELECT
    *
    FROM
    ML.GENERATE_TEXT( MODEL `llm-sandbox-dummy.llms.llm_v1`,
    (
    SELECT
    keyword,
    CONCAT( 'textに対応する intentを以下のカテゴリの中からふさわしいものを選んでください。 text:',
    keyword,
    """intent: 「病気について」「症状について」「診断について」「検査について」「治療について」「薬につい
    て」「健康診断について」「手続きや支援について」「受診について」「病院について」「その他」
    # 出力形式
    {"text": string , "intent": string}
    # 出力例
    {"text": "カレーライス ", "intent": "その他"}
    {"text": "帯状疱疹", "intent": "病気について "}
    """) AS prompt
    FROM
    `llm-sandbox-dummy.llms.search_keywords`
    ),
    STRUCT(
    0.8 AS temperature,
    1024 AS max_output_tokens,
    0.95 AS top_p,
    40 AS top_k,
    TRUE AS flatten_json_output
    ) )
    SQLを書くだけで、
    ユーザーの検索クエリを
    11 種類の目的に分類
    

    View Slide

12. 12
    LLM を活用したユーザーの目的分類
    ● データがすでにBQにあるなら、SQLを書くだけで分析が可能
    ● 各ページにどのようなユーザー意図による来訪が多いのかを簡単に分析可能
    ● 出力が JSON 形式でなかったり、コンテンツフィルターによって、一定数が NULL に
    ● BQ のプレビュー機能による可視化（ SQLを書いて実行すると、その場で結果をグラフ表示してくれる）
    キーワード 結果 目的
    肺炎について
    知りたい
    {"text": "肺炎について知りたい",
    "intent": "病気について"}
    病気につい
    て
    目黒区の病院
    {"text": "目黒区の病院", "intent":
    "病院について"}
    病院につい
    て
    

    View Slide

13. 13
    処理のスケジュール化
    毎回手動で実行するのは手間であるため、
    定期実行してテーブルにエクスポート
    BQのスケジュールクエリを活用
    

    View Slide

14. 14
    BQ・LLM による大幅な効率化
    予測 (バッチ処理の組み込み
    )
    モデル学習
    学習データ整備
    予測 (バッチ処理の組
    み込み)
    プロンプト
    エンジニアリ
    ング
    従来の機械学習
    LLM API 活用
    BQ・LLM 活用 予測 (BQ)
    プロンプト
    エンジニアリ
    ング
    工数
    

    View Slide

15. 15
    LLMのプロダクト活用方針
    業界/業務に特化したデータによるUX最適化やファインチューニングなど
    (RAG含む)により、
    適応する領域に特化したモデルを作れるかどうかがパフォーマンスの違いを生む
    特化データによるファインチューニングなど（RAG含む）と
    フィードバックループによる改善
    誰でも、簡単に、必要情報を入力可能な
    UXを用意
    業界特化型モデルによる最大のパフォーマンス
    ハルシネーション課題への対応 自由入力のハードルへの対応
    

    View Slide

16. 16
    Head of AI Research
    風間 正弘
    Head of Medical
    Research
    守屋 祐一郎
    セルソースにて医学系研究、リアルワー
    ルドデータ活用等に携わった後、2021年
    にUbie入社。
    聖路加国際大学 公衆衛生大学院にてデジ
    タルヘルス等を研究
    Head of Policy Research
    三浦 萌
    イノベーション促進に向けて： “Ubie Lab” 創設
    リクルートとIndeedにてデータサイエンティ
    ストとして活躍後、2020年にUbie入社。
    Forbes Japan 30 Under 30受賞(2018年)
    推薦システム実践入門(オライリー)執筆
    東京都立大学非常勤講師
    総務省にて情報通信政策に10年以上
    携わった後、2021年にUbie入社。
    日本デジタルヘルスアライアンスWG4
    及び生成AIに関するSWGリーダー
    研究を開発・ビジネスと並ぶ柱として注力していくため、独立した研究組織として”Ubie Lab”を創設。
    LLMを含むAI研究を一層推進するほか、医療分野や政策に関わる研究も行ってまいります。
    

    View Slide