データ活用の最前線！Modern Data Stack界隈で注目されている4つの分野

Transcript

1. データ活用の最前線！

   Modern Data Stack界隈で

   注目されている4つの分野

   1
   2023/10/12

   アライアンス事業部

   相樂悟

   

   View Slide

2. 2
   自己紹介
   氏名
   相樂 悟 (サガラ サトシ)
   所属
   クラスメソッド株式会社 アライアンス事業部
   役割
   Modern Data Stackソリューション　テックリード
   （各種案件対応・新技術調査＆検証・メンバーフォロー）
   

   View Slide

3. 3
   アジェンダ
   １．Modern Data Stackとは
   　
   ２．Modern Data Stack界隈で特に注目されている4つの分野
   ３．最後に
   

   View Slide

4. 4
   アジェンダ
   １．Modern Data Stackとは
   　
   ２．Modern Data Stack界隈で特に注目されている4つの分野
   ３．最後に
   

   View Slide

5. 5
   そもそも「データ基盤」とは
   データの取り込み～蓄積～活用まで一通り行える基盤のこと
   ※データ分析基盤・データ活用基盤とも呼ばれたりします
   社内のデータ
   データの蓄積
   （データウェアハウス）
   マーケティング
   レポーティング
   統計分析・機械学習
   データの
   取り込み
   加工
   加工
   

   View Slide

6. 6
   「Modern Data Stack」とは
   最新のクラウドネイティブの技術やサービスを組み合わせた
   データ基盤、あるいはその考え方や該当するサービス群を指す言葉
   引用元：Who’s Who in the Modern Data Stack Ecosystem (Spring 2022)
   引用元：Understanding the Modern Data Stack
   

   View Slide

7. 7
   Modern Data Stack　導入メリット
   Modern Data Stackを用いたデータ基盤を構築することで…
   - 実装工数が短い、最短１日でデータの取り込みが出来る
   - いかなるデータ量・リクエスト量にも基本的に対応可能
   - SaaS主体のため、サーバー管理やソフトのバージョン管理から開放
   - 各サービス間の連携機能が豊富なことが多い
   「データを分析・活用した、ビジネスへの貢献」に
   注力できるデータ基盤を構築できます
   

   View Slide

8. 8
   アジェンダ
   １．Modern Data Stackとは
   　
   ２．Modern Data Stack界隈で特に注目されている4つの分野
   ３．最後に
   

   View Slide

9. 9
   Modern Data Stack界隈で特に注目されている４つの分野
   - Reverse ETL
   - Data Application
   - Generative AI
   - Semantic Layer
   

   View Slide

10. 10
    Modern Data Stack界隈で特に注目されている４つの分野
    - Reverse ETL
    - Data Application
    - Generative AI
    - Semantic Layer
    

    View Slide

11. 11
    Reverse ETLとは
    データウェアハウス上のデータを、運用しているシステムやSaaSに
    連携するプロセスのこと
    引用元：What is Reverse ETL? The Definitive Guide
    

    View Slide

12. 12
    Reverse ETLのメリット
    DWHに溜まったデータを分析用途以外に活用できる
    - 例：CRMのサービスに、DWHで名寄せなど行ったデータを同期
    - 例：マーケティングのサービスに、配信対象者のデータを同期
    更に、HightouchやCensusなどのReverse ETLに特化した製品ならば…
    - 連携先のAPIを叩くプログラムの開発やメンテナンスから開放
    - 前回連携時からの差分データのみ、連携してくれる
    - GUIベースの操作だけでOK
    

    View Slide

13. 13
    Reverse ETLの事例　その１
    各顧客と繋がっているSlack、またはメールで、
    契約頂いている製品の利用状況のデータを自動送信
    （SaaSの売買プラットフォームを運営するVendr社の事例）
    引用元：Vendr Automates Customer Touchpoints With dbt, Hightouch & Snowflake
    

    View Slide

14. 14
    Reverse ETLの事例　その２
    イベント収集・DWH・Reverse ETL・MAツールで
    Customer Data Platformを構築
    （イギリスの車売買サイトを運営するAuto Trader社の事例）
    引用元：Auto Trader Builds a Composable CDP and Increases Engagement for New Car Buyers by 20%
    

    View Slide

15. 15
    Modern Data Stack界隈で特に注目されている４つの分野
    - Reverse ETL
    - Data Application
    - Generative AI
    - Semantic Layer
    

    View Slide

16. 16
    Data Applicationとは
    データを活用した、ユーザーに対して新しい気づきを与えたり、
    アクションを促すための仕組みを持ったアプリケーション
    引用元：What Is a Data Application?
    

    View Slide

17. 17
    Data Applicationの昨今のトレンド
    「Streamlit」というPythonのみでアプリケーションを構築できる
    フレームワークが注目を集めている
    なぜStreamlitが注目を集めているか？
    - 2022年3月：
    Snowflake社がStreamlit買収
    - 2023年6月：
    「データの外部共有」に
    強みを持っていたSnowflakeが、
    「アプリケーションの外部共有」
    機能をリリース
    （UDF、Procedure、Streamlitアプリが共有可能）
    引用元：How to build a real-time live dashboard with Streamlit
    

    View Slide

18. 18
    Streamlitを用いたData Applicationの事例　その１
    「汎用的なデータに対する分析方法の提供」
    Snowflakeの利用状況データに関する分析レポート機能に加え、
    行うべき推奨事項（クエリ最適化）などを提案してくれるアプリ
    引用元：Snowflake Marketplace CostNomics
    

    View Slide

19. 19
    Streamlitを用いたData Applicationの事例　その２
    「データの生成・書き込み」
    Streamlitのアプリ上で簡単な操作を行うだけで、設定に応じた
    ダミーデータを自動生成するアプリ
    引用元：ダミーデータを生成できる
    Streamlitアプリ「FrostyGen」をStreamlit in Snowflakeで動かしてみた
    

    View Slide

20. 20
    Modern Data Stack界隈で特に注目されている４つの分野
    - Reverse ETL
    - Data Application
    - Generative AI
    - Semantic Layer
    

    View Slide

21. 21
    Generative AIとは
    AIを活用して、テキスト・画像・音楽・動画などの新しいコンテンツを
    生成すること
    現在の一般的な用途
    - ChatGPTを用いて、依頼した内容のテキストを自動生成
    - インターネット上のブラウザの検索インターフェースで、
    質問するだけでインターネット上の情報からAIが検索した情報を返す
    （Bing AIなど）
    - 社内の文書情報を学習させ、Slack経由で社内情報について問合せ
    - 参考：RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた
    

    View Slide

22. 22
    Generative AIのデータ基盤における事例　その１
    BIツールから自然言語で問い合わせを行い、自動でダッシュボードを
    生成する機能（Tableau、Power BI、QuickSight、Looker Studioが発表）
    引用元：Amazon QuickSight の Generative BI 機能を発表
    

    View Slide

23. 23
    Generative AIのデータ基盤における事例　その２
    Reverse ETL × Streamlit × Generative AIの組み合わせで、
    Streamlit上でOpenAIのAPIを叩き各顧客ごとのメールを自動生成＆配信
    引用元：How to Generate Personalized Emails from your Snowflake CDP with ChatGPT, Snowpark, & Hightouch
    

    View Slide

24. 24
    Modern Data Stack界隈で特に注目されている４つの分野
    - Reverse ETL
    - Data Application
    - Generative AI
    - Semantic Layer
    

    View Slide

25. 25
    Semantic Layerとは
    データを用いたビジネス指標の定義を一元管理するレイヤー
    - 統一された定義の元に、データ活用を行うことが出来る
    （対象製品例：Looker、dbt Semantic Layer、Cube、など）
    

    View Slide

26. 26
    Semantic Layerのメリット
    組織内のデータを用いるビジネス指標の定義を統制できる
    ⇛ データガバナンスの向上・アウトプット時の品質向上
    

    View Slide

27. 27
    Semantic Layerの事例　その１
    Lookerで定義した指標を、API経由で参照しアプリケーション上に表示
    （例：社内・社外問わず、”ある顧客の売上”を同じ計算式で出せる）
    

    View Slide

28. 28
    Semantic Layerの事例　その２
    OpenAIのAPIからSemantic Layerで定義された情報を参照させることで、
    より精度の高い結果を返すことが可能に
    引用元：Introducing the LangChain integration
    

    View Slide

29. 29
    アジェンダ
    １．Modern Data Stackとは
    　
    ２．Modern Data Stack界隈で特に注目されている4つの分野
    ３．最後に
    

    View Slide

30. 30
    まとめ
    Modern Data Stack界隈で特に注目されている４つの分野
    - Reverse ETL
    - Data Application
    - Generative AI
    - Semantic Layer
    データウェアハウスにデータを溜めてBIツールで分析して
    ダッシュボード作って…だけの時代は終わりました！
    

    View Slide

31. 31
    最後に
    「データのないビジネス」は存在しない
    - 自社の売上や経費を管理する経理部門のデータ
    - 紙で管理している帳票や図面
    - 会議の議事や音声、日常のメールのやり取り、スケジュール
    何かしらのデータがある環境でビジネスを行っているはずです
    データは「分析」や「AI」だけに使われるものではないため、
    いかにデータを活用してビジネスに役立てるか考えていきましょう！
    

    View Slide

32. 32
    

    View Slide