[AWS Expert Online for JAWS-UG] Amazon CloudWatch でできる n 個のこと

CLOUDWATCH でできる N 個のこと
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon CloudWatch で
できる n 個のこと
Kazuki Saito, Mizuki Tanaka
Cloud Support Engineer
Amazon Web Services Japan G.K.
A W S E X P E R T O N L I N E F O R J A W S - U G

View Slide

内容についての注意点
• 本資料は 2023 年 9 月時点のサービス内容及び価格に基づいています
• AWS のサービスは常にアップデートを続けています
• 最新の情報は AWS 公式ウェブサイト (https://aws.amazon.com/) にてご確認ください
• 資料作成には十分注意しておりますが、
資料内の価格と AWS 公式ウェブサイト記載の価格に相違があった場合、
AWS 公式ウェブサイトの価格を優先とさせていただきます
• AWS パートナーが提供する請求代行サービス等をご利用されている場合、
本資料で案内するものとは異なる料金体系が適用されている場合があります
• その場合は、料金についてはご利用の AWS パートナー等へご確認ください

View Slide

自己紹介
• 名前: Kazuki Saito
• 所属: 技術支援本部クラウドサポートエンジニア (主にネットワーク領域担当)
• 経歴:
• 大学院で素粒子物理学実験を専攻
• 粒子検出器からのデータ読み出し開発やデータ解析
• 好きな AWS サービス:
• Amazon CloudWatch
• AWS CloudFormation

View Slide

自己紹介
• 名前: Mizuki Tanaka
• 所属: 技術支援本部クラウドサポートエンジニア (主にネットワーク領域担当)
• 趣味:
• バンジーエクササイズ
• アイドルを推すこと
• 好きな AWS サービス:
• Amazon CloudWatch
• Amazon EventBridge

View Slide

アジェンダ
• Amazon CloudWatch について
• Amazon CloudWatch で出来ることを時間の限りご紹介！
• CloudWatch Dashboards を使い倒そう 💪
• Metric Math で複雑なアラームを実現する
• Amazon CloudWatch と AWS Chatbot の連携
• CloudWatch Synthetics のスクリプトを自動で生成する
• CloudWatch Internet Monitor 活用事例
• CloudWatch エージェントの AWS X-Ray トレースのサポート
• etc…
• Q & A

View Slide

Amazon CloudWatch について

View Slide

Amazon CloudWatch とは？
• AWS のモニタリングサービス
• 多数のサブサービスから構成される
• 70 を超える AWS サービスへ統合
• 用途・利点
• AWS に最適化された監視の実現
• AWS リソースのプロアクティブな効率化
• 発生した/発生する問題への迅速な対応
Amazon CloudWatch
CloudWatch Logs
CloudWatch Alarms
CloudWatch Synthetics
CloudWatch Evidently
CloudWatch RUM
CloudWatch Metrics
メトリクス
ログ
アラーム
外形・統合監視
機能フラグ・A/Bテスト
リアルタイムユーザー
モニタリング
構造化イベント配信
トレース
Amazon EventBridge
(旧: CloudWatch Events)
AWS X-Ray

View Slide

サポートエンジニアから見た Amazon CloudWatch
• トラブルシューティングにおける強力なツール
• 事象の早期検知・状態の理解 = 原因特定を容易に
• モニタリングは一つのツールで実現できるものではない
• CloudWatch は多数の機能を提供することで多様な要件をカバー
• サポートエンジニアの視点では、カスタマーのお困りポイントと表裏一体
• 機能を把握しきれない・機能選定が難しい…？
• 主要機能 (メトリクス・ログ・アラーム) で満足してしまいがち…？
• CloudWatch の様々な活用法を広めたい！！！

View Slide

Amazon CloudWatch で
できる n 個のこと

View Slide

CloudWatch Dashboards を
使い倒そう💪

View Slide

CloudWatch Dashboards を使い倒そう💪
• CloudWatch 上の様々なデータを1画面に
• データはウィジェットを用いて表示
• グラフ (線, 棒, ゲージ…), アラーム状態, ログなど
• 利用可能なダッシュボード
• AWS サービス向けの事前定義ダッシュボード
• カスタムダッシュボード
• ウィジェット配置やタイプ、表示内容を自由に定義
• カスタマイズ性を高める便利機能も

View Slide

Lambda 関数によるカスタムウィジェット
C L O U D W A T C H D A S H B O A R D S を使い倒そう 💪
• ほぼ任意の処理や表示が可能なウィジェット
• HTML 文書を返却する Lambda 関数を用意
• カスタムウィジェットを通じて関数が呼ばれる
• インタラクティブ性の追加
• セキュリティ上の理由から JavaScript は利用不可
• ボタン: 指定した Lambda 関数の呼出など
• フォーム: Lambda 関数呼出時の引数へ値を渡す

View Slide

ダッシュボード変数による柔軟性の追加
• 2023年6月末リリース New!
• ダッシュボード定義の任意の箇所を置換可能
• 自動検知されたフィールド (InstanceId など)
• 任意の正規表現
• 用途
• リソース・リージョン・環境の切り替え
• 垂直注釈による事象発生時刻の可視化
• Logs ウィジェットでフィルター条件変更

View Slide

ダッシュボード変数とカスタムウィジェットの組み合わせ
• ダッシュボード変数は
カスタムウィジェットでも利用可能
• 例: リソースに応じた回復アクションの実行 etc..
置換された値を
Lambda 関数の引数に

View Slide

Metric Math で
複雑なアラームを実現する

View Slide

Metric Math で複雑なアラームを実現する
• Metric Math
• メトリクスに対して演算処理が可能
• 四則演算に加え、IF や FILL など豊富な関数が提供
• 複数メトリクスの演算結果から1つのメトリクスを出力
• アラームと組み合わせると…
• 複数メトリクスを用いた複雑なしきい値条件
• 特定のエラータイプを監視から除外
• 1日の内の特定時間帯のみの監視
メトリクスの
平均
IF(m2>0, m1, 0)
m1
m2

View Slide

特定のエラータイプを監視から除外する
M E T R I C M A T H で複雑なアラームを実現する
• TotalErrors (合計エラー数) の監視
• ただし AccessDeniedErrors は問題とならないので、監視の対象から除外したい
数式を追加
TotalErrors - AccessDeniedErrors
アラーム費用 (対象メトリクス数) の点で不利
ServerErrors +
UnexpectedErrors +
InvalidRequestErrors

View Slide

1 日の内の特定時間帯のみの監視
M E T R I C M A T H で複雑なアラームを実現する
• 10:00 – 16:59 JST で稼働する EC2 インスタンスを監視
• 稼働時間外ではアラームによる監視を無効化したい
数式を追加
IF(1 <= HOUR(m1) && HOUR(m1) <= 7, m1, 0)
17:00 – 09:59 JST では常にしきい値内となる
アラーム作成

View Slide

Amazon CloudWatch と
AWS Chatbot の連携

View Slide

AWS Chatbot とは
• AWS が提供するチャットエージェント
• AWS 環境の監視・運用、トラブルシューティング
• Slack, Microsoft Teams に対応
• Amazon CloudWatch と連携
• 様々なデバイスからの状況把握・初期対応
• スマートフォンからアラート確認
• 保存したコマンドを使った監視・回復オペレーション
• チーム・グループ内での情報共有

View Slide

CloudWatch Alarms との連携
• アラームの状態遷移をチャットツールへ通知
• アラーム概要、直近のメトリクスグラフを確認可能
• 設定手順
• アラームアクションに SNS トピックを指定
• SNS トピックで Chatbot サブスクリプションを設定

View Slide

CloudWatch Dashboards との連携
• ダッシュボードのウィジェットを選択・表示
• アラーム通知に対するトリアージ
• 表示範囲、期間、統計は変更可能
• Chatbot を通じたコマンド実行により実現
• よく利用するコマンドはエイリアス(別名)で保存可能

View Slide

CloudWatch Logs との連携
• Logs Insights クエリの実行と結果の取得
• 基本的なログ調査による事象の理解
• ダッシュボード連携と同様、コマンド実行により実現
• コマンドに加え、保存した Logs Insights クエリも利用可
• 取得されたログの件数が多い場合は…
• CSV ファイルとしてダウンロード
• 署名付き URL を通じてブラウザから閲覧

View Slide

CloudWatch Synthetics の
スクリプトを自動で生成する

View Slide

CloudWatch Synthetics のスクリプトを自動で生成する
• CloudWatch Synthetics
• エンドポイントや API に対する外形監視のための模擬クライアント「Canary」を作成
• Synthetics は定期的に Canary スクリプトを実行し、ウェブサイトの問題を検知する
• レイテンシーの確認や、スクリーンショットの保存・変分検知も可能

View Slide

AWS Synthetics Canary Recorder プラグインが便利！
C L O U D W A T C H S Y N T H E T I C S のスクリプトを自動で生成する
• シナリオ
• ログインページの外形監視
• ユーザー名とパスワードを入力し、ログインボタンをクリック
• 課題
• Python/Selenium もしくは Node.js/Puppeteer を用いた
Canary スクリプトが必要に
• → AWS Synthetics Canary Recorder プラグインで解決！

View Slide

• AWS Synthetics Canary Recorder プラグイン
• ウェブサイト上のクリックや文字入力の操作を記録
• 同じステップを実行する、Node.js の Canary スクリプトを自動で生成
• Google Chrome の拡張機能として提供
アクセス！

View Slide

Canary に
実行させたい操作を
実際に行う
記録を開始

View Slide

Synthetics Canary Recorder プラグインの注意点
• Canary Recorder が生成するスクリプトにはパスワード等が直接含まれる
• AWS Secrets Manager への保存がベストプラクティス！
• Canary のスクリプトを以下のように変更
await synthetics.executeStep('Type_7', async function() {
await page.type('.wrapper > div > form > .form-group:nth-child(2) > .form-control', ”Test1234!");
});
// Secrets Manager からシークレットを取得
let secrets = await secretsManager.getSecretValue({SecretId: “”}).promise();
let secretsObj = JSON.parse(secrets.SecretString);
await synthetics.executeStep('Type_7', async function() {
await page.type('.wrapper > div > form > .form-group:nth-child(2) > .form-control’, secretsObj.Password);
});

View Slide

CloudWatch Internet Monitor
活用事例

View Slide

CloudWatch Internet Monitor
• 2023 年 2 月にリリース New!
• AWS 上のアプリケーションへ影響する
インターネット上の問題を可視化
• Logs, Metrics, EventBridge Events…
• 対象リソース
• VPC (VPC 内の ENI が対象)
• Network Load Balancer ロードバランサー
• CloudFront ディストリビューション
• WorkSpaces ディレクトリ

View Slide

CloudWatch Internet Monitor の仕組み
• 対象リソースへ直接アクティブ監視をするものではない
• 対象リソースへの追加の負荷やコストが生じず、変更も不要
• AWS リージョンとエッジロケーションで取得した膨大なデータを活用！
• 対象リソースのトラフィック特性 (ユーザーロケーション等) と
AWS が取得するグローバルネットワークフットプリントを重ね合わせ

View Slide

CloudWatch Internet Monitor 活用事例 – AdTech を例に -
• AdTech で利用されているリアルタイム広告オークションの事例
• 入札者 (広告主; DSP) と広告取引所 (Ad exchange) の間のネットワークパフォーマンス
• → ユーザーのページビュー・広告体験に影響

View Slide

CloudWatch Internet Monitor 活用事例 – AdTech を例に -
• Internet Monitor のインサイトを最適化に活用
• EventBridge 経由でヘルスイベントを受信
• 影響を受ける入札者を一時的に除外
• 応用例
• マルチプレイヤーゲームでのプレイ体験向上
• マッチング優先度調整にネットワークパフォーマンスを考慮
• 参考記事
• AWS blog:
Optimizing AdTech end-user experiences
Using Amazon CloudWatch Internet Monitor

View Slide

CloudWatch Agent の
AWS X-Ray/OpenTelemetry (OTel)
トレースの統合

View Slide

CloudWatch Agent の AWS X-Ray/OTelトレースの統合
CloudWatch Agent:
• EC2 インスタンスやオンプレミスサーバーから、システムレベルのメトリク
スを収集し、CloudWatch のメトリクスとして送信できるアプリケーション
• カスタムアプリケーションから追加のメトリクスを送信したり、サーバー内
のログを送信することも可能

View Slide

• Observability:
• システムの動作状況を把握できている状態
• 3 つの柱：トレース、メトリクス、ログ
• OpenTelemetry:
• トレース、メトリクス、ログなどのテレメトリデータを作成し管理するための、
ベンダーに依存しないオブザーバビリティフレームワーク
• https://opentelemetry.io/docs/what-is-opentelemetry/

View Slide

AWS X-Ray:
• アプリケーションが処理するリクエストに関するデータを収集するサービス
• トレースを取得
https://aws.amazon.com/jp/xray/features/

View Slide

• 2023 年 8 月に機能追加 New!
• アプリケーションのトレースを X-Ray に簡単に送信できる
• トレース収集元に応じて CloudWatch Agent の設定ファイルに追記するのみ
• X-Ray SDK or OpenTelemetry SDK のエクスポーター用に設定したアドレス
"traces_collected": {
"xray": {
"bind_address": "127.0.0.1:2000",
"tcp_proxy": {
"bind_address": "127.0.0.1:2000"
}
},
"otlp": {
"grpc_endpoint": "127.0.0.1:4317",
"http_endpoint": "127.0.0.1:4318"
}
}

View Slide

CloudWatch Metrics で
高カーディナリティに立ち向かう

View Slide

CloudWatch Metrics で高カーディナリティに立ち向かう
• カーディナリティとは
• あるデータが取り得る値の数
• 高カーディナリティデータは分析に有効
• 事象の詳細な追跡を可能とする
• “メトリクス” は
高カーディナリティデータと相性が悪い
• 高いストレージ費用、相関関係の消失、…
北海道
青森県
岩手県
…
都道府県
→ カーディナリティ低
Tanaka
Saito
Suzuki
…
氏名
→ カーディナリティ高
Node=A
Node=F
User=Saito

View Slide

Contributor Insights
C L O U D W A T C H M E T R I C S で高カーディナリティに立ち向かう
• CloudWatch Logs のログデータから
高カーディナリティ時系列データを抽出
• 出力は通常の CloudWatch メトリクスと異なる
• 限られた方法でのみメトリクスが取得可能
• GetInsightRuleReport API
• トップ N コントリビューター、統計データ
• アラーム利用不可
• Metric Math 関数 INSIGHT_RULE_METRIC
• 統計データのみ、アラーム利用可

View Slide

埋め込みメトリクス形式 (Embedded Metric Format, EMF)
• CloudWatch Logs にメトリクスを埋め込む
• EMF は、この埋め込みの形式を定めるもの
• EMF を用いた構造化ログを出力
• → 自動でログから CloudWatch メトリクスを生成
• ログから複雑な分析が可能
• メトリクスは検知のための最小限の利用
• ログは検知された事象に対する詳細分析に利用
• Logs Insights による相関関係の分析 etc..
追加の属性を
付与可能

View Slide

Contributor Insights と EMF の比較
Contributor Insights
• 費用:
• ログ (取込, 保管, 評価) + ルール数
• 適した場面:
• JSON/CLF に従う任意の構造化ログ
• メトリクス利用:
• 通常のメトリクスと異なり特有の制限
Embedded Metric Format
• 費用:
• ログ (取込, 保管) + メトリクス数
• 適した場面:
• アプリ側で出力ログの形式を変更可能
• OpenTelemetry での計装を利用
• メトリクス利用:
• 通常のメトリクスと等価

View Slide

CloudWatch Evidently の
RUM 統合

View Slide

CloudWatch Evidently の RUM 統合
• CloudWatch Evidently
• 機能のロールアウト中に、新機能を一部のユーザーに提供
• A/B テスト
• チュートリアル
• Evidently のサンプル
アプリケーションを使用した A/B テスト
https://aws.amazon.com/jp/blogs/news/cloudwatch-evidently/

View Slide

• CloudWatch RUM
• ウェブアプリケーションに、自動生成されたスクリプトをコピペするのみ
• パフォーマンス、JavaScript エラー、HTTP エラーなどを記録
• どのブラウザ・デバイスからアクセスされているかも確認可能
https://aws.amazon.com/jp/blogs/news/cloudwatch-rum/

View Slide

• ウェブアプリケーションに、Evidently を呼び出すコードを実装し、
CloudWatch RUM の自動生成されたスクリプトをコピペする
• RUM の config に cookieAttributes を追加
• Evidently の EvaluateFeature API に渡す entityId の値は、cookie から sessionId を拾う
• Evidently で、実験の成功を判断するために追跡するメトリクスに、RUM の
メトリクスを選択することができる
複数の RUM の
メトリクスから選択可能

View Slide

小ネタ集

View Slide

フィルターパターンが正規表現に対応！
• 2023年9月リリース New!
• CloudWatch コンソールでの検索
• FilterLogEvents API でのログの取得
• メトリクスフィルター
• サブスクリプションフィルター

View Slide

CloudWatch Agent で、記録されるメトリクス数を削減
CloudWatch Agent を使って、Auto Scaling グループに登録されている複数の
EC2 インスタンスの平均メモリ使用率をメトリクスとして送信したい
"metrics": {
...
"append_dimensions": {
"ImageId": "${aws:ImageId}",
"InstanceId": "${aws:InstanceId}",
"InstanceType": "${aws:InstanceType}",
"AutoScalingGroupName": "${aws:AutoScalingGroupName}"
},
"aggregation_dimensions" : [[”AutoScalingGroupName"]]
}
全インスタンスの
平均メモリ使用率

View Slide

CloudWatch Agent で、記録されるメトリクス数を削減
• 課題
• aggregation_dimensions を使用しても、元のメトリクスも記録される
• CloudWatch Agent により記録されるメトリクスはカスタムメトリクスとなるため、メト
リクスの数によって課金が発生する
"metrics": {
"metrics_collected": {
"mem": {
"measurement": [
"mem_used",
"mem_total",
"mem_used_percent"
],
"metrics_collection_interval": 1,
"drop_original_metrics": ["mem_used_percent"],
}
}
...
}
設
定
変
更
元のメトリクスは送信されない

View Slide

まとめ
• CloudWatch は多数の機能を提供することで多様な要件をカバー
• 機能拡充によりできることが増えています！
• CloudWatch Internet Monitor
• CloudWatch Agent の X-Ray トレースサポート
• CloudWatch Logs 正規表現フィルター
• …
• 本日お話ししたトピックが1つでもお役にたてば幸いです

View Slide

Thank you!

View Slide

[AWS Expert Online for JAWS-UG] Amazon CloudWatch でできる n 個のこと

[AWS Expert Online for JAWS-UG] Amazon CloudWatch でできる n 個のこと

awsj communty program manager - Shigeru Numaguchi

More Decks by awsj communty program manager - Shigeru Numaguchi

Other Decks in How-to & DIY

Featured

Transcript

[AWS Expert Online for JAWS-UG] Amazon CloudWatch で できる n 個のこと

[AWS Expert Online for JAWS-UG] Amazon CloudWatch で できる n 個のこと

awsj communty program manager - Shigeru Numaguchi

More Decks by awsj communty program manager - Shigeru Numaguchi

Other Decks in How-to & DIY

Featured

Transcript

[AWS Expert Online for JAWS-UG] Amazon CloudWatch でできる n 個のこと

[AWS Expert Online for JAWS-UG] Amazon CloudWatch でできる n 個のこと