- 2026/11/19
- https://codmon.connpass.com/event/410368/
できるだけ小さく始める切り戻し判断の簡略化
福井 将之さん(株式会社コドモン)
- 自律的な疑似学習ループを回したい
- 複数チームが関与するモノリス
- 午前と午後1回ずつマージしてまとめてリリース
- リリース内容の確認とエラー量やメトリクスの目視
- リリース後の確認が不明確で人頼り
- 変動要素が多くて基準も決めづらい
- 生成AIで補完代替できないか
- 生成AIの活用実績
- アラート調査で使っていた
- アラート内容渡して原因特定や対処
- AIが見るデータの整備
- APMやRUMやメトリクスが整備されてないといけない
- デプロイイベントに新旧バージョンつけたり
- APMに適切なタグをつけたり
- 作った仕組み
- 手元のClaudeDesktopで
- 1時間ごとのスケジュールタスクでデプロイがあったかチェック
- メトリクス確認
- 問題あれば調査
- 結果をslack通知
- 工夫点
- デプロイパイプラインとは独立して動かす
- AIのセッションやコンテキストを持ち越さない
- 具体的な閾値を書かない
- リリースの時間の前後ではなくバージョンタグで新旧比較する
- 改善
- 偶然を取り込まないよう同じ傾向が2件たまったら取り込む
アラート調査 Agent を作って、育てる 〜Slack から動く一次調査と、精度を上げ続ける仕組み〜
河野 剛さん(株式会社コドモン)
- アラート発火時の一次調査
- 従来はみんなが同じ作業をそれぞれでやっていた
- 自動でその作業をやらせる
- slack上に投稿されてスレッドに書いていけば記録が残る
- 使ってみて
- slackで扱える手軽さ
- 長い詳細を見なくていい
- ただし精度が気になり結局自分で見に行ってしまうなど
- 精度を上げ続ける仕組み
- 調査ごとに入力やツール呼び出しを記録
- 同じアラートをDatadogで独立に再調査
- どのやりとりで誤りが入ったか
- 改善点を反映
- モデルを変えると同じ内容でも精度があがった
- SonnetからOpusへ
経験の浅いチームでアラート対応の改善からチームに SRE を根付かせる
大野 一樹さん(株式会社MIXI)
https://speakerdeck.com/i2tsuki/11-19codmonmixialertlt
- 経験の浅いメンバーのチーム
- 新卒1,2年目が3人と業務委託1人
- そこにSRE
- アラート設計の問題
- 原因ベースのアラートになっていた
- CPU使用率/メモリ使用率
- 500系の件数
- 特定のエラーログ
- ユーザ体験ベースはなかった
- 画面が開けない
- 時間がかかる
- 特定処理が失敗する
- 本当に知りたいのはユーザ体験の問題
- 原因ベースのアラートになっていた
- 改善前のアラート対応
- 原因ベースで出した上で問題あるか人に投げる内容
- どれが本当に対応すべきか分からない
- 結果として放置も発生し機能してなかった
- どうしてそうなっていたか
- 経験が浅くて不安だった
- 全てをアラートにして全てに対応しようとする
- 結果的に本当に守りたいものを守れてなかった
- アラートの改善
- 不要なアラートの削減
- 1回エラーが出るだけで検知する必要がないもの
- リソースに関連するアラートは全て削除
- ユーザに影響が出ないものは不要
- 自動化して対処できるものは自動化する
- そもそも人が知ることもなく勝手に解消させることで認知負荷を減らす
- 不要なアラートの削減
- アラートが鳴った時の対応
- 人が必要なアラートで対応方法が分からないと動けない
- 実装した本人しか対応できないならo11yがないのと同じ
- そうなっているとAIも対処できない可能性がでる
- テレメトリーとRunbookで誰でも原因にたどりつけるように
- AIによるアラート対処
- コードではなくテレメトリを見て原因を特定する
- アラート -> Runbook -> 原因特定 -> 修正
- 原因の特定と修正を分ける
New Relic のアラート対応を Claude Code で自動修正するワークフローを作った話
関 学さん(株式会社MIXI)
https://speakerdeck.com/manabuseki/new-relic-no-taiou-o-claude-code-de-jidou-shuusei-suru-waku-furo-o-tsukuta-hanashi
- アラート対応で困っていたこと
- 通知が放置されがち
- ノイズが多い
- 調査の手間
- 生成AIで自動化
- 通知 - 収集 - 調査 - 修正 - レビュー - PR
- 人間の承認が唯一の関門
- 勝手にapproveはしない
- pushしてプルリク作るのは人間が承認してから
- レビュー指摘がついたら対応してpush
- 作業はローカル完結
- issue管理もローカルで
- ローカルで完結するが状況はチームに見えるように