スピードと品質を両立するドッグフーディング
金岡 亮さん(株式会社SmartHR Head of AI)
- AIプロダクトの企画はE2Eで素早く開発しきるのが大事
- AIプロダクトは高コスト
- ROIに見合うかの検討が大変
- 不確実なアウトプットなので実験コストが高い
- 監視が必須
- 開発時のモードを切り替えてる
- 無邪気モード
- 学習モード
- リリースモーぢ
- AI機能
- 正解を定義できるものとできないもの
- OCRとかは正解がある
- レコメンドとかは正解がない
- 正解のない機能こそ無邪気モードが必要
- 精度が判断できない
- よさそう止まりで分からない
- 精度を考える前に使えるものを作ってしまってユーザ体験を確認できるようにする
- ドッグフーディングも積極的に
- 正解を定義できるものとできないもの
- 良さそうな機能の解像度をあげて成功確率をあげていく
- ユーザ価値が分かれば評価データも作れるようになる
Claude Codeではじめる、インフラ構築/運用
後 雄大さん(nocall株式会社 AIエンジニア/SRE)
- インフラ運用におけるAIエージェント
- 大事なコンテキスト
- IaCの整備
- 適切なログ出力
- CLI/MCP/Skillsの整備
- 適切な権限
- IaCの整備
- 手動で作られたインフラをTerraform化
- 本番と検証のAWSアカウントを分ける
- 命名規則を揃える
- 本番ではplanまでで実行させない
- Skillsの整備
- Sentryのエラーを読み取りどこで問題が起きてるかとか
- CloudWatchを見たりとか
- 一般論ではなく具体的な調査手順を書く
- Cloud環境でのAI整備
- 人を介さずビジネス側が技術的な内容を確認できるように
- 環境変数やシークレットを渡せるように設定
- AWSはread only
- これすらも常に与えるわけではない
- SlackでCodexに問い合わせてもらえる環境の整備
- SentryとCodexで勝手にslack上で議論してほしいがボット同士のやりとりは制限されてる
AIワークフローの基盤技術と業務適用
西森 悠太さん(Jinba Lead Software Engineer)
