Databricksにおけるデータ&AIガバナンスの強化

[Taka-Yayoi]

AIエージェントからテーブルのデータ分類、データの完全性の監視など、データとAIのガバナンス機能が強化されています！

• 生成AIエージェントの監視:
  • 生成AIエージェントの出力にAIジャッジを適用し、結果の適切性を評価します。
  • Databricks Mosaic AI Agent Frameworkでデプロイされた生成AIエージェントの監視 #MosaicAI - Qiita https://qiita.com/taka_yayoi/items/411c9c1e67140f237c4a
• データ分類:
  • カタログ配下のテーブルに含まれている、クレジットカード番号、氏名などを自動で検出、タグ付けを行います。
  • Databricksのデータ分類を試してみる #データガバナンス - Qiita https://qiita.com/taka_yayoi/items/aa4614b89633e336bac8
• 異常検出:
  • テーブルの更新頻度や追加レコード数を計測し、予測値から逸脱する際に異常として検出します。
  • Databricksの異常検出を試してみる #データガバナンス - Qiita https://qiita.com/taka_yayoi/items/12b7e7e17ea2ec6409ad