複数ユーザーでクラスターを共有する場合は共有一択だったのですが、機械学習ランタイムが使えないなど、こちらにあるような制限がありました。なので、Databricksのフル機能を使おうとするとシングルユーザーモードを使うのですが、名前の通り一人のユーザーしか使えないモードなのです。痛し痒しです。 それが、今回導入される新たな 専用(Dedicated) アクセスモードによって、シングルユーザーモードのクラスターの機能を複数ユーザーで活用できるようになります。 Databricksクラスターでグループ専用モードを利用できるようになりました！ #Databricks - Qiita https://qiita.com/taka_yayoi/items/f97c7af77fe3302b528d   ... View more

特にセキュアな構成を採用する際に参考になったサイトを貼っていきます。 まず初めに見るべきサイトたち https://speakerdeck.com/nakazax/azure-databricks-learning-series-number-3-network-design https://www.databricks.com/jp/blog/data-exfiltration-protection-with-azure-databricks NCCについての詳細な解説記事。サーバーレスコンピューティングをセキュアに利用する際には必須ですね。 https://qiita.com/nakazax/items/745d1cc01ad1dfaa418c 英語ですが、構築手順を1からデモしてくれています。助かる。 https://www.youtube.com/watch?v=VbK0KYgpE0U https://www.youtube.com/watch?v=FHYNpWRu_yc AWSでの構築経験はあったのですが、色々と手順が異なる部分があり(例えばブラウザ認証用のプライベートエンドポイントの作成など)、そこについては上記に挙げたサイトが非常に参考になりました。 ※随時アップデートするかも ... View more

クエリーのバージョン管理が容易になります。是非ご活用ください！  DatabricksのGitフォルダーでDBSQLクエリーをサポートしました！ #Git - Qiita https://qiita.com/taka_yayoi/items/2fbaf0dd97a5524d72ba   ... View more

2024年12月版のUnity Catalogセットアップガイドを作成しました！今ではUnity Catalogが自動で有効化されるようになっていますが、自動有効化の挙動を理解した上で要件に合わせたセットアップが必要となります。こちらのガイドでは、自動有効化の挙動、注意点、シナリオに合わせたセットアップのウォークスルーをカバーしています。ご活用ください！ [2024/12版] Unity Catalogセットアップガイド #Databricks - Qiita https://qiita.com/taka_yayoi/items/62da2ab414d08a74c69c ... View more

DatabricksのMERGE INTOとAPPLY CHANGES INTOはどちらもテーブルのUPSERT(UPDATE + INSERT)を行いますが、仕様や用途が違うのでまとめました。適材適所でご活用ください！ DatabricksのMERGE INTOとAPPLY CHANGES INTOの違い #DeltaLiveTables - Qiita https://qiita.com/taka_yayoi/items/4376b3403a3dbfdfe89f   ... View more