Databricksのここがよく分からん

[Taka-Yayoi]

あまりネガティブなものを書くのもアレですが、Databricksで色々な機能を提供している一方で、よく分からないなーというところもあるかと思います。それらを共有いただくことで、私なり他の人がサポートしてくれるかもしれません。

自分がよく分かってなくて勉強したこと

• Databricksにおけるテーブル管理(Unity Catalogが出て結構変わりましたが)
• Databriclsにおけるファイル監視
• Sparkの動作原理(まだ勉強中です)

[Taka-Yayoi]

ということで、Sparkの動作原理を勉強中です。すごく勉強になる動画やノートブックを見つけました。

https://youtu.be/QrHtWvPwgS8

https://github.com/datanikkthegreek/SparkDeltaDatabricksInternals

順次翻訳しながらウォークスルーしていきます。

[Taka-Yayoi]

DatabricksとSpark UIで学ぶSparkのパーティション #Databricks - Qiita https://qiita.com/taka_yayoi/items/68ee7ba3d555f27c6978

DatabricksとSpark UIで学ぶcoalesce(コアレス) #Databricks - Qiita https://qiita.com/taka_yayoi/items/0123a8409d100e2edbe2