cancel
Showing results for 
Search instead for 
Did you mean: 
Tokyo
cancel
Showing results for 
Search instead for 
Did you mean: 

Databricksのここがよく分からん

Taka-Yayoi
Databricks Employee
Databricks Employee

あまりネガティブなものを書くのもアレですが、Databricksで色々な機能を提供している一方で、よく分からないなーというところもあるかと思います。それらを共有いただくことで、私なり他の人がサポートしてくれるかもしれません。

自分がよく分かってなくて勉強したこと

  • Databricksにおけるテーブル管理(Unity Catalogが出て結構変わりましたが)
  • Databriclsにおけるファイル監視
  • Sparkの動作原理(まだ勉強中です)
2 REPLIES 2

Taka-Yayoi
Databricks Employee
Databricks Employee

ということで、Sparkの動作原理を勉強中です。すごく勉強になる動画やノートブックを見つけました。

https://youtu.be/QrHtWvPwgS8

https://github.com/datanikkthegreek/SparkDeltaDatabricksInternals

順次翻訳しながらウォークスルーしていきます。

This video shows how the number of cores influence the created spark partitions when using spark.range or spark.createDataFrame. It also shows how the number of partitions influence the spark execution performance. Feel free to comment or challenge my explenations as always. Happy to learn also ...

Taka-Yayoi
Databricks Employee
Databricks Employee

DatabricksとSpark UIで学ぶSparkのパーティション #Databricks - Qiita https://qiita.com/taka_yayoi/items/68ee7ba3d555f27c6978

DatabricksとSpark UIで学ぶcoalesce(コアレス) #Databricks - Qiita https://qiita.com/taka_yayoi/items/0123a8409d100e2edbe2

Join Us as a Local Community Builder!

Passionate about hosting events and connecting people? Help us grow a vibrant local community—sign up today to get started!

Sign Up Now