Hi everyone,
I have a simple Python project with the following structure:
root/
โโโ src/
โ โโโ package_name/
โ โ โโโ __init__.py
โ โ โโโ main.py
โ โ โโโ submodules1/
โ โ โ โโโ __init__.py
โ โ โ โโโ base1.py
โ โ โโโ submodules2/
โ โ โ โโโ __init__.py
โ โ โ โโโ base2.py
โโโ pyproject.toml
My primary concern is that while I can schedule a notebook or a single Python file in Databricks, I am unable to schedule an entire project that depends on main.py. The project functions as a CLI application and requires arguments to run.
I need guidance on how to properly schedule this complete Python project in Databricks. Any suggestions or best practices would be greatly appreciated!
Thanks in advance.