Esse erro ocorre quando sua conta Azure excede a cota regional de núcleos disponíveis, impedindo a criação do cluster no Databricks. Isso significa que o cluster tentou utilizar mais recursos do que o permitido na sua região.

1-
Revise a configuração do cluster da pipeline:

Vá até a aba de configuração do cluster (em "Compute" ou na definição da pipeline) e veja o tipo de instância e o número de nós.

1- Reduza o uso de recursos:

Escolha tipos de instâncias menores (por exemplo, de Standard_D4_v2 para Standard_D2_v2).

Limite o número de nós trabalhadores (workers).

Desative o autoscaling, se não for necessário, ou configure limites inferiores.

Otimize o processamento de dados:

Verifique se a pipeline pode ser dividida em partes menores.

Aplique filtros e projeções o mais cedo possível no código para reduzir o volume de dados processados.

Use select, filter e repartition de forma eficiente no Spark.

3- Solicite aumento de cota no Azure: 

https://learn.microsoft.com/pt-br/azure/quotas/quickstart-increase-quota-portal

Acesse o portal do Azure, vá até "Ajuda + Suporte" > "Nova solicitação de suporte".

Escolha "Aumento de cota" e selecione a região e o tipo de instância desejado.