Hello @Dinesh6351!

This error occurs when your Azure account exceeds the available regional core quota, preventing the pipeline cluster from launching. Here, Databricks pipeline cluster attempted to use more resources than allowed.
To resolve this, review the pipeline's cluster configuration and consider reducing resource usage, by selecting smaller instance types, limiting the number of worker nodes, or optimizing data processing.

Esse erro ocorre quando sua conta Azure excede a cota regional de núcleos disponíveis, impedindo a criação do cluster no Databricks. Isso significa que o cluster tentou utilizar mais recursos do que o permitido na sua região.

1-
Revise a configuração do cluster da pipeline:

Vá até a aba de configuração do cluster (em "Compute" ou na definição da pipeline) e veja o tipo de instância e o número de nós.

1- Reduza o uso de recursos:

Escolha tipos de instâncias menores (por exemplo, de Standard_D4_v2 para Standard_D2_v2).

Limite o número de nós trabalhadores (workers).

Desative o autoscaling, se não for necessário, ou configure limites inferiores.

Otimize o processamento de dados:

Verifique se a pipeline pode ser dividida em partes menores.

Aplique filtros e projeções o mais cedo possível no código para reduzir o volume de dados processados.

Use select, filter e repartition de forma eficiente no Spark.

3- Solicite aumento de cota no Azure: 

https://learn.microsoft.com/pt-br/azure/quotas/quickstart-increase-quota-portal

Acesse o portal do Azure, vá até "Ajuda + Suporte" > "Nova solicitação de suporte".

Escolha "Aumento de cota" e selecione a região e o tipo de instância desejado.