Serverless Compute connectivity issues with .com.br domains vs. Classic Clusters Spark hangs

[ThiagoRosetti]

Hi everyone,

I'm facing two specific issues in my Databricks Premium workspace (AWS - sa-east-1).

1. Serverless Connectivity Issue: When using Serverless compute, I can successfully call APIs ending in .com, but calls to .com.br domains fail with connection/DNS errors. The exact same code works fine when running on a Classic Cluster.

• VPC Setup: Custom VPC with Unity Catalog enabled.

• Security Groups: Outbound rules are open for port 443 (0.0.0.0/0).

• Symptom: It feels like a DNS resolution or Egress filtering issue specific to Serverless.

1. Classic Cluster Spark Hang: On the other hand, when I switch to a Classic Cluster to bypass the connectivity issue, any Spark command (e.g., spark.read or simple transformations) hangs indefinitely without starting the job.

Has anyone experienced this specific behavior where Serverless ignores certain TLDs or where Spark fails to initialize on Classic Clusters in the same VPC?

Thanks in advance!

(pt-br)

Olá pessoal,

Estou enfrentando dois problemas distintos no meu workspace Premium (AWS - região sa-east-1):

1. Conectividade no Serverless: Não consigo consumir APIs que terminam em .com.br usando Serverless compute. Se a API for .com, funciona normalmente. O mesmo código funciona em um Cluster Clássico, o que sugere que o Serverless está lidando com o DNS ou com a saída de rede de forma diferente.

• Já verifiquei os Security Groups e a porta 443 está aberta para 0.0.0.0/0.

1. Spark "carregando infinitamente" no Cluster: Para contornar o problema acima, tentei usar um Cluster comum. O código de requisição API funciona, mas qualquer comando Spark (como ler um dataframe ou um simples count) fica processando infinitamente e não inicia o job.

Alguém já passou por algo parecido ou sabe se existe alguma configuração de VPC/Unity Catalog que possa estar causando esse conflito entre o tipo de computação e a resolução de domínios?

Obrigado!