Como uma estratégia de dados moderna impulsionou eficiência, governança e redução de custos

Em um contexto de crescente exigência regulatória e competitividade no setor financeiro, construir uma estratégia de dados robusta deixou de ser diferencial para se tornar essencial.

Foi nesse cenário que uma Grande Instituição Financeira no Brasil contou com a act para modernizar seu motor de risco de crédito por meio de uma avançada arquitetura de dados baseada em Databricks.

O projeto foi estruturado com foco em Data Intelligence, capaz de suportar dezenas de modelos, permitindo não apenas a conformidade com normas regulatórias como à normativa 4966, mas também ganhos substanciais em eficiência operacional, governança de dados e otimização de custos.

O desafio: Complexidade regulatória e fragmentação da arquitetura de dados

A normativa 4966 introduziu novos requisitos para cálculo de PDD (Provisão de Devedores Duvidosos) e PE (Perda Esperada), em linha com a adoção nacional da IFRS 9. Para a instituição financeira, isso se traduziu em um desafio de grande escala:

• Criação do zero de pipelines de dados para o motor de risco de crédito, conciliando múltiplas fontes de dados com padrões e arquiteturas distintas.
• Desenvolvimento e modernização de mais de 30 modelos de machine learning, garantindo que todos estivessem aderentes às novas regras de cálculo e documentação regulatória.
• Entrada em produção em apenas 2 meses, um prazo crítico para atender às exigências legais sem comprometer a operação de crédito.

Além do desafio regulatório, havia questões estruturais:

• Processos legacy fragmentados, com baixa automação e forte dependência de tratamentos manuais.
• Falta de uma plataforma central de dados que suportasse escalabilidade, governança e uso intensivo de modelos de ML.

Solução: Plataforma de Data Intelligence com Databricks

A act digital implementou uma plataforma moderna de arquitetura de dados baseada em Databricks, permitindo a centralização, processamento e governança de dados em escala.

Essa abordagem foi fundamental para viabilizar uma estratégia de dados orientada a valor, suportando tanto analytics quanto machine learning avançado.

Arquitetura de Dados Implementada

A act digital desenhou e implementou uma plataforma de dados em nuvem (AWS), tendo Databricks como núcleo da camada de processamento analítico e operacionalização de modelos de risco de crédito. A solução integrou:

• Databricks@AWS como ambiente unificado de engenharia de dados, ciência de dados e execução dos mais de 30 modelos de ML em produção.
• Trino (EMR/K8S) como motor de consulta distribuída sobre o Data Lake.
• Data Lake em S3 como repositório central para todo o ciclo de vida dos dados de crédito.
• MLflow como componente central de MLOps, suportando versionamento de modelos, rastreabilidade de experimentos e automatização do deployment.

Implementação em Duas Fases

Fase 01 – Implementação AS-IS na nova plataforma

Na primeira fase, a prioridade foi garantir continuidade operacional e compliance dentro do prazo regulatório:

• Mapeamento e migração AS-IS dos fluxos de processamento e modelagem de dados para a nova plataforma.
• Orquestração de workflows fim a fim no Databricks, conectando ingestão, tratamento, feature engineering e scoring de modelos.
• Integração com sistemas existentes de gestão de risco de crédito, garantindo que a transição fosse transparente para as áreas de negócio.

Fase 02 – Otimização, MLOps e FinOps

Com a plataforma estabilizada, a segunda fase focou em escala, eficiência e governança:

• Refino e otimização dos modelos para explorar melhor os recursos de computação distribuída do Databricks.
• Aplicação de boas práticas de desenvolvimento e esteiras de MLOps, com pipelines automatizados de treinamento, teste, aprovação e deployment.
• Implementação de monitoramento contínuo de performance de modelos (drift, acurácia, SLAs) e de consumo de recursos, com uma visão estruturada de FinOps.

Essa arquitetura consolidou o Databricks como plataforma central do ciclo de vida dos dados do motor de crédito.

Resultados: Eficiência operacional, governança de dados e redução de custos

A adoção da plataforma de Data Intelligence com Databricks trouxe ganhos mensuráveis em eficiência de processo, custos e maturidade de dados.

1. Eficiência de Processo

90% de redução no tempo de processamento:

O tempo de execução dos fluxos em AWS/Databricks caiu de mais de 1 dia para apenas 1 hora.

Isso permitiu:

• Maior frequência de cálculo de PDD e PE.
• Reação mais rápida a mudanças de portfólio e comportamento de risco.
• Redução de janelas de indisponibilidade e pressão sobre equipes operacionais.

2. FinOps & Eficiência Financeira

87% de redução no custo total de processamento após as otimizações da Fase 02.

A combinação de Databricks, ajuste fino de recursos em nuvem e práticas de FinOps possibilitou:

• Utilização mais eficiente de clusters e workloads.
• Eliminação de redundâncias de processamento e duplicidade de pipelines.
• Maior previsibilidade de custos para a área financeira e de TI.

3. Cultura de Dados

A iniciativa ultrapassou a dimensão técnica e impulsionou a adoção mais ampla da Plataforma de Dados dentro da instituição:

• Motivou o início de uma jornada estruturada de data literacy, com aumento do entendimento e uso de dados pelas áreas de negócio.
• Estimulou a criação de novos casos de uso analíticos sobre a mesma plataforma, além do motor de crédito.

4. Governança e Segurança

A nova arquitetura possibilitou o fortalecimento da governança de dados:

• Controles mais rígidos de acesso, rastreabilidade e auditoria, essenciais para ambientes regulados.
• Maior observabilidade dos processos de dados, com monitoramento de pipelines, qualidade de dados e aderência a políticas internas e exigências externas.

Sugestões de crosslink:

• Jornada estruturada de data literacy.
• Governança de dados e Observabilidade dos processos de dados.

Conclusão: Estratégia de dados como alavanca de transformação

Este case evidencia como uma abordagem estruturada de arquitetura de dados e estratégia de dados pode transformar desafios regulatórios em oportunidades de inovação e eficiência. Ao implementar uma plataforma de Data Intelligence com Databricks, a act digital permitiu que a instituição:

• Garantisse compliance com normas regulatórias complexas
• Escalasse sua capacidade analítica com eficiência
• Reduzisse drasticamente custos e tempo de processamento
• Estabelecesse uma base sólida de governança de dados
• Evoluísse sua maturidade em dados e analytics

Mais do que uma modernização tecnológica, o projeto consolidou uma verdadeira transformação orientada a dados, alinhada ao posicionamento da act digital: transformar desafios complexos em oportunidades de geração de valor por meio de soluções escaláveis, inteligentes e centradas em negócios.