Em um cenário onde a velocidade e a eficiência na gestão de dados se tornaram essenciais para a competitividade empresarial, grandes operadoras de telefonia enfrentam o desafio de adaptar suas infraestruturas tecnológicas para atender às demandas crescentes. Esse era o desfio enfrentado por uma das maiores operadoras de telefonia do Brasil, que decidiu realizar uma significativa mudança em seu sistema de gerenciamento de dados: a migração do tradicional SQL Server para o inovador e escalável BigQuery, uma solução de armazenamento de dados da Google Cloud.
A migração para o BigQuery é uma solução para diversos desafios enfrentados pelas empresas, incluindo a necessidade de processar e analisar volumes massivos de dados gerados diariamente. O SQL Server, embora eficaz em muitos aspectos, apresenta limitações em termos de escalabilidade e flexibilidade, especialmente ao lidar com as crescentes demandas de Big Data. A escolha do BigQuery supera essas limitações e permite que as organizações consigam explorar as vantagens de uma infraestrutura de nuvem, como redução de custos operacionais e maior agilidade no processamento de dados.
No entanto, uma transição como essa pode ser complexa, especialmente se considerada a necessidade de garantir a segurança e a proteção dos dados durante todo o processo. Foi por isso que a operadora buscou o apoio da act digital, que foi responsável por conduzir esse projeto, de ponta a ponta, do planejamento à migração completa. A solução foi cuidadosamente arquitetada para garantir a integridade dos dados, minimizando interrupções nos serviços, assim como riscos e custos.
Com a migração para o BigQuery concluída, a operadora passou a contar com um sistema de gerenciamento de dados mais ágil e eficiente, o que favorece a tomada de decisões estratégicas em tempo real. Isso resultou em ganhos de produtividade e de eficiência, com custos menores para a manutenção da infraestrutura de dados.
Cliente: liderança e pioneirismo em telecomunicações
Com atuação nacional, a empresa de telecomunicações que contratou a act digital para fazer a migração do sistema de gerenciamento de dados tem compromisso com inovação, experiência do cliente e agilidade. É uma companhia que tem se posicionado como uma líder em movimentos significativos no mercado de telecomunicações desde o início de suas operações no Brasil.
Desde 2015, ela lidera a cobertura 4G no país, expandindo sua conectividade para áreas rurais, contribuindo, dessa forma, para a inovação do agronegócio. Como pioneira na ativação das redes 5G no Brasil, a empresa segue promovendo a transformação digital no setor.
Além de seu foco em tecnologia e inovação, a companhia se destaca pelas práticas ambientais, sociais e de governança (ESG). A atuação nessa esfera tem sido reconhecida não apenas pela sociedade brasileira, beneficiada pelas ações, mas também pelo mercado de capitais, o que atesta o rigor e a efetividade das práticas adotadas. Com atuação relevante no país, a companhia tem os dados como um ponto central em suas operações. Diariamente, suas atividades envolvem o processamento de um conjunto amplo de informações, que precisa ser armazenado e utilizado de forma segura, em conformidade com as normas estabelecidas pela Lei Geral de Proteção de Dados (LGPD). Nesse sentido, a migração do sistema SQL Server para BigQuery impacta positivamente tanto as operações quanto a estratégia da organização.
Desafio: complexidade na migração do SQL Server para o BigQuery
Realizar a migração do SQL Server para o BigQuery era o desafio enfrentado pela empresa. Embora oferecesse inúmeros benefícios, essa transição apresentava desafios significativos devido à complexidade inerente ao processo.
Para assegurar que a mudança ocorreria de forma eficiente, gerando os resultados esperados, a equipe da act digital desenvolveu todo o framework de trabalho, considerando os desafios que precisariam ser superados ao longo do projeto, tais como:
- compatibilidade de esquemas de dados;
- volume e integridade dos dados;
- segurança e conformidade;
- otimizações operacionais, de desempenho e financeiras.
Solução: ponte de dados e backup na migração de sistemas
A equipe da act digital, encarregada da migração de dados do SQL Server para o BigQuery, adotou uma abordagem ágil, segura e estratégica para realizar a transição. O time assumiu responsabilidades que abrangiam desde o desenvolvimento da arquitetura até a implementação do pipeline completo.
Metodologia
A metodologia empregada na transição entre os sistemas de armazenamento de dados considerou duas abordagens distintas. Na primeira etapa, o foco da equipe foi criar uma "ponte de dados", uma solução de interconexão desenvolvida para transferir dados de forma eficiente e segura entre os dois sistemas. Na sequência, o time desenvolveu um método de backup alternativo, um processo essencial para garantir a redundância e a segurança dos dados durante a migração.
- Versão 1
A equipe desenvolveu uma "ponte de dados" utilizando Python com a biblioteca pandas_gbq, que oferece integração direta com o BigQuery. Adicionalmente, utilizou o SQLAlchemy para extrair os dados do SQL Server.
- Versão 2
Como método alternativo de backup, a equipe implementou um sistema usando Shell Script, centrado no uso do utilitário BCP, uma ferramenta de linha de comando do SQL Server. Este utilitário permite extrair os dados diretamente do SQL Server para arquivos CSV, sem ocupar a memória do servidor, oferecendo uma performance superior em comparação com o uso do Python, apesar de requerer um tratamento mais cuidadoso dos dados e adicionar complexidade ao processo.
Tecnologia
Do planejamento à migração dos sistemas, as tecnologias utilizadas foram:
- Python;
- SQL;
- Shell Script;
- Kanban.
Resultados: transição eficiente entre sistemas
A migração bem-sucedida do SQL Server para o BigQuery proporcionou resultados significativos para o cliente, que se refletem em várias áreas de sua operação. Executado com eficiência, o projeto, em si, já ofereceu uma solução com custos reduzidos. No entanto, há uma série de outros benefícios para a operadora.
- Resolução de desafios críticos para a migração para a nuvem
A equipe superou obstáculos técnicos e operacionais, facilitando a transição do SQL Server para um ambiente de nuvem moderno e eficiente. O projeto foi desenvolvido com foco em resolver as demandas apresentadas otimizando recursos e custos.
- Redução de custos operacionais
Diminuição significativa nos gastos com infraestrutura e manutenção, graças ao uso de ferramentas de migração eficientes da Google Cloud Platform (GCP).
- Melhoria na eficiência e escalabilidade
Aumento da eficiência operacional com o uso do BigQuery, que permite um processamento de dados mais rápido e escalável.
- Aprimoramento na segurança e gerenciamento de dados
Melhorias na segurança e no gerenciamento de dados, com a adoção de práticas e ferramentas de segurança avançadas da GCP.
- Aprimoramento na análise de dados e tomada de decisão
Capacidade aprimorada para análise de dados, fornecendo insights mais profundos e suporte à tomada de decisão baseada em dados.
Como podemos ajudar a sua empresa
No setor de telecomunicações e mídia, a demanda por inovação e eficiência digital é incessante. Por isso, nossa abordagem é oferecer soluções que não apenas atendam às necessidades atuais, mas também preparem as empresas para os desafios futuros.
Com profissionais especializados e que conhecem bem esse setor, a act digital está pronta para auxiliar as empresas dessa área a enfrentarem desafios similares aos da migração de SQL para BigQuery, garantindo uma transformação digital segura, eficiente e inovadora.
Oferecemos um conjunto amplo de soluções, que são personalizadas para cada projeto, abrangendo as suas demandas específicas e explorando ao máximo o potencial a ser alcançado. Veja como podemos ajudar a sua empresa!
- Desenvolvimento de jornadas digitais: criamos caminhos personalizados para a transformação digital, garantindo que a transição para novas tecnologias seja eficiente e alinhada com os objetivos do negócio.
- Estratégias para streaming: com o aumento da demanda por conteúdo digital, ajudamos empresas a desenvolver e otimizar estratégias de streaming, garantindo eficiência na entrega de conteúdo e uma melhor experiência para o usuário.
- Cultura omnichannel: implementamos uma abordagem omnichannel, garantindo que os negócios estejam preparados para interagir com clientes em múltiplos canais digitais de forma integrada e eficaz.
- Segurança de processos e dados: a segurança é uma prioridade em todas as nossas soluções. Focamos em proteger os dados e processos, garantindo que a transição para plataformas como o BigQuery seja segura e confiável.
- APIs e aplicativos: desenvolvemos APIs e aplicativos personalizados que ajudam a otimizar operações, melhorar a interação com o cliente e potencializar a análise de dados.
Estamos preparados para o futuro que está revolucionando o setor de mídia e telecomunicações. Nossa expertise combina a adoção de métodos ágeis com a implementação de tecnologias inovadoras para conduzir as empresas aos resultados dos seus negócios.
A transformação digital tem se desenrolado de forma cada vez mais veloz, exigindo eficiência na transição de tecnologias e no processamento de dados. Essa é a nossa especialidade! Se a sua empresa precisa avançar nesse processo, fale com o time da act digital.
