De SQL Server à BigQuery : la transition vers le stockage de données dans le cloud a accéléré les analyses et le traitement d'informations, en plus d’optimiser les coûts
Un grand opérateur téléphonique avait besoin de migrer son système de gestion de données, en mettant l'accent sur le remplacement de l'utilisation de SQL Server par BigQuery, sans compromettre ses opérations et en optimisant autant que possible les coûts tout au long du projet.
L'équipe de l'act digital a travaillé sur ce projet depuis la planification jusqu’à la livraison, en étant responsable du développement de l'ensemble de l'architecture de migration de manière sûre et efficace, en veillant à ce que la transition soit effectuée sans préjudice de la base de données d'origine. .
Le projet a été achevé et a atteint tous les objectifs fixés, en aboutissant à la migration complète des données entre les différents systèmes de gestion, un processus qui, bien que complexe, a été exécuté avec efficacité opérationnelle et financière, au profit du client avec des coûts réduits.
Dans un scénario où la rapidité et l'efficacité de la gestion des données sont devenues essentielles à la compétitivité des entreprises, les grands opérateurs téléphoniques sont confrontés au défi d'adapter leurs infrastructures technologiques pour répondre à la demande croissante. C'est le défi auquel a dû faire face l'un des plus grands opérateurs téléphoniques du Brésil, qui a décidé de procéder à un changement significatif dans son système de gestion de données : la migration du traditionnel SQL Server vers l'innovant et évolutif BigQuery, une solution de stockage de données du Google Cloud.
La migration vers BigQuery est une solution à plusieurs défis auxquels les entreprises sont confrontées, y compris la nécessité de traiter et d'analyser d'énormes volumes de données générées quotidiennement. Le SQL Server, bien qu'efficace à bien des égards, présente des limites en termes d'évolutivité et de flexibilité, en particulier lorsqu'il s'agit de répondre aux demandes croissantes du Big Data. Le choix du BigQuery permet de surmonter ces limitations et permet aux organisations de découvrir les avantages d'une infrastructure cloud, tels que la réduction des coûts opérationnels et une plus grande agilité dans le traitement des données.
Cependant, une transition comme celle-ci peut s'avérer complexe, surtout si considérée le besoin d'assurer la sécurité et la protection des données tout au long du processus. C'est pourquoi l'opérateur a sollicité le soutien de l'act digital, qui a été le responsable de la conduite de ce projet jusqu'à la fin, de la planification à la migration complète. La solution a été soigneusement conçue pour garantir l'intégrité des données, en minimisant les interruptions des services, ainsi que les risques et les coûts .
Une fois la migration vers BigQuery terminée, l'opérateur dispose désormais d'un système de gestion des données plus agile et efficace, ce qui favorise la prise de décisions stratégiques en temps réel. Cela a entraîné des gains de productivité et d’efficacité, avec une réduction des coûts pour maintenir l’infrastructure de données
Avec des opérations nationales, l'entreprise de télécommunications qui a engagé l'act digital pour faire la migration du système de gestion des données a un engagement envers l'innovation, l'expérience client et l'agilité. C'est une entreprise qui s'est positionnée comme leader dans des mouvements importants sur le marché de télécommunications depuis le début de ses opérations au Brésil.
Depuis 2015, elle est leader en couverture 4G dans le pays, en étendant sa connectivité aux zones rurales, en contribuant ainsi à l'innovation agro-industrielle. En tant que pionnière dans l'activation des réseaux 5G au Brésil, l'entreprise continue de promouvoir la transformation numérique du secteur.
En plus de son focus sur la technologie et l'innovation, l'entreprise se distingue par ses pratiques environnementales, sociales et de gouvernance (ESG). Le travail dans ce domaine est reconnu non seulement par la société brésilienne, bénéficiée des actions, mais aussi par le marché des capitaux, qui atteste de la rigueur et de l'efficacité des pratiques adoptées.
Avec des travaux pertinents dans le pays, l’entreprise place les données comme point central de ses opérations. Au quotidien, ses activités impliquent le traitement d'un large éventail d'informations, qui doivent être stockées et utilisées de manière sécurisée, conformément aux normes établies par la loi générale sur la protection des données (LGPD). En ce sens, la migration du système SQL Server vers BigQuery a un impact positif à la fois sur les opérations et sur la stratégie de l'organisation.
Réaliser la migration de SQL Server vers BigQuery était le défi relevé par l’entreprise. Bien qu'elle offre de nombreux avantages, cette transition présentait des défis importants en raison de la complexité inhérente au processus.
Pour garantir que le changement se produise efficacement, en générant les résultats attendus, l'équipe de l'act digital a développé l'ensemble du framework du travail, en tenant compte les défis qui devront être surmontés tout au long du projet, tels que :
L'équipe de l'act digital, en charge de la migration des données de SQL Server vers BigQuery, a adopté une approche agile, sécurisée et stratégique pour mener à bien la transition. L'équipe a assumé des responsabilités allant du développement de l'architecture à la mise en œuvre du pipeline complet.
La méthodologie utilisée dans la transition entre les systèmes de stockage de données envisageait deux approches distinctes. Dans la première étape, l'objectif de l'équipe était de créer un "pont de données", une solution d'interconnexion développée pour transférer efficacement et en toute sécurité les données entre les deux systèmes. Ensuite, l'équipe a développé une méthode de sauvegarde alternative, un processus essentiel pour assurer la redondance et la sécurité des données lors de la migration.
**Version 1 **
L'équipe a développé un « pont de données » en utilisant Python avec la bibliothèque pandas_gbq, qui offre une intégration directe avec BigQuery. De plus, elle a utilisé le SQLAlchemy pour extraire les données du SQL Server.
Version 2
Comme méthode de sauvegarde alternative, l'équipe a mis en œuvre un système utilisant Shell Script, centré autour de l'utilisation de l'utilitaire BCP, un outil de ligne de commande SQL Server. Cet utilitaire vous permet d'extraire des données directement de SQL Server vers des fichiers CSV, sans utiliser la mémoire du serveur, en offrant des performances supérieures par rapport à l'utilisation du Python, même s'il nécessite une gestion plus soignée des données et ajoute de la complexité au processus.
De la planification à la migration des systèmes, les technologies utilisées ont été :
La migration réussie de SQL Server vers BigQuery a généré des résultats significatifs pour le client, qui se reflètent dans plusieurs domaines de son opération. Exécuté efficacement, le projet lui-même offrait déjà une solution à coûts réduits. Cependant, il existe un certain nombre d’autres avantages pour l’opérateur.
Résolution des défis critiques pour la migration vers le cloud L'équipe a surmonté les obstacles techniques et opérationnels, en facilitant la transition de SQL Server à un environnement de cloud moderne et efficace. . Le projet a été développé en mettant l'accent sur la résolution des demandes présentées en optimisant les ressources et les coûts.
Réduction de coûts opérationnels Réduction significative des dépenses d'infrastructure et de maintenance, grâce à l'utilisation d'outils de migration efficaces de Google Cloud Platform (GCP).
Amélioration de l'efficacité et de l’évolutivité Augmentation de l’efficacité opérationnelle avec l’utilisation de BigQuery, qui permet un traitement des données plus rapide et plus évolutif.
Amélioration de la sécurité et de la gestion des données Améliorations de la sécurité et de la gestion des données en adoptant des pratiques et des outils de sécurité avancés de GCP.
Amélioration de l'analyse des données et de la prise de décision Capacité améliorée d’analyse des données, en fournissant des informations plus approfondies et de soutien à la prise de décision basée sur les données.
Dans le secteur des télécommunications et des médias, la demande d’innovation et d’efficacité numériques est implacable. Notre approche consiste donc à proposer des solutions qui non seulement répondent aux besoins actuels, mais préparent également les entreprises aux défis futurs.
Avec des professionnels spécialisés et qui connaissent bien ce secteur, l'act digital est prête à aider les entreprises de ce domaine à faire face à des défis similaires à ceux de la migration de SQL vers BigQuery, en assurant une transformation numérique sûre, efficace et innovante.
Nous offrons un large éventail de solutions personnalisées pour chaque projet, couvrant vos demandes spécifiques et exploitant au maximum le potentiel à atteindre. Découvrez comment nous pouvons aider votre entreprise !
- Développement de parcours numériques: nous créons des parcours personnalisés de transformation numérique, en veillant à ce que la transition vers les nouvelles technologies soit efficace et alignée avec les objectifs de l'entreprise.
- Stratégies de streaming: avec l'augmentation de la demande de contenu numérique, nous aidons les entreprises à développer et à optimiser leurs stratégies de streaming, en garantissant ainsi l'efficacité de la livraison de contenu et une meilleure expérience utilisateur.
- Culture omnichannel: nous mettons en œuvre une approche omnichannel, en garantissant que les entreprises sont prêtes à interagir avec clients sur plusieurs canaux numériques de manière intégrée et efficace.
- Sécurité des processus et des données: la sécurité est une priorité dans toutes nos solutions. Nous nous concentrons sur la protection des données et des processus, en veillant à ce que la transition vers des plateformes telles que BigQuery soit sûre et fiable.
- API et applications : nous développons des API et des applications personnalisées qui aident à optimiser les opérations, à améliorer l’interaction avec le client et à améliorer l'analyse des données.
Nous sommes préparés pour l'avenir qui révolutionne le secteur des médias et des télécommunications. Notre expertise combine l'adoption de méthodes agiles avec la mise en œuvre de technologies innovantes pour conduire les entreprises vers leurs résultats de ses affaires.
La transformation numérique se déroule de plus en plus rapidement, en exigeant une efficacité dans la transition des technologies et dans le traitement des données. C'est notre spécialité ! Si votre entreprise a besoin d'avancer dans cette démarche, contactez l'équipe de l'act digital.
La solution mise en place par act digital permet à l'entreprise d'analyser les données stratégiques en temps réel avec l'application de modèles prédictifs
Le projet développé par l’act digital a mis en œuvre un "tapis roulant de priorisation" pour intégrer et optimiser les opérations de Data Analytics d'une grande banque nationale.
La solution développée par act digital a numérisé l'ensemble du processus de vente, augmentant l'efficacité, les ventes et l'utilisation stratégique des données
Vous souhaitez transformer votre entreprise et mener un processus d’innovation ? Nous avons les bonnes méthodes, technologies et experts pour soutenir votre entreprise.
