Construcción de un Data Lake

Industria

Sector bancario y finanzas (un importante banco comercial francés).

Reto

Creación de un lago de datos para un proyecto de pagos instantáneos.

Solución

  • Diseño e implementación de la arquitectura del lago de datos;
  • Implementación de flujos de datos utilizando tecnologías del ecosistema Hadoop;
  • Desarrollo de la capa de almacenamiento de datos utilizando Cassandra;
  • Configuración de la plataforma de visualización y análisis de datos con ELK;
  • Entorno técnico: el proyecto se desarrolló utilizando el ecosistema Hadoop, Java, Cassandra y ELK. Se implementó en un entorno de nube híbrida.

Tecnologías

  • Java
  • Springboot
  • ELK
  • HDFS
  • Kafka
  • Spark
  • Cassandra

Claves para el éxito

Dominio del ecosistema Hadoop: nuestra experiencia en tecnologías de procesamiento y almacenamiento de datos, en particular Hadoop, nos permitió diseñar e implementar un sistema fiable y escalable para el lago de datos del banco;

Uso de la nube híbrida: implementamos una arquitectura de nube híbrida para permitir al banco desplegar servicios de procesamiento y análisis de datos a gran escala de forma rápida y sencilla. Este enfoque optimizó los costes al tiempo que garantizaba la seguridad de los datos y el cumplimiento normativo;

Estrecha colaboración con los equipos de negocio: trabajamos en estrecha colaboración con los equipos de negocio del banco para comprender sus necesidades y objetivos en materia de procesamiento de datos. Esta colaboración dio lugar a la creación de un lago de datos adaptado a las necesidades del banco en términos de rendimiento, capacidad y funcionalidad, y facilitó la adopción de la solución por parte de los usuarios finales.

Industria

Sector bancario y finanzas (un importante banco comercial francés).

Reto

Creación de un lago de datos para un proyecto de pagos instantáneos.

Solución

  • Diseño e implementación de la arquitectura del lago de datos;
  • Implementación de flujos de datos utilizando tecnologías del ecosistema Hadoop;
  • Desarrollo de la capa de almacenamiento de datos utilizando Cassandra;
  • Configuración de la plataforma de visualización y análisis de datos con ELK;
  • Entorno técnico: el proyecto se desarrolló utilizando el ecosistema Hadoop, Java, Cassandra y ELK. Se implementó en un entorno de nube híbrida.

Tecnologías

  • Java
  • Springboot
  • ELK
  • HDFS
  • Kafka
  • Spark
  • Cassandra

Claves para el éxito

Dominio del ecosistema Hadoop: nuestra experiencia en tecnologías de procesamiento y almacenamiento de datos, en particular Hadoop, nos permitió diseñar e implementar un sistema fiable y escalable para el lago de datos del banco;

Uso de la nube híbrida: implementamos una arquitectura de nube híbrida para permitir al banco desplegar servicios de procesamiento y análisis de datos a gran escala de forma rápida y sencilla. Este enfoque optimizó los costes al tiempo que garantizaba la seguridad de los datos y el cumplimiento normativo;

Estrecha colaboración con los equipos de negocio: trabajamos en estrecha colaboración con los equipos de negocio del banco para comprender sus necesidades y objetivos en materia de procesamiento de datos. Esta colaboración dio lugar a la creación de un lago de datos adaptado a las necesidades del banco en términos de rendimiento, capacidad y funcionalidad, y facilitó la adopción de la solución por parte de los usuarios finales.

Relacionado

chevron-right