Curso Data Integration with Cloud Data Fusion

  • T-DICDF-I
  • Intermedio

Este curso presenta la capacidad de integración de datos de Google Cloud mediante Cloud Data Fusion.

Abordaremos los retos de la integración de datos y las necesidades de una plataforma de integración de datos (middleware); analizaremos cómo Cloud Data Fusion puede ayudar a integrar eficazmente datos procedentes de diversas fuentes y formatos, y a generar información y conoceremos los principales componentes de Cloud Data Fusion y su funcionamiento, cómo procesar datos por lotes y datos de flujo en tiempo real con un diseño visual de canalización, un seguimiento exhaustivo de los metadatos y el linaje de los datos, y cómo desplegar canalizaciones de datos en varios motores de ejecución.

Estamos preparando nuevas convocatorias, déjanos tus datos a través del formulario y te avisaremos en cuanto estén disponibles.

  • Identificar la necesidad de integración de datos.
  • Comprender las capacidades que Cloud Data Fusion proporciona como plataforma de integración de datos.
  • Identificar casos de uso para la posible implementación de Cloud Data Fusion.
  • Conocer los componentes principales de Cloud Data Fusion.
  • Diseñar y ejecutar pipelines de procesamiento de datos por lotes y en tiempo real.
  • Trabajar con Wrangler para construir transformaciones de datos.
  • Utilizar conectores para integrar datos de diversas fuentes y formatos.
  • Configurar el entorno de ejecución; supervisar y solucionar problemas de ejecución de canalizaciones.
  • Comprender la relación entre los metadatos y el linaje de los datos.

Este curso está dirigido a ingenieros de datos y analistas de datos.

Es recomendable haber completado, previamente, el curso Google Cloud Big Data and Machine Learning Fundamentals.

Módulo 1: Introduction to data integration and Cloud Data Fusion

Contenidos:

  • Data integration: what, why, challenges.
  • Data integration tools used in industry.
  • User personas.
  • Introduction to Cloud Data Fusion.
  • Data integration critical capabilities.
  • Cloud Data Fusion UI components.

Objetivos:

  • Understand the need for data integration.
  • List the situations/cases where data integration can help businesses.
  • List the available data integration platforms and tools.
  • Identify the challenges with data integration.
  • Understand the use of Cloud Data Fusion as a data integration platform.
  • Create a Cloud Data Fusion instance.
  • Familiarize with core framework and major components in Cloud Data Fusion.

Módulo 2: Building pipelines

Contenidos:

  • Cloud Data Fusion architecture.
  • Core concepts.
  • Data pipelines and directed acyclic graphs (DAG).
  • Pipeline Lifecycle.
  • Designing pipelines in Pipeline Studio.

Objetivos:

  • Understand Cloud Data Fusion architecture.
  • Define what a data pipeline is.
  • Understand the DAG representation of a data pipeline.
  • Learn to use Pipeline Studio and its components.
  • Design a simple pipeline using Pipeline Studio.
  • Deploy and execute a pipeline.

Módulo 3: Designing complex pipelines

Contenidos:

  • Branching, Merging and Joining.
  • Actions and Notifications.
  • Error handling and Macros.
  • Pipeline Configurations, Scheduling, Import and Export.

Objetivos:

  • Perform branching, merging, and join opeations.
  • Execute pipeline with runtime arguments using macros.
  • Work with error handlers.
  • Execute pre- and post-pipeline executions with help of actions and notifications.
  • Schedule pipelines for execution.
  • Import and export existing pipelines.

Módulo 4: Pipeline execution environment

Contenidos:

  • Schedules and triggers.
  • Execution environment: Compute profile and provisioners.
  • Monitoring pipelines.

Objetivos:

  • Understand the composition of an execution environment.
  • Configure your pipeline’s execution environment, logging, and Understand concepts like compute profile and provisioner.
  • Create a compute profile.
  • Create pipeline alerts.
  • Monitor the pipeline under execution.

Módulo 5: Building Transformations and Preparing Data with Wrangler

Contenidos:

  • Wrangler.
  • Directives.
  • User-defined directives.

Objetivos:

  • Understand the use of Wrangler and its main components.
  • Transform data using Wrangler UI.
  • Transform data using directives/CLI methods.
  • Create and use user-defined directives.

Módulo 6: Connectors and streaming pipelines

Contenidos:

  • Understand the data integration architecture.
  • List various connectors.
  • Use the Cloud Data Loss Prevention (DLP) API.
  • Understand the reference architecture of streaming pipelines.
  • Build and execute a streaming pipeline.

Objetivos:

  • Connectors.
  • DLP.
  • Reference architecture for streaming applications.
  • Building streaming pipelines.

Módulo 7: Metadata and data lineage

Contenidos.

  • Metadata.
  • Data lineage.

Objetivos:

  • List types of metadata.
  • Differentiate between business, technical, and operational metadata.
  • Understand what data lineage is.
  • Understand the importance of maintaining data lineage.
  • Differentiate between metadata and data lineage.

Módulo 8: Summary

Documentación oficial para el curso Data Integration with Cloud Data Fusion.

  • Formador certificado por Google Cloud.
  • Más de 5 años de experiencia profesional.
  • Más de 4 años de experiencia docente.
  • Profesional activo en empresas del sector IT.

Antiguos alumnos

Si has asistido a alguno de nuestros cursos, tienes un 10% de descuento en la matrícula de tus próximos cursos o certificaciones oficiales.

Carné Joven Comunidad de Madrid

Si tienes el Carné Joven de la Comunidad de Madrid, dispones de un 15% de descuento en todos nuestros cursos y certificaciones. Únicamente deberás presentar tu carné.

Desempleados

Bonificamos un 10% la matrícula de tu curso o certificación oficial. Únicamente deberás acreditarlo con cualquiera de los documentos oficiales disponibles.

Discapacitados

Si tienes algún tipo de discapacidad, cuentas con un 10% de descuento en la matrícula de tu curso. Únicamente deberás acreditarlo.

Familia numerosa

¡Te ayudamos! Sabemos que es importante cuidar de la economía familiar, por eso, y en cumplimiento de nuestra política de Responsabilidad Social Corporativa, si eres miembro de una familia numerosa, puedes beneficiarte de un 10% de descuento en la matrícula de cualquier curso. Únicamente deberás acreditarlo.

Amigos o compañeros profesionales

Si te inscribes a nuestros cursos con uno o más amigos o compañeros técnicos, cada uno de vosotros obtendréis un descuento del 10% en vuestra formación.

Si trabajáis en la misma empresa, consulta los descuentos para departamentos profesionales.

Empresas

Mantener, actualizar y perfeccionar las habilidades y conocimientos del equipo de trabajo es esencial para la adaptación y el éxito de la estrategia empresarial en el entorno dinámico y desafiante en el que competimos.

Si deseas planificar la formación (técnica, metodológica o de habilidades) de tu equipo, consulta nuestros planes de formación continua o los descuentos en cursos y certificaciones técnicas.

Fundae (Formación bonificable)

Prácticamente la totalidad de nuestra formación puede ser bonificada aplicando el crédito de formación que las empresas y autónomos tienen anualmente en Fundae.

Consúltanos y no te preocupes, lo gestionamos por ti.

Sodexo (Pluxee)

Ahorra con tu cheque virtual.

Formación Pass de Pluxee (Sodexo) es un servicio que facilita el acceso y pago de formación y certificación oficial. Al estar exento del IRPF, ahorras al menos un 25% del importe total.

Úsalo con nosotros.

Descuentos no aplicables a Red Hat ni Oracle. La formación de Red Hat no es bonificable en Fundae. Los exámenes de certificación no se pueden bonificar. Podrán bonificarse únicamente si son indivisibles del curso que los prepara.

Objetivos
  • Identificar la necesidad de integración de datos.
  • Comprender las capacidades que Cloud Data Fusion proporciona como plataforma de integración de datos.
  • Identificar casos de uso para la posible implementación de Cloud Data Fusion.
  • Conocer los componentes principales de Cloud Data Fusion.
  • Diseñar y ejecutar pipelines de procesamiento de datos por lotes y en tiempo real.
  • Trabajar con Wrangler para construir transformaciones de datos.
  • Utilizar conectores para integrar datos de diversas fuentes y formatos.
  • Configurar el entorno de ejecución; supervisar y solucionar problemas de ejecución de canalizaciones.
  • Comprender la relación entre los metadatos y el linaje de los datos.
Audiencia

Este curso está dirigido a ingenieros de datos y analistas de datos.

Requisitos

Es recomendable haber completado, previamente, el curso Google Cloud Big Data and Machine Learning Fundamentals.

Contenidos

Módulo 1: Introduction to data integration and Cloud Data Fusion

Contenidos:

  • Data integration: what, why, challenges.
  • Data integration tools used in industry.
  • User personas.
  • Introduction to Cloud Data Fusion.
  • Data integration critical capabilities.
  • Cloud Data Fusion UI components.

Objetivos:

  • Understand the need for data integration.
  • List the situations/cases where data integration can help businesses.
  • List the available data integration platforms and tools.
  • Identify the challenges with data integration.
  • Understand the use of Cloud Data Fusion as a data integration platform.
  • Create a Cloud Data Fusion instance.
  • Familiarize with core framework and major components in Cloud Data Fusion.

Módulo 2: Building pipelines

Contenidos:

  • Cloud Data Fusion architecture.
  • Core concepts.
  • Data pipelines and directed acyclic graphs (DAG).
  • Pipeline Lifecycle.
  • Designing pipelines in Pipeline Studio.

Objetivos:

  • Understand Cloud Data Fusion architecture.
  • Define what a data pipeline is.
  • Understand the DAG representation of a data pipeline.
  • Learn to use Pipeline Studio and its components.
  • Design a simple pipeline using Pipeline Studio.
  • Deploy and execute a pipeline.

Módulo 3: Designing complex pipelines

Contenidos:

  • Branching, Merging and Joining.
  • Actions and Notifications.
  • Error handling and Macros.
  • Pipeline Configurations, Scheduling, Import and Export.

Objetivos:

  • Perform branching, merging, and join opeations.
  • Execute pipeline with runtime arguments using macros.
  • Work with error handlers.
  • Execute pre- and post-pipeline executions with help of actions and notifications.
  • Schedule pipelines for execution.
  • Import and export existing pipelines.

Módulo 4: Pipeline execution environment

Contenidos:

  • Schedules and triggers.
  • Execution environment: Compute profile and provisioners.
  • Monitoring pipelines.

Objetivos:

  • Understand the composition of an execution environment.
  • Configure your pipeline’s execution environment, logging, and Understand concepts like compute profile and provisioner.
  • Create a compute profile.
  • Create pipeline alerts.
  • Monitor the pipeline under execution.

Módulo 5: Building Transformations and Preparing Data with Wrangler

Contenidos:

  • Wrangler.
  • Directives.
  • User-defined directives.

Objetivos:

  • Understand the use of Wrangler and its main components.
  • Transform data using Wrangler UI.
  • Transform data using directives/CLI methods.
  • Create and use user-defined directives.

Módulo 6: Connectors and streaming pipelines

Contenidos:

  • Understand the data integration architecture.
  • List various connectors.
  • Use the Cloud Data Loss Prevention (DLP) API.
  • Understand the reference architecture of streaming pipelines.
  • Build and execute a streaming pipeline.

Objetivos:

  • Connectors.
  • DLP.
  • Reference architecture for streaming applications.
  • Building streaming pipelines.

Módulo 7: Metadata and data lineage

Contenidos.

  • Metadata.
  • Data lineage.

Objetivos:

  • List types of metadata.
  • Differentiate between business, technical, and operational metadata.
  • Understand what data lineage is.
  • Understand the importance of maintaining data lineage.
  • Differentiate between metadata and data lineage.

Módulo 8: Summary

Material del curso

Documentación oficial para el curso Data Integration with Cloud Data Fusion.

Perfil del docente
  • Formador certificado por Google Cloud.
  • Más de 5 años de experiencia profesional.
  • Más de 4 años de experiencia docente.
  • Profesional activo en empresas del sector IT.
Promociones

Antiguos alumnos

Si has asistido a alguno de nuestros cursos, tienes un 10% de descuento en la matrícula de tus próximos cursos o certificaciones oficiales.

Carné Joven Comunidad de Madrid

Si tienes el Carné Joven de la Comunidad de Madrid, dispones de un 15% de descuento en todos nuestros cursos y certificaciones. Únicamente deberás presentar tu carné.

Desempleados

Bonificamos un 10% la matrícula de tu curso o certificación oficial. Únicamente deberás acreditarlo con cualquiera de los documentos oficiales disponibles.

Discapacitados

Si tienes algún tipo de discapacidad, cuentas con un 10% de descuento en la matrícula de tu curso. Únicamente deberás acreditarlo.

Familia numerosa

¡Te ayudamos! Sabemos que es importante cuidar de la economía familiar, por eso, y en cumplimiento de nuestra política de Responsabilidad Social Corporativa, si eres miembro de una familia numerosa, puedes beneficiarte de un 10% de descuento en la matrícula de cualquier curso. Únicamente deberás acreditarlo.

Amigos o compañeros profesionales

Si te inscribes a nuestros cursos con uno o más amigos o compañeros técnicos, cada uno de vosotros obtendréis un descuento del 10% en vuestra formación.

Si trabajáis en la misma empresa, consulta los descuentos para departamentos profesionales.

Empresas

Mantener, actualizar y perfeccionar las habilidades y conocimientos del equipo de trabajo es esencial para la adaptación y el éxito de la estrategia empresarial en el entorno dinámico y desafiante en el que competimos.

Si deseas planificar la formación (técnica, metodológica o de habilidades) de tu equipo, consulta nuestros planes de formación continua o los descuentos en cursos y certificaciones técnicas.

Medios de pago

Fundae (Formación bonificable)

Prácticamente la totalidad de nuestra formación puede ser bonificada aplicando el crédito de formación que las empresas y autónomos tienen anualmente en Fundae.

Consúltanos y no te preocupes, lo gestionamos por ti.

Sodexo (Pluxee)

Ahorra con tu cheque virtual.

Formación Pass de Pluxee (Sodexo) es un servicio que facilita el acceso y pago de formación y certificación oficial. Al estar exento del IRPF, ahorras al menos un 25% del importe total.

Úsalo con nosotros.

Descuentos no aplicables a Red Hat ni Oracle. La formación de Red Hat no es bonificable en Fundae. Los exámenes de certificación no se pueden bonificar. Podrán bonificarse únicamente si son indivisibles del curso que los prepara.

Solicita información

Partner oficial de los principales fabricantes tecnológicos

ITIL® y PRINCE2® son marcas comerciales registradas de AXELOS Limited, utilizadas bajo permiso de AXELOS Limited. The Swirl logo™ es una marca comercial de AXELOS Limited, utilizada bajo permiso de AXELOS Limited. Todos los derechos reservados.