Qu es y como crear ETL en AWS Glue Parte 2

Continuando con la segunda parte del tutorial, explicare los pasos para crear un rastreador un job.

Dentro del panel de AWS Glue observaremos diferentes opciones, para comenzar con nuestro ETL, debemos hacer uso de los rastreadores (crawler) para crear nuestra base de datos, el rastreador har un map del esquema de datos de una forma inteligente y crear replicas de estos esquemas a modo de tablas.

Crawler o Rastreador

Seleccionaremos la opcin de Aadir Rastreador (crawler), y observaremos la primera pantalla de configuracin.

En esta pantalla podemos ingresar el nombre de nuestro crawler, asignar algunos tags para agrupar u obtener algn detalle, y agregar una descripcin y configuracin de seguridad, esta ltima nos permitir cifrar datos on rest, a los registros que se enven a travs de cloudwatch. Para ser este ejemplo simple solo ingresaremos un nombre.

A continuacin configuraremos nuestras fuentes de informacin, podemos elegir entre dos tipos de fuentes, catlogos de datos ya existentes o Data stores, tambin tenemos una configuracin adicional para que nuestro crawler solo mapee datos nuevos desde su ltima ejecucin.

Nuestra primera fuente a configurar ser nuestro bucket de S3 donde existe la opcin de utilizar un bucket alojado en nuestra cuenta u otra, tambin tenemos la posibilidad de ignorar archivos que no deseamos dentro de una carpeta en nuestro bucket, o de seleccionar archivos solo con cierta extensin.

En nuestro ejemplo seleccionaremos la carpeta donde se ubica nuestro archivo, dependiendo de la lgica de negocio, podramos mapear solo un archivo o de ser necesario podemos mapear varios archivos dentro de una carpeta.

En este ejemplo tambin haremos uso de una tabla de DynamoDB para lo cual tambin vamos a realizar su respectivo mapping.

Podemos utilizar otros tipos de bases de datos u otras fuentes de informacin cada una con su respectiva configuracin.

Es necesario configurar un rol de IAM para que este pueda acceder a nuestro bucket y a nuestra tabla de Dynamo adems de ejecutar el ETL job que ser explicado oportunamente.

Dicho rol contendr 3 policies, la primera un rol administrado por AWS, el cual contendr varios permisos ya definidos

Los otros dos sern de nuestra tabla de dynamo con las acciones de DescribeTable y Scan

Cmo tambin tendr las acciones de GetObject y PutObject en nuestro bucket

Si deseamos re-utilizar el mismo role para otros jobs, solo aadiriamos nuestras tablas o buckets en la seccin de Resource.

Nuestro crawler tambin permite la opcin de poder programarlo a modo calendarizado para que se ejecute en un tiempo especfico, el rango varia entre horas, das, semanas, meses o expresiones cron.

Nuestro ltimo paso ser el de crear nuestra base de datos en el catlogo, donde se ubicarn nuestras tablas convertidas con el esquema obtenido del archivo csv y de la tabla de DynamoDB, es posible utilizar una base de datos en un catlogo perteneciente a otra cuenta de AWS.

Al verificar que todos los pasos anteriores estn correctos procederemos a ejecutar nuestro crawler, para ello identificaremos la ejecucin actual de nuestro crawler en la columna estado la cual detala tres tipos (Running, Stopping, Ready). La ejecucin del crawler puede variar en un rango de tiempo de 1 a 5 minutos dependiendo de la cantidad de informacin y el grado de complejidad del esquema de nuestras fuentes.

Finalizado la ejecucin del crawler con el estado Ready, podemos acceder a nuestras tablas recientemente creadas en nuestra base de datos.

Con nuestras tablas listas para ser utilizadas procederemos a crear nuestro job ETL

Jobs o Trabajos

Dentro de nuestro job ETL, contamos con una gran cantidad de configuraciones, los dos primeros campos corresponden al nombre que tendr nuestro job y el segundo el IAM role que hemos creado anteriormente.

Tipos de jobs
Hay tres tipos de jobs:

• Spark: Un job de Spark se ejecuta en un entorno Apache Spark administrado por AWS Glue. Procesa los datos en lotes.
• Spark Streaming: Un job ETL de streaming es similar a un trabajo de Spark, excepto que realiza ETL en las transmisiones de datos. Utiliza el marco Apache Spark Structured Streaming.

Algunas caractersticas de trabajo de Spark no estn disponibles para los trabajos ETL de streaming.

Python Shell: Un job de shell de Python ejecuta scripts de Python como shell y admite una versin de Python que depende de la versin de AWS Glue que est utilizando. Estos trabajos pueden utilizarse para programar y ejecutar tareas que no requieren un entorno de Apache Spark.

Para nuestro ejemplo utilizaremos un job de tipo Spark.

Es importante seleccionar con cuidado nuestra versin de Glue deseada, debido a que cada versin de Glue presenta un esquema de precio diferente, como tambin difiere en velocidad y la versin del lenguaje de programacin que utilicemos.

Versiones de AWS Glue

AWS Glue realiza el seguimiento de los datos que han sido procesados durante la ejecucin anterior de un trabajo de ETL, y almacena la informacin de estado a partir de la ejecucin del trabajo. Esta informacin de estado persistente se denomina marcador de trabajo. Los marcadores de trabajo ayudan a AWS Glue a mantener la informacin de estado y evitar la re-procesamiento de datos antiguos.

Job Marker
Existen tres tipos de estados para el marcador de trabajo

• Enable: Realiza un seguimiento de los datos procesados anteriormente. Cuando se ejecuta un flujo de trabajo, procesar los datos nuevos desde el ltimo punto de comprobacin.
• Pause: Procesar los datos incrementales desde la ltima ejecucin correcta o los datos en el rango identificado por las siguientes sub-opciones, sin actualizar el estado del ltimo marcador.
• Disable: Procesar siempre todo el conjunto de datos.

En nuestro ejemplo utilizaremos la opcin deshabilitar.

Configuraciones

En esta seccin podemos seleccionar un script creado anteriormente o un script auto-generado por glue en el que tendremos que configurar el tipo de transformacin, el target al que deseamos agregar y el esquema final de los datos al finalizar AWS Glue nos generar un script en el lenguaje y versin que hayamos especificado listo para correr, para nuestro ejemplo seleccionaremos la opcin Un nuevo script.

En la pantalla conexiones podremos configurar conectores JDBC en el caso de que estemos utilizando una base de datos externa, en el caso de este ejemplo no es necesario.

Finalmente, visualizaremos el lienzo donde podemos empezar a escribir nuestro cdigo en la Parte 3 de este tutorial.