November 25th, 2022 - Instalment #137

Bienvenidos

Bienvenido al boletn informativo de cdigo abierto de AWS, edicin n. 137. Como se trata de re:Invent la prxima semana, publicar el boletn temprano cuando salga el lunes. Estar en Las Vegas hablando con constructores de cdigo abierto, pasando el rato en el quiosco de cdigo abierto en AWS Village y dando algunas charlas. Si vienes, me encantara conocer a algunos de ustedes, as que ponte en contacto. Tambin me tomar un descanso de una semana, por lo que el prximo boletn ser el 12 de diciembre.

Como siempre, esta semana tenemos ms proyectos nuevos para que practiques tus cuatro libertades, incluidos un par de proyectos para aquellos que buscan quizs hacer frente a sus propias instancias de Mastadon. "aws-vpc-flowlogs-enricher" es un proyecto para ayudarlo a agregar datos adicionales en sus registros de flujo de VPC, "aws-security-assessment-solution", una solucin que utiliza algunas herramientas de seguridad de cdigo abierto que puede usar para evaluar su AWS cuentas, "aws-backup-amplify-appsync", una herramienta para todos los usuarios de AWS Amplify que deben conocer, "message-bus-bridge" es una herramienta para ayudarlo a copiar mensajes entre mensajes, "monitor-serverless-datalake" mantngase al tanto de sus lagos de datos con esta solucin, "ec2-image-builder-send-approval-notifications-before-sharing-ami" le muestra cmo puede agregar un paso de notificacin en el flujo de trabajo de creacin de AMI, "amazon-ecs- fargate-cdk-v2-cicd" es una buena demostracin sobre el uso de AWS CDKv2 con Flask, "deploy-nth-to-eks", una herramienta para administradores de Kubernetes, y tambin algunos proyectos ms!

Con el perodo previo a re:Invent, el equipo de AWS Amplify ha estado entusiasmado y tenemos una gran cantidad de contenido excelente para los usuarios y fanticos de AWS Amplify. Tambin tenemos excelente contenido que cubre sus proyectos de cdigo abierto favoritos, incluidos GraphQL, Grafana, Prometheus, MariaDB, PostgreSQL, Flutter, React, Apache Iceberg, Apache Airflow, Apache Flink, Apache ShardingSphere, AutoGluon, AWS ParallelCluster, Kubeflow, NGINX, Finch, Amazon EMR, Trino, Apache Hudi, O3DE, Apache Kafka, OpenSearch, MLFlow y ms.

Finalmente, con re:Invent upon us, asegrese de consultar la seccin de eventos para obtener todo lo que necesita saber para asegurarse de no perderse las mejores sesiones de cdigo abierto.

AWS Copilot: d su opinin

El proyecto AWS Copilot ha creado una nueva propuesta de diseo para anular los recursos abstractos de Copilot mediante el kit de desarrollo de la nube (CDK) de AWS. El objetivo es proporcionar un mecanismo de "romper el cristal" para acceder y configurar la funcionalidad que no aparece en los manifiestos de Copilot aprovechando el poder expresivo de un lenguaje de programacin. D su opinin dirigindose a Extending Copilot with the CDK y nase a la discusin.

Feedback

Hgame saber cmo podemos mejorar este boletn y cmo AWS puede trabajar mejor con proyectos y tecnologas de cdigo abierto completando esta breve encuesta que probablemente lo llevar menos de 30 segundos para completar. Muchas gracias!

Celebrando a los contribuyentes de cdigo abierto

Los artculos y proyectos compartidos en este boletn solo son posibles gracias a los muchos colaboradores en cdigo abierto. Me gustara gritar y agradecer a aquellas personas que realmente impulsan el cdigo abierto y nos permiten a todos aprender y construir sobre lo que han creado.

As que gracias a los siguientes hroes de cdigo abierto: John Preston, Andreas Wittig, Michael Wittig, Uma Ramadoss, Boni Bruno, Eric Henderson, Chelluru Vidyadhar, Vijay Karumajji, Justin Lim, Krishna Sarabu, Chirag Dave, and Mark Townsend

ltimos proyectos de cdigo abierto

• Lo mejor de los proyectos de cdigo abierto es que puede revisar el cdigo fuente. Si le gusta el aspecto de estos proyectos, asegrese de echar un vistazo al cdigo y, si le resulta til, pngase en contacto con el mantenedor para proporcionar comentarios, sugerencias o incluso enviar una contribucin.*

Hermamientas

aws-sam-cli-pipeline-init-templates

aws-sam-cli-pipeline-init-templates Este repositorio contiene las plantillas de inicio de canalizacin que se utilizan en la CLI de AWS SAM para los comandos de canalizacin de sam. Los clientes ahora pueden agregar servicios de forma incremental a su repositorio y automatizar la creacin y ejecucin de canalizaciones para cada nuevo servicio sin servidor. La plantilla crea la infraestructura de soporte necesaria para realizar un seguimiento del historial de confirmaciones y los cambios que ocurren en sus directorios, por lo que solo se activa la canalizacin de servicio modificada. Comience simplemente eligiendo la opcin 2 cuando inicie y arranque y una nueva canalizacin.

aws-security-assessment-solution

aws-security-assessment-solution La ciberseguridad sigue siendo un tema muy importante y un motivo de preocupacin para muchos CIO, CISO y sus clientes. Para satisfacer estas importantes preocupaciones, AWS ha desarrollado un conjunto principal de servicios que los clientes deben usar para ayudar a proteger sus cuentas. Las revisiones de Amazon GuardDuty, AWS Security Hub, AWS Config y AWS Well-Architected ayudan a los clientes a mantener una slida postura de seguridad en sus cuentas de AWS. A medida que ms organizaciones se implementan en la nube, especialmente si lo hacen rpidamente, y an no han implementado los servicios de AWS recomendados, es posible que sea necesario realizar una evaluacin de seguridad rpida del entorno de la nube. Con eso en mente, hemos trabajado para desarrollar una solucin econmica, fcil de implementar, segura y rpida para proporcionar a nuestros clientes dos (2) informes de evaluacin de seguridad. Estas evaluaciones de seguridad son de los proyectos de cdigo abierto "Prowler" y "ScoutSuite". Cada uno de estos proyectos lleva a cabo una evaluacin basada en las mejores prcticas de AWS y puede ayudar a identificar rpidamente cualquier rea de riesgo potencial en el entorno implementado de un cliente.

aws-backup-amplify-appsync

aws-backup-amplify-appsync AWS Amplify facilita la creacin de aplicaciones de interfaz de usuario de interfaz de usuario de pila completa con backends y autenticacin. AWS AppSync agrega tablas GraphQL y DynamoDB sin servidor a su aplicacin sin cdigo. Este proyecto lo gua sobre cmo incluir la infraestructura como cdigo para agregar AWS Backup a una aplicacin de Amplify y AppSync para administrar instantneas para las tablas de DynamoDB de sus aplicaciones.

monitor-serverless-datalake

monitor-serverless-datalake Este repositorio sirve como plataforma de lanzamiento para monitorear lagos de datos sin servidor en AWS. El objetivo es proporcionar un mecanismo plug and play para monitorear lagos de datos a escala empresarial. Los lagos de datos comienzan pequeos y explotan rpidamente con la adopcin. Con una adopcin creciente, las canalizaciones de datos tambin crecen en nmero y complejidad. Es fundamental garantizar que la canalizacin de datos se ejecute segn el SLA y que se mitiguen las fallas. La solucin proporciona mecanismos para lo siguiente: 1. Capturar cambios de estado en todas las tareas en el lago de datos 2. Notificar rpidamente las operaciones de fallas a medida que ocurren 3. Medir la confiabilidad del servicio en todo el lago de datos para identificar oportunidades para la optimizacin del rendimiento.

message-bus-bridge

message-bus-bridge es un servicio relativamente simple que transfiere mensajes entre dos buses de mensajes diferentes. Fue construido con el propsito de proporcionar a los usuarios de los servicios API de WebSocket una forma rpida y fcil de proporcionar conectividad a sus sistemas de bus MQ existentes sin tener que volver a codificar a una API de WebSocket. Efectivamente, escuchar cualquier mensaje proveniente del bus MQ y lo enviar a la API de WebSocket y viceversa. Si bien el servicio en esta encarnacin implementa MQ en WebSockets, el cdigo es modular para que el cdigo de manejo del bus respectivo se pueda cambiar por otro bus, como JMS o Kafka.

aws-vpc-flowlogs-enricher

aws-vpc-flowlogs-enricher Este repositorio contiene un cdigo de funcin lambda de muestra que se puede usar en el flujo de Kinesis Firehose para enriquecer el registro de flujo de VPC con metadatos adicionales, como etiquetas de recursos para las direcciones IP de origen y destino, e ID de VPC, ID de subred, ID de interfaz, AZ para las direcciones IP de destino. . Estos datos se pueden usar para identificar flujos para etiquetas especficas, o trfico de origen AZ a destino AZ y muchos ms escenarios.

ec2-image-builder-send-approval-notifications-before-sharing-ami

ec2-image-builder-send-approval-notifications-before-sharing-ami Es posible que deba validar manualmente la imagen de mquina de Amazon (AMI) creada a partir de una canalizacin de Image Builder de Amazon Elastic Compute Cloud (Amazon EC2) antes de compartir esta AMI con otras cuentas de AWS o con una organizacin de AWS. Actualmente, Image Builder proporciona una canalizacin de un extremo a otro que comparte automticamente las AMI una vez que se han creado. Este repositorio proporciona cdigo y documentacin para ayudarlo a crear una solucin para habilitar las notificaciones de aprobacin antes de que las AMI se compartan con otras cuentas de AWS.

deploy-nth-to-eks

deploy-nth-to-eks El controlador de terminacin de nodos de AWS (nth) garantiza que el plano de control de Kubernetes responda adecuadamente a los eventos que pueden hacer que su instancia EC2 deje de estar disponible, como eventos de mantenimiento de EC2, interrupciones puntuales de EC2, ASG Scale-In, ASG AZ Rebalance y EC2 Instance Termination a travs de la API o la consola. Si no se controla, es posible que el cdigo de su aplicacin no se detenga correctamente, tarde ms en recuperar la disponibilidad total o programe accidentalmente el trabajo en los nodos que se estn desactivando. El controlador de terminacin de nodo de aws (NTH) puede operar en dos modos diferentes: Metadatos de instancia Servicio (IMDS) o el Procesador de Cola. El Monitor de servicio de metadatos de instancia de aws-node-termination-handler ejecutar un pequeo mdulo en cada host para monitorear las rutas de IMDS como /spot o /events y reaccionar en consecuencia para drenar y/o acordonar el nodo correspondiente. El procesador de cola aws-node-termination-handler monitorear una cola SQS de eventos de Amazon EventBridge para eventos de ciclo de vida de ASG, eventos de cambio de estado de EC2, eventos de notificacin de terminacin de interrupcin de spot y eventos de recomendacin de reequilibrio de spot. Cuando NTH detecta que una instancia est fallando, usamos la API de Kubernetes para acordonar el nodo y garantizar que no se programe ningn nuevo trabajo all, luego lo drenamos y eliminamos cualquier trabajo existente. El controlador de terminacin Queue Processor requiere permisos de AWS IAM para monitorear y administrar la cola de SQS y para consultar la API de EC2. Este patrn automatizar la implementacin del controlador de terminacin de nodo utilizando el procesador de cola a travs de la canalizacin CICD.

Demos, Samples, Solutions and Workshops

custom-provider-with-terraform-plugin-framework

custom-provider-with-terraform-plugin-framework Este repositorio contiene una implementacin completa de un proveedor personalizado creado con el ltimo SDK de HashiCorp llamado marco de complemento de Terraform. Se utiliza para ensear, educar y mostrar el funcionamiento interno de un proveedor creado con el SDK ms reciente de HashiCorp. Incluso si no est buscando aprender cmo crear proveedores personalizados, puede mejorar sus habilidades de solucin de problemas a un nivel experto si aprende cmo funciona uno detrs de escena. Adems, es muy divertido jugar con este proveedor. El proveedor se llama buildonaws y le permite mantener personajes de cmics como hroes, superhroes y villanos.

mastodon-on-aws

mastodon-on-aws Andreas Wittig y Michael Wittig comparten detalles sobre cmo puede alojar su propia instancia de Mastodon en AWS. Tambin han elaborado esta publicacin de blog, Mastodon en AWS: aloje su propia instancia que puede leer para obtener ms informacin.

mastodon-aws-architecture

mastodon-aws-architecture este repositorio proporciona detalles sobre cmo se ejecuta la instancia de snapp.social Mastadon en AWS, y a medida que ms y ms personas exploran si esta opcin es adecuada para ellos, eche un vistazo y vea cmo han diseado e implementado esto en AWS.

amazon-ecs-fargate-cdk-v2-cicd

amazon-ecs-fargate-cdk-v2-cicd Este proyecto crea una aplicacin Flask en contenedor de muestra completa disponible pblicamente en AWS, utilizando Fargate, ECS, CodeBuild y CodePipline para producir una canalizacin completamente funcional para implementar cambios continuamente en su nueva aplicacin.

ROSConDemo

ROSConDemo este repositorio contiene cdigo para un proyecto de demostracin de recoleccin de frutas robtica en funcionamiento para O3DE con ROS 2 Gem.

o3de-demo-project

Este proyecto demuestra cmo se puede usar ROS2 Gem para O3DE con una escena (proyecto The Loft) y la pila de navegacin ROS 2.

AWS and Community blog posts

Finch

Phil Estes y Chris Short elaboraron esta publicacin, Presentamos a Finch: un cliente de cdigo abierto para el desarrollo de contenedores para anunciar un nuevo proyecto de cdigo abierto, Finch. Finch es un nuevo cliente de lnea de comandos para crear, ejecutar y publicar contenedores de Linux. Proporciona una instalacin sencilla de un cliente macOS nativo, junto con un conjunto seleccionado de componentes de cdigo abierto estndar de facto, incluidos Lima, nerdctl, containerd y BuildKit. Con Finch, puede crear y ejecutar contenedores localmente, y crear y publicar imgenes de contenedores de Open Container Initiative (OCI). Una cosa que realmente se destaca de esta publicacin es esta cita:

En lugar de iterar en privado y lanzar un proyecto terminado, creemos que el cdigo abierto tiene ms xito cuando diversas voces se unen a la fiesta. Tenemos planes para caractersticas e innovaciones, pero abrir el proyecto tan temprano conducir a una solucin ms slida y til para todos. Nos complace abordar los problemas y estamos listos para aceptar solicitudes de incorporacin de cambios.

As que echa un vistazo a esta publicacin y ponte manos a la obra con Finch.

Apache Hudi

Inmediatamente despus de presentar Apache Hudi en el ltimo programa Build on Open Source, tenemos a Suthan Phillips y Dylan Qu que han creado Build your Apache Lago de datos de Hudi en AWS usando Amazon EMR - Parte 1, donde cubren las mejores prcticas al construir lagos de datos de Hudi en AWS usando Amazon EMR

Apache Kafka

Con tantas opciones para los constructores sobre cmo implementar Apache Kafka, cmo decide cul es la opcin adecuada para usted? Bueno, John Preston, creador de la comunidad de AWS, est aqu para brindar su opinin sobre esto en su publicacin de blog, AWS MSK, Confluent Cloud, Aiven. Cmo elegir su proveedor de servicios administrados de Kafka? Despus de leer la publicacin, comparta sus pensamientos con John en los comentarios.

Apache ShardingSphere

Apache ShardingSphere sigue Database Plus, el concepto de desarrollo rector de nuestra comunidad para crear un ecosistema completo que le permite transformar cualquier base de datos en un sistema de base de datos distribuido y mejorarlo fcilmente con fragmentacin, escalado elstico, funciones de cifrado de datos y ms. Se enfoca en reutilizar las bases de datos existentes, colocando una capa superior estandarizada sobre las bases de datos existentes y fragmentadas, en lugar de crear una nueva base de datos. Puede leer ms sobre este proyecto en la publicacin, ShardingSphere-on-Cloud y Pisanix reemplazan a Sidecar para una verdadera experiencia nativa de la nube y obtener ms informacin sobre ShardingSphere-on-Cloud que le muestra cmo puede implementar ShardingSphere en un entorno de Kubernetes en AWS.

MySQL y MariaDB

En la publicacin Prcticas recomendadas de seguridad para Amazon RDS para instancias MySQL y MariaDB, Chelluru Vidyadhar analiza las diferentes prcticas recomendadas que puede seguir para ejecutar Amazon RDS para bases de datos MySQL y Amazon RDS para MariaDB de forma segura. Chelluru analiza las buenas prcticas actuales a nivel de red, instancia de base de datos y motor de base de datos (MySQL y MariaDB).

Siguiendo con MariaDB, Vijay Karumajji y Justin Lim han creado Aumentar el rendimiento de escritura en Amazon RDS para MariaDB usando el motor de almacenamiento MyRocks, donde exploran el nuevo lanz la arquitectura del motor de almacenamiento MyRocks en Amazon RDS para MariaDB 10.6. Comienzan cubriendo MyRocks y su arquitectura, casos de uso de MyRocks y demuestran nuestros resultados de evaluacin comparativa, para que pueda determinar si el motor de almacenamiento de MyRocks puede ayudarlo a obtener un mayor rendimiento para su carga de trabajo.

PostgreSQL

pgBadger es una herramienta de cdigo abierto para identificar consultas de ejecucin lenta y de ejecucin frecuente en sus aplicaciones de PostgreSQL, y ayudarlo a guiarlo sobre cmo mejorar su rendimiento. En la publicacin de blog, Una arquitectura sin servidor para analizar registros de PostgreSQL con pgBadger Krishna Sarabu, Chirag Dave y Mark Townsend lo guan a travs de un diseo de solucin que permite el anlisis de los registros de la base de datos de PostgreSQL sin utilizar recursos informticos persistentes. Esto le permite usar pgBadger sin tener que preocuparse por el aprovisionamiento, la proteccin y el mantenimiento de recursos informticos y de almacenamiento adicionales. [hands on]

Kubernetes

Tuvimos una gran cantidad de contenido de Kubernetes en el perodo previo a re:Invent, por lo que aqu hay un resumen de los que me parecieron ms interesantes.

• Cmo detectar problemas de seguridad en clsteres de Amazon EKS mediante Amazon GuardDuty - Parte 1 repasa los eventos que llevaron a un problema de seguridad real que ocurri debido a una configuracin incorrecta del clster de EKS, y luego analiza cmo un actor malintencionado podra usar esas configuraciones incorrectas, y cmo Amazon GuardDuty monitorea e identifica actividades sospechosas durante el evento de seguridad de EKS

• Almacenamiento persistente para Kubernetes la primera de una publicacin de dos partes que cubre los conceptos de almacenamiento persistente para Kubernetes y cmo puede aplicar esos conceptos para un bsico carga de trabajo
  *
  

• Exposicin de aplicaciones de Kubernetes, Parte 3: Controlador de entrada de NGINX, el tercero de una serie que busca formas de exponer aplicaciones que se ejecutan en un clster de Kubernetes para acceso externo, esta publicacin cubre el uso de una implementacin de cdigo abierto de un controlador de entrada: NGINX Ingress Controller, explorando algunas de sus caractersticas y las formas en que difiere de su AWS Load Balancer Controller

• Aprendizaje automtico con Kubeflow en Amazon EKS con Amazon EFS explica cmo puede usar Kubeflow en Amazon EKS para implementar el paralelismo de modelos y usar Amazon EFS como persistente almacenamiento para compartir conjuntos de datos [prctica]

Otras publicaciones y lecturas rpidas

• Uso de Authorizer con DynamoDB y EKS muestra cmo usar el Authorizer de cdigo abierto /2bd) proyecto para proporcionar una solucin de autenticacin cuando se trabaja con Amazon DynamoDB

• Lanzar trabajos de capacitacin autosupervisados en la nube con AWS ParallelCluster describe el proceso para crear un clster de computacin de alto rendimiento (HPC) que lanzar grandes, trabajos de capacitacin autosupervisados, principalmente aprovechando dos tecnologas: AWS ParallelCluster y la biblioteca Vision Self-Supervised Learning (VISSL)

• Introduccin a los solucionadores de JavaScript en las API GraphQL de AWS AppSync analiza cmo puede usar ahora JavaScript para escribir el cdigo de resolucin de canalizacin de AppSync y la funcin de AppSync cdigo, as como el Lenguaje de plantilla de Velocity (VTL) existente

• Pronstico fcil y preciso con AutoGluon-TimeSeries muestra la facilidad de uso de AutoGluon-TimeSeries para construir rpidamente un potente pronosticador [prcticas]

• Administrar imgenes en su aplicacin NextJS con AWS AppSync y AWS CDK muestra cmo combinar AWS CDK con la biblioteca JavaScript de Amplify proporciona la flexibilidad necesaria para que los equipos escalen de forma independiente y con confianza, mientras siguen aprovechando las herramientas modernas [prcticas]

Estudios de caso

• Anuncio de los ganadores de los premios inaugurales Future of Government: celebracin de iniciativas de transformacin digital en todo el mundo incluye detalles de los ganadores de Open Source Creation of the Year Premio y Premio a la Adaptacin de Cdigo Abierto del Ao.

• DENT, el sistema operativo de red de cdigo abierto para borde distribuido, ahora impulsa la tecnologa AWS Just Walk Out una mirada a cmo se est llevando a cabo este proyecto de red de cdigo abierto utilizado por AWS en su tecnologa Just Walk Out.

Quick updates

Apache Iceberg

Amazon Athena agreg comandos SQL y formatos de archivo que simplifican el almacenamiento, la transformacin y el mantenimiento de los datos almacenados en las tablas de Apache Iceberg. Estas nuevas capacidades permiten a los ingenieros y analistas de datos combinar ms de las comodidades familiares de SQL con las propiedades transaccionales de Iceberg para permitir casos de uso de anlisis eficientes y slidos.

El lanzamiento de hoy agrega los comandos CREATE TABLE AS SELECT (CTAS), MERGE y VACUUM que agilizan la gestin del ciclo de vida de sus datos Iceberg: CTAS hace que sea rpido y eficiente crear tablas, MERGE sincroniza tablas en un solo paso para simplificar sus tareas de preparacin y actualizacin de datos y VACUUM lo ayuda a administrar el espacio de almacenamiento y eliminar registros para cumplir con los requisitos normativos, como el RGPD. Tambin agregamos soporte para AVRO y ORC para que pueda crear tablas Iceberg con un conjunto ms amplio de formatos de archivo. Por ltimo, ahora puede simplificar el acceso a los datos administrados por Iceberg mediante el uso de Vistas para ocultar combinaciones, agregaciones y tipos de datos complejos.

Apache Airflow

Amazon Managed Workflows for Apache Airflow (MWAA) ahora proporciona mtricas de Amazon CloudWatch para el uso de contenedores, bases de datos y colas. Amazon MWAA es un servicio administrado para Apache Airflow que le permite usar la misma plataforma familiar de Apache Airflow que usa hoy para organizar sus flujos de trabajo y disfrutar de una escalabilidad, disponibilidad y seguridad mejoradas sin la carga operativa de tener que administrar la infraestructura subyacente. Con estas mtricas adicionales, los clientes han mejorado la visibilidad de su rendimiento de Amazon MWAA para ayudarlos a depurar cargas de trabajo y dimensionar adecuadamente sus entornos.

Consulte la excelente publicacin Presentacin de mtricas de utilizacin de contenedores, bases de datos y colas para el entorno Amazon MWAA, donde Uma Ramadoss profundiza y comparte detalles sobre el nuevo mtricas publicadas para el entorno de Amazon MWAA, cree una aplicacin de muestra con un flujo de trabajo prediseado y explore las mtricas con el panel de CloudWatch. [las manos en]

Apache Flink

Apache Flink es un marco de cdigo abierto popular para clculos con estado sobre flujos de datos. Le permite formular consultas que se evalan continuamente casi en tiempo real frente a un flujo entrante de eventos. Hubo un par de anuncios esta semana sobre este proyecto de cdigo abierto.

Primero fue la noticia de que Amazon Kinesis Data Analytics para Apache Flink ahora es compatible con la versin 1.15 de Apache Flink. Esta nueva versin incluye mejoras en la semntica de procesamiento exactamente una vez de Flink, los conectores Kinesis Data Streams y Kinesis Data Firehose, las funciones definidas por el usuario de Python, Flink SQL y ms. El lanzamiento tambin incluye una capacidad aportada por AWS, un nuevo marco Async-Sink que simplifica la creacin de sumideros personalizados para entregar datos procesados. Lea ms sobre cmo contribuimos a este lanzamiento consultando la publicacin, Facilitando la creacin de conectores con Apache Flink: Presentando el sumidero asncrono donde Zichen Liu, Steffen Hausmann y Ahmed Hamdy hablan sobre una caracterstica de Apache Flink, Async Sinks y cmo funciona Async Sink, cmo puede construir un nuevo receptor basado en Async Sink y analizan nuestros planes para continuar con nuestras contribuciones a Apache Flink. .

Los clientes de Amazon EMR ahora pueden usar AWS Glue Data Catalog desde sus flujos de trabajo SQL por lotes y de transmisin en Flink. El catlogo de datos de AWS Glue es un catlogo compatible con Apache Hive metastore. Puede configurar sus trabajos de Flink en Amazon EMR para utilizar el catlogo de datos como un metaalmacn externo de Apache Hive. Con esta versin, puede ejecutar directamente consultas Flink SQL en las tablas almacenadas en el catlogo de datos.

Flink es compatible con el metastore de Hive en el clster como catlogo persistente listo para usar. Esto significa que los metadatos tenan que volver a crearse cuando se cerraban los clsteres y era difcil que varios clsteres compartieran la misma informacin de metadatos. A partir de Amazon EMR 6.9, sus trabajos de Flink en Amazon EMR pueden administrar los metadatos de Flink en AWS Glue Data Catalog. Puede usar un catlogo de datos de Glue persistente y completamente administrado como un repositorio centralizado. Cada catlogo de datos es una coleccin altamente escalable de tablas organizadas en bases de datos.

El catlogo de datos de AWS Glue proporciona un repositorio uniforme donde los sistemas dispares pueden almacenar y encontrar metadatos para realizar un seguimiento de los datos en los silos de datos. Luego puede consultar los metadatos y transformar esos datos de manera consistente en una amplia variedad de aplicaciones. Con soporte para AWS Glue Data Catalog, puede usar Apache Flink en Amazon EMR para el procesamiento unificado BATCH y STREAM de Apache Hive Tables o metadatos de cualquier fuente de tabla Flink, como Iceberg, Kinesis o Kafka. Puede especificar AWS Glue Data Catalog como metastore para Flink mediante la Consola de administracin de AWS, la CLI de AWS o la API de Amazon EMR.

Amazon EMR

Un par de actualizaciones de Amazon EMR en Amazon EKS esta semana.

El controlador ACK para Amazon EMR en Elastic Kubernetes Service (EKS) pas al estado de disponibilidad general. Con el controlador ACK para EMR en EKS, puede definir y administrar de forma declarativa EMR en recursos de EKS, como clsteres virtuales y ejecuciones de trabajos como recursos personalizados de Kubernetes. Esto le permite administrar estos recursos directamente usando herramientas nativas de Kubernetes como 'kubectl'. EMR en EKS es una opcin de implementacin para EMR que le permite ejecutar marcos de macrodatos de cdigo abierto en clsteres de EKS. Puede consolidar las cargas de trabajo analticas con sus aplicaciones basadas en Kubernetes en el mismo clster de Amazon EKS para mejorar la utilizacin de los recursos y simplificar la administracin y las herramientas de la infraestructura. ACK es una coleccin de definiciones de recursos personalizados (CRD) de Kubernetes y controladores personalizados que trabajan juntos para ampliar la API de Kubernetes y administrar los recursos de AWS en su nombre.

Despus de eso, tuvimos el anuncio de soporte para configurar las propiedades de Spark dentro de las sesiones de EMR Studio Jupyter Notebook para cargas de trabajo interactivas de Spark. Amazon EMR en EKS permite a los clientes ejecutar de manera eficiente marcos de macrodatos de cdigo abierto como Apache Spark en Amazon EKS. Los clientes de Amazon EMR en EKS configuran y usan un punto de enlace administrado (disponible en versin preliminar) para ejecutar cargas de trabajo interactivas mediante entornos de desarrollo integrados (IDE) como EMR Studio. Los ingenieros y cientficos de datos utilizan las notebooks EMR Studio Jupyter con EMR en EKS para desarrollar, visualizar y depurar aplicaciones escritas en Python, PySpark o Scala. Con esta versin, los clientes ahora pueden personalizar su configuracin de Spark, como la CPU/memoria del controlador y el ejecutor, la cantidad de ejecutores y las dependencias del paquete, dentro de su sesin de computadora porttil para manejar diferentes cargas de trabajo computacionales o diferentes cantidades de datos, utilizando un nico punto final administrado.

Trino

Trino es un motor de consulta SQL de cdigo abierto que se utiliza para ejecutar anlisis interactivos en los datos almacenados en Amazon S3. La semana pasada se anunci que Amazon S3 mejora el rendimiento de las consultas que se ejecutan en Trino hasta 9 veces cuando se usa Amazon S3 Select. Con S3 Select, empuja hacia abajo el trabajo computacional para filtrar sus datos S3 en lugar de devolver el objeto completo. Al usar Trino con S3 Select, recupera solo un subconjunto de datos de un objeto, lo que reduce la cantidad de datos devueltos y acelera el rendimiento de las consultas.

Con la contribucin ascendente de AWS a Trino de cdigo abierto, puede usar Trino con S3 Select para mejorar el rendimiento de sus consultas. S3 Select descarga el trabajo pesado de filtrar y acceder a los datos dentro de los objetos a Amazon S3, lo que reduce la cantidad de datos que debe transferir y procesar Trino. Por ejemplo, si tiene un lago de datos creado en Amazon S3 y usa Trino hoy, puede usar la capacidad de filtrado de S3 Select para ejecutar consultas ad-hoc interactivas rpida y fcilmente.

Puede explorar esto con ms detalle al consultar esta publicacin de blog, Ejecute consultas hasta 9 veces ms rpido usando Trino con Amazon S3 Select en Amazon EMR donde Boni Bruno y Eric Henderson analizan los puntos de referencia de rendimiento en la versin 397 de Trino con S3 Select mediante consultas de puntos de referencia similares a TPC-DS a una escala de 3 TB.

AWS Amplify

Amplify DataStore brinda a los desarrolladores de aplicaciones frontend la capacidad de crear aplicaciones en tiempo real con capacidades fuera de lnea mediante el almacenamiento de datos en el dispositivo (navegador web o dispositivo mvil) y la sincronizacin automtica de datos en la nube y entre dispositivos en una conexin a Internet. Esta semana se lanz el lanzamiento de claves primarias personalizadas, tambin conocidas como identificadores personalizados, para que Amplify DataStore brinde flexibilidad adicional para sus modelos de datos. Puede profundizar ms en esta actualizacin leyendo la publicacin, Nuevo: anuncio de compatibilidad con clave principal personalizada para AWS Amplify DataStore

Tuvimos otra publicacin de Amplify DataStore que analiza una serie de otras mejoras con Amplify DataStore que se lanzaron esta semana, que facilitan el trabajo con datos relacionales: carga diferida, predicados de consulta anidados y mejoras de tipo. Para obtener ms informacin sobre estas nuevas mejoras, consulte NUEVO: Predicados de consulta anidados y carga diferida para AWS Amplify DataStore [hands on]

Tambin se anunci esta semana el lanzamiento de la versin 5.0.0 de la biblioteca JavaScript de Amplify. Esta versin est repleta de funciones muy solicitadas, adems de mejoras internas para mejorar la estabilidad y la facilidad de uso de la biblioteca de JavaScript. Consulte la publicacin Anuncio de la versin 5 de la biblioteca de JavaScript de AWS Amplify que contiene enlaces al repositorio de GitHub.

El equipo de Amplify ha estado muy ocupado, ya que tambin anunci una vista previa para desarrolladores para expandir el soporte de Flutter a Web y Desktop para los casos de uso de API, Analytics y Storage. Los desarrolladores ahora pueden crear aplicaciones de Flutter multiplataforma con Amplify que apuntan a iOS, Android, Web y Desktop (macOS, Windows, Linux) usando una sola base de cdigo. En combinacin con la vista previa de autenticacin que se lanz anteriormente, los desarrolladores ahora pueden crear aplicaciones Flutter multiplataforma que incluyen API REST o API GraphQL para interactuar con datos de back-end, anlisis para comprender el comportamiento del usuario y almacenamiento para guardar y recuperar archivos y medios. Esta versin de vista previa para desarrolladores se escribi completamente en Dart, lo que permite a los desarrolladores implementar sus aplicaciones en todas las plataformas de destino actualmente compatibles con Flutter. Amplify Flutter est diseado para proporcionar a los desarrolladores un comportamiento coherente, independientemente de la plataforma de destino. Con estos conjuntos de funciones ahora disponibles en la Web y el escritorio, los desarrolladores de Flutter pueden crear experiencias dirigidas a las plataformas que ms les importan a sus clientes. Consulte la publicacin, Anuncio de la compatibilidad con Flutter Web y escritorio para las bibliotecas de almacenamiento, anlisis y API de AWS Amplify, para obtener ms informacin sobre este lanzamiento y cmo Utilice la API GraphQL de AWS Amplify y las bibliotecas de almacenamiento mediante la creacin de una aplicacin de lista de compras con Flutter dirigida a iOS, Android, web y escritorio. [hands on]

Finalmente, tambin anunciamos que AWS Amplify anuncia compatibilidad con las API de GraphQL sin la resolucin de conflictos habilitada. Con este lanzamiento, es ms fcil que nunca usar mutaciones y consultas personalizadas, sin necesidad de administrar el protocolo de resolucin de conflictos subyacente. Todava puede modelar sus datos con la misma interfaz grfica fcil de usar. Y tambin estamos trayendo pruebas de API de GraphQL mejoradas a Studio a travs de la herramienta de cdigo abierto, GraphiQL.

Obtenga ms informacin leyendo la publicacin, Anunciando nuevas caractersticas de la API de GraphQL en Amplify Studio

Contenido extra

Se ha publicado mucho contenido de AWS Amplify esta semana, as que por qu no echa un vistazo a algunas de estas publicaciones?

• NUEVO: Cree formularios React para cualquier API en minutos con AWS Amplify Studio (no se requiere una cuenta de AWS) analiza el generador de formularios Amplify Studio, la nueva forma para construir componentes de formulario React para cualquier API [hands on]

• Texto a voz en Android usando AWS Amplify proporciona un buen ejemplo sobre cmo usar la categora Predicciones para implementar texto a voz en una aplicacin de Android [hands on]

AWS Toolkits

AWS Toolkits for JetBrains y VS Code lanzaron una experiencia de iteracin de cdigo ms rpida para desarrollar aplicaciones SAM de AWS. Los kits de herramientas de AWS son complementos de cdigo abierto para los IDE de JetBrains y VS Code que brindan una experiencia integrada para desarrollar aplicaciones sin servidor, incluida la asistencia para comenzar y capacidades de depuracin paso a paso locales para aplicaciones sin servidor. Con el lanzamiento de hoy, los kits de herramientas agregan las capacidades de "sincronizacin" Lambda de SAM CLI enviadas como SAM Accelerate (vea el anuncio). Estas nuevas caractersticas en los kits de herramientas para JetBrains y VS Code brindan a los clientes una mayor flexibilidad. Los clientes pueden sincronizar toda su aplicacin sin servidor (es decir, la infraestructura y el cdigo) o sincronizar solo los cambios de cdigo y omitir las implementaciones de Cloudformation.

Obtenga ms informacin en la publicacin completa del blog, Experiencia de iteracin ms rpida para aplicaciones SAM de AWS en los kits de herramientas de AWS para JetBrains y VS Code

Grafana

Esta semana se lanz la nueva funcin de alertas de Amazon Managed Grafana que permite a los clientes obtener visibilidad de sus alertas de Prometheus Alertmanager desde su espacio de trabajo de Grafana. Los clientes pueden continuar usando Grafana Alerting clsico en sus espacios de trabajo de Amazon Managed Grafana si esa experiencia se adapta mejor a sus necesidades. Los clientes que utilizan Amazon Managed Service para espacios de trabajo de Prometheus para recopilar mtricas de Prometheus utilizan las funciones Alert Manager y Ruler completamente administradas en el servicio para configurar reglas de alerta y registro. Con esta funcin, pueden visualizar todas sus reglas de alerta y grabacin configuradas en su espacio de trabajo de Amazon Managed Service for Prometheus.

Lea ms en la gua prctica, Anunciando las reglas de Prometheus Alertmanager en Amazon Managed Grafana

Tambin se anunci la compatibilidad con Amazon Managed Grafana para conectarse a fuentes de datos dentro de una nube privada virtual de Amazon (Amazon VPC). Los clientes que usan Amazon Managed Grafana han estado solicitando asistencia para conectarse a fuentes de datos que residen en una VPC de Amazon y no son de acceso pblico. Los datos en los clsteres de Amazon OpenSearch Service, las instancias de Amazon RDS, las fuentes de datos autohospedadas y otras cargas de trabajo sensibles a los datos a menudo solo son accesibles de forma privada. Los clientes han expresado la necesidad de conectar Amazon Managed Grafana a estas fuentes de datos de forma segura mientras mantienen una slida postura de seguridad.

Lea ms sobre esto en la publicacin, Anuncio de la compatibilidad con fuentes de datos de VPC privadas para Amazon Managed Grafana

NodeJS

Ahora puede desarrollar funciones de AWS Lambda utilizando el tiempo de ejecucin de Node.js 18. Esta versin est en estado LTS activo y se considera lista para uso general. Al crear o actualizar funciones, especifique un valor de parmetro de tiempo de ejecucin de nodejs18.x o use la imagen base del contenedor adecuada para usar este nuevo tiempo de ejecucin. Esta versin de tiempo de ejecucin es compatible con funciones que se ejecutan en procesadores AWS Graviton2 basados en Arm o procesadores basados en x86. El uso de la opcin de arquitectura de procesador Graviton2 le permite obtener hasta un 34 % ms de rendimiento de precio.

Lea la publicacin Node.js 18.x runtime now available in AWS Lambda, para obtener ms informacin sobre los principales cambios disponibles con Node.js 18 tiempo de ejecucin en Lambda. Tambin debe consultar Por qu y cmo debe usar AWS SDK para JavaScript (v3) en Node.js 18 como AWS SDK para JavaScript (v3). ) se incluye de forma predeterminada en el tiempo de ejecucin de AWS Lambda Node.js 18.

MariaDB

Amazon Relational Database Service (Amazon RDS) para MariaDB ahora es compatible con las versiones secundarias de MariaDB 10.6.11, 10.5.18, 10.4.27 y 10.3.37. Le recomendamos que actualice a las versiones secundarias ms recientes para corregir las vulnerabilidades de seguridad conocidas en versiones anteriores de MariaDB y beneficiarse de las numerosas correcciones de errores, mejoras de rendimiento y nuevas funciones agregadas por la comunidad de MariaDB.

PostgreSQL

Amazon Relational Database Service (Amazon RDS) para PostgreSQL ahora es compatible con las versiones secundarias de PostgreSQL 14.5, 13.8, 12.12, 11.17 y 10.22. Le recomendamos que actualice a la ltima versin secundaria para corregir las vulnerabilidades de seguridad conocidas en versiones anteriores de PostgreSQL y beneficiarse de las correcciones de errores, las mejoras de rendimiento y la nueva funcionalidad agregada por la comunidad de PostgreSQL. Consulte el anuncio de la comunidad de PostgreSQL para obtener ms detalles sobre el lanzamiento. Esta versin tambin incluye soporte para Amazon RDS Multi-AZ con dos standby legibles y actualizaciones para las extensiones PostgreSQL compatibles existentes: la extensin PostGIS se actualiza a 3.1.7, la extensin pg_partman se actualiza a 4.6.2 y la extensin pgRouting se actualiza a 3.2.2 . Consulte la lista de extensiones admitidas en la Gua del usuario de Amazon RDS para conocer las versiones especficas.

Videos of the week

Kubernetes and AWS

Si se perdi esto, vale la pena echarle un vistazo a la increble discusin de Jay Pipes sobre el uso de Kubernetes por parte de AWS, as como las contribuciones de AWS a la base de cdigo de Kubernetes. La entrevista fue grabada en KubeCon North America el mes pasado.

OpenSearch

Los videos de OpenSearchCon que tuvieron lugar a principios de este ao ya estn disponibles. Puede ver la lista completa aqu, y hay una serie de excelentes sesiones que cubren una amplia gama de temas. La que pas tiempo viendo fue esta sesin de OpenSearch Core Codebase Nicholas Knize, OpenSearch maintainer, Lucene Committer y miembro de PMC. Si est interesado en contribuir con OpenSearch y tiene curiosidad por saber cmo comenzar, esta sesin responder algunas de estas preguntas y ms al levantar el cap y explorar la base del cdigo.

Kubeflow and MLFlow

nase a sus anfitriones, Antje Barth y Chris Fregley, ya que se les unen varios invitados para hablar sobre algunos grandes proyectos de cdigo abierto como Kubeflow, MLflow, datamesh.utils y data.all.

Build on Open Source

Para aquellos que no estn familiarizados con este programa, Build on Open Source es donde repasamos este boletn y luego invitamos a invitados especiales a profundizar en su proyecto de cdigo abierto. Espere mucho cdigo, demostraciones y, con suerte, risas. Hemos creado una lista de reproduccin para que pueda acceder fcilmente a los (siete) episodios del programa Build on Open Source. Construir en la lista de reproduccin de cdigo abierto

Events for your diary

Apache Hudi Meetup - re:Invent
November 28th - December 3rd, Las Vegas

Apache Hudi es una tecnologa de plataforma de datos que ayuda a construir lagos de datos confiables y escalables. Hudi lleva el procesamiento de flujo a big data, sobrecargando sus lagos de datos, hacindolos mucho ms eficientes.

Hudi es ampliamente utilizado por muchas empresas como Uber, Walmart, Amazon.com, Robinhood, GE, Disney Hotstar, Alibaba, ByteDance que construyen lagos de datos transaccionales o de transmisin. Hudi tambin viene prediseado con Amazon EMR y est integrado con Amazon Athena, AWS Glue y Amazon Redshift. Tambin est integrado en muchos otros proveedores de nube, como la nube de Google y la nube de Alibaba.

nase a la comunidad de Apache Hudi para una reunin organizada por Onehouse y la comunidad de Apache Hudi en el sitio de re:Invent. Aqu estn los diferentes horarios y ubicaciones (hora local de Las Vegas):

• Nov 28th [7:00 pm - 7:20 pm] Networking
• Nov 28th [7:20 pm - 7:50 pm] Hudi 101 (Speaker TBA)
• Nov 28th [7:50 pm - 8:20 pm] How Hudi supercharges your lake house architecture with streaming and historical data by Vinoth Chandar
• Nov 28th [8:20 pm - 8:40 pm] Roadmap (Speaker TBA)
• Nov 28th [8:40 pm - 9:00 pm] Open floor for Q&A

Se llevar a cabo en la sala de conferencias "Chopin 2" en el Hotel Encore.

re:Invent
November 28th - December 3rd, Las Vegas

re:Invent est sucediendo toda esta semana, y hay una gran cantidad de excelente contenido de cdigo abierto para usted, ya sean sesiones de trabajo, charlas de tiza, proveedores de cdigo abierto en la exposicin y ms.

Volveremos a presentar proyectos de cdigo abierto en Developer Lounge, en AWS Modern Applications and Open Source Zone. Hemos publicado un cronograma de los proyectos de cdigo abierto que puede consultar, as que por qu no echa un vistazo a La zona de cdigo abierto y aplicaciones modernas de AWS: aprenda, juegue y reljese en AWS re:Invent 2022 y ven. Estar all durante una gran parte del tiempo los martes, mircoles y jueves. Si tiene una buena historia de cdigo abierto que contar, o algo de SWAG para intercambiar, traer nuestras monedas del desafo Build On Open Source, as que asegrese de buscarme!

Eche un vistazo a esta forma prctica de ver todas las increbles sesiones de cdigo abierto, luego consulte este panel de control [es necesario registrarse]. Me encantara saber cules te entusiasman, as que hzmelo saber en los comentarios o a travs de Twitter. Si desea escuchar cules son mis tres sesiones principales, debe verlas, entonces esto es a lo que asistira (lamentablemente, como empleado de AWS, no puedo asistir a las sesiones)

1. OPN306 AWS Lambda Powertools: Lecciones del camino hacia los 10 millones de descargas: Heitor Lessa brindar una sesin increble sobre el viaje desde la idea hasta una de las herramientas de cdigo abierto ms queridas y utilizadas para los usuarios de AWS Lambda.
2. BOA204 Cuando la seguridad, la seguridad y la urgencia importan: Manejo de Log4Shell: no puedo esperar a esta sesin de Abbey Fuller, quien nos explicar cmo manejamos este incidente.
3. OPN202 Mantener abierto el marco de trabajo de AWS Amplify: Matt Auerbach y Ashish Nanda compartirn detalles sobre cmo los gerentes de ingeniera de Amplify trabajan con la comunidad de OSS para crear software de cdigo abierto.

OpenSearch
Every other Tuesday, 3pm GMT

Esta reunin regular es para cualquier persona interesada en OpenSearch y Open Distro. Todos los niveles de habilidad son bienvenidos y cubren y dan la bienvenida a charlas sobre temas que incluyen: bsqueda, registro, anlisis de registros y visualizacin de datos.

Regstrese en la prxima sesin, Reunin de la comunidad de OpenSearch

Stay in touch with open source at AWS

I hope this summary has been useful. Remember to check out the Open Source homepage to keep up to date with all our activity in open source by following us on @AWSOpen