DESARROLLADOR SNOWFLAKE + AWS

En Logicalis Spain estamos buscando un perfil de Desarrollador/a Snowflake y AWS, para incorporarse en nuestra área interna de Servicios Gestionados y para uno de nuestros clientes del sector seguros, dentro de nuestra unidad de negocio de Data & Analytics, ubicada en las oficinas de Madrid. Trabajo Remoto.El equipo de Data & Analytics de Logicalis trabaja con clientes nacionales e internacionales, llevando a cabo importantes proyectos de inteligencia artificial y analítica avanzada, estrategia del dato, gobierno, integración y arquitectura, abarcando todo el ciclo de vida del dato. Requisitos Funcionales: Se necesita un perfil de administrador/a con amplios conocimientos tanto de AWS (Bigdata) como de Snowflake. Requisitos Técnicos:Las tareas a desarrollar, serían: * Servicios AWS: • Despliegues entornos de Producción y Test • Monitorización - S3/StepFunction/DataBrew/lambdas/jobs/nuevos servicios. • Alertados. Ejemplos: - Ejecuciones SF, DataBrew, Lambdas, jobs .- Service Quotas - S3: En este caso lo usamos como datalake, se monitorizan determinados paths (Ad hoc), donde debe estar un fichero en un tiempo determinado - EBS: Alerta cuando se supere el 80% de espacio usado en disco- ECS: Memoria y CPU, alertando cuando se supere el 80% - Kinesis Firehose: Cuando se produzcan eventos de error en el destino - Kinesis Streams: Errores que se generen en el PutRecord - Lambda: Alertas con estados distintos de 200 - ElastiCache: CPU y Memoria superior a 80% - RDS: Que esté levantada, CPU 80%, freeable memory 20% - SQS: Colas en error con x números de mensajes o exceder un nº determinado de mensajes en las colas principales - Batch Jobs: Cuando llevan más de un nº determinado de horas corriendo. (Alertado para parada y reejecución). - SNS: Número de notificaciones fallidas - SNS: Topic sin suscriptores - Athena: Querys que superen x horas y fallidas. - Api Gateway: Errores 4xx, 5xx superiores a x, en un intervalo de 5 minutos, latencias que excedan de la media. - Managed Workflows for Apache Airflow (MWAA) • General:- Reprocesamientos y ejecuciones - Step Function/Batch/lambdas/jobs/Nuevos servicios: Bajo petición o por fallo durante las ejecuciones programadas. • Asegurar disponibilidad servicios (Redshift, RDS, Gateway, EC2...) • Despliegues Redshift - Creación tablas/vistas en Test/Producción • Ejecución manual procesos según procedimiento definido. Como ejemplo: Operadoras; GDPR; Cross-Device; Segmentos comercial; TTV. • Ejecución automáticas de proceso. Por ejemplo: Apagado encendidos Redshift, Reshift Resize, Ciclos de vida, Notificación diferencias entornos a nivel S3 • Encendido/Apagado/Reinicio instancias (bajo petición). • Almacenamiento S3 • RedShift. Administración de los servicios, indicamos detalles de los principales: - Ampliación/reducción de nodos (Resize) .- Recuperación/revisión backups. - Creación schema, tablas, vistas, Resize de campo; permisos ALTER tablas .- Creación usuarios. - Schedules event brigdge resize. - Startup excepcional (fines de semana o fiestas DEV/TEST).- Alinear entornos (Test y Dev). Copias homogéneas entre entornos. - Borrado de datos. Llegando a nivel de tablas y registros de tablas. - Conexión a la bbdd. - Alertados sobre querys que duren más de x horas, querys en error - Proceso de apagado/encendido automático. - Se requiere una copia homogénea de producción a test, de cada uno de los cluster Redshift, cada 2 meses. A día de hoy hay dos cluster Redshift. • DynamoDB - Monitorización de carga y errores, en especial LimitExceededException, ProvisionedThroughputExceeded. - Borrado de registros • Redis. - Monitorización de carga - Inclusion IP en security group. • EMR - Monitorización clusters que se han quedado levantado tras ejecuciones “Retry” y eliminación - EMR onDemand - Revisar si determinada EMR está levantada en un periodo determinado, y uso de cpu y memoria. - SNS: Número de notificaciones fallidas - SNS: Topic sin suscriptores - Athena: Querys que superen x horas y fallidas. - Api Gateway: Errores 4xx, 5xx superiores a x, en un intervalo de 5 minutos, latencias que excedan de la media. - Managed Workflows for Apache Airflow (MWAA) • Glue - Monitorización error en la ejecución Crawlers • CloudTrail - Validación de la integridad referencial de los logs • Kinesis - Firehose: gestión de los eventos de error en el destino - Streams: Errores que se generen en el PutRecord * Servicios Snowflake :• Creación usuarios y asignación roles. • Creación y mantenimiento Data Warehouse. • Gestionar réplicas de datos para garantizar persistencia de datos y seguridad ante caídas de servidores. • Alinear entornos (Test y Dev). Copias homogéneas entre entornos. • Borrado de datos. Llegando a nivel de tablas y registros de tablas. • Conexión a la BBDD. • Alta y gestión de alertados. Por ejemplo: inclusión alertados sobre querys que duren más de x horas, querys en error. • Proceso de apagado/encendido automático. • Despliegues en los entornos de Producción y Test (Creación schema, tablas, vistas, Resize de campo, permisos alter tablas...etc.).BENEFICIOS> Incorporación inmediata a compañía líder del sector IT con un alto grado de expertise en el área de Data & Analytics dónde nos encontramos en pleno proceso de expansión.> Estabilidad laboral a través de contrato indefinido con amplias oportunidades de desarrollo profesional y crecimiento en la compañía.> Modalidad de trabajo Híbrida, 2 días oficina cliente, 3 días desde casa.> Paquete retributivo muy competitivo acorde a la valía del candidato.> Posibilidad de acogerse a planes de retribución flexible (tarjeta restaurante, tarjeta transporte y tarjeta guardería).> Seguro médico y GYMPASS.> Planes de formación adaptados a cada perfil (cursos técnicos, certificaciones oficiales, formación de idiomas...).> Portal de descuentos especiales para empleados.