DATA ENGINEER - HÍBRIDO (MADRID)

Desde Sandav Consultores estamos en búsqueda de un Data Engineer para cliente ubicado en Madrid (zona de Arganzuela) con modalidad híbrida de trabajo (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos.

Desarrollo de Modelado de Datos y Pipelines con Spark y Scala para ingesta y transformación. datos de diferentes fuentes (temas de Kafka, API, HDFS, bases de datos estructuradas, archivos) en Le siguen HDFS, IBM Cloud Storage (generalmente en formato parquet) o bases de datos SQL/NOSQL.
Gestionar soluciones de almacenamiento de big data en la plataforma (HDFS, IBM Cloud Storage, estructurado y bases de datos no estructuradas)
Transformación y Calidad de Datos: implementar transformación de datos y control de calidad. procesos para garantizar la coherencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL. Y bibliotecas como Spark para operaciones de enriquecimiento y transformación de datos.
Implementación de canales de CI/CD: configurar canales de CI/CD para automatizar la implementación, unidad pruebas y gestión del desarrollo.
Migración de infraestructura: migrar la infraestructura de Hadoop existente a la infraestructura de nube en Kubernetes Engine, Object Storage (almacenamiento en la nube de IBM), Spark como servicio en Scala (para construir las canalizaciones de datos) y Airflow como servicio (para orquestar y programar los datos tuberías)
Implementación de esquemas, consultas y vistas en bases de datos SQL/NoSQL como Oracle, Postgres o MongoDB
Desarrollar y configurar la programación de canalizaciones de datos con una combinación de scripts de shell. y AirFlow como servicio
Pruebas de validación: realizar pruebas unitarias y de validación para garantizar la precisión y la integridad.
Documentación: redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento.



Requisitos mínimos



-Spark en Scala como lenguaje de desarrollo de canalización de datos heredado
- Spark como servicio en Scala como plataforma de desarrollo de canales de datos
- Experiencia en el diseño y desarrollo de procesos de streaming utilizando Spark Streaming,
- Transmisión de estructura Spark y Apache Kafka
- Gestión de soluciones heredadas de almacenamiento de big data (HDFS)
- Gestión de soluciones de almacenamiento de big data (IBM Cloud Object Storage y formato parquet)
- Implementación de esquemas, consultas y vistas de bases de datos SQL/NO SQL (MongoDB, Oracle, Postgres)
- Shell scripting y Airflow como solución de programación de canalización de datos
- Dremio como herramienta de virtualización de datos
- Dataiku como herramienta de preparación de datos como bonificación
- Inglés nivel alto (B2-C1).



Requisitos deseados



Se valora positivamente si se tiene Francés. Somos diferentes, contamos personas y no números SANDAV fue fundada por Javi, actualmente nuestro director general. Javi es una persona de perfil técnico que, durante más de 15 años, ha pasado por todos los niveles dentro del desarrollo de software, desde sus inicios en la programación hasta los momentos finales como jefe de proyecto antes de fundar Sandav.

Durante este período vivió experiencias en muchas compañías del sector, lo que le permitió ir estudiando el comportamiento de estas empresas y analizar los aspectos positivos y negativos de cada una de ellas. Principalmente, en su interior calaron varios aspectos negativos comunes a todas ellas y que aparecían repetidamente en las conversaciones de café con sus compañeros de proyecto. Javi escuchaba, a sus compañeros de aquel entonces, cosas como: vendedores de carne, body shopping, no me hacen caso, no me atienden, no han venido a verme en 5 años, dichosas consultoras...

SANDAV nace para romper con todo esto. Para cambiar el paradigma dentro de un sector tradicionalmente frío. Lo hacemos basándonos en 4 valores fundamentales: integridad, confianza, compromiso y calidad.

En Sandav ponemos en práctica en todas nuestras relaciones, cuidando de nuestros compañeros, de nuestros proveedores y de nuestros clientes. Formando todos, lo que denominamos, la Familia Sandav. Hoy en día, somos una empresa con alma tecnológica con sede en España, Rumanía y Chile; desde donde prestamos servicio a todo Latinoamérica. Somos más de 200 personas y seguimos en pleno crecimiento.
Contamos con una Software Factory propia para desarrollo y mantenimiento
de software y aplicaciones y entre el resto de servicios TECH que ofrecemos destacamos también por nuestra solución de Team as a Service. Nuestra familia está compuesta por profesionales altamente cualificados y con un sólido background técnico, siendo todos nosotros diferentes, ÚNICOS, pero con unos valores comunes que nos permiten crecer cada día.

Apostamos por cuidar de nuestro equipo y de la mano de People First, realizamos un seguimiento continuo a todos los miembros de nuestra Familia. Además, contamos con muchas otras ventajas, ¡pregúntanos!

Si eres diferente, eres único, tienes talento y quieres ponerlo en práctica trabajando con los clientes más top a nivel nacional e internacional, estás cansado de que te traten como a un número y no como a una persona: ¡Sandav es tu sitio!

¡Únete a la #SandavFamily! Seguro que tenemos un proyecto adecuado a tus
expectativas. Programador