DATA ENGINEER, HIBRIDO
Descripción de la oferta de empleo
Funciones
Diseñar e implementar data pipelines para ingerir datos heterogéneos en el datalake/datawarehouse en diferentes escenarios (batch streaming ...) gestionando conjuntos de datos grandes y complejos. Garantizar la exactitud y corrección de los datos. Crear componentes de software personalizados y aplicaciones de análisis. Desarrollar la preparación de datos para ser utilizados para diferentes propósitos y casos de uso informes aprendizaje automático intercambio de datos ... e identificar oportunidades para la adquisición de datos. Explorar formas de mejorar la calidad y confiabilidad de los datos. Integrar las tecnologías emergentes de ingeniería de software y gestión de datos en las estructuras de datos existentes. Utilizar procesos ágiles de desarrollo de software para realizar mejoras de forma iterativa en los sistemas back-end.
Requisitos
Fuerte conocimiento de Python y SQL
Fuerte conocimiento en Airflow o herramientas de orquestación similares como Dagster.
Experiencia con bases de datos SQL relacionales como MySQL o PostgreSQL.
Experiencia en GCP (Bigquery PubSub Dataflow GCS Dataproc) o AWS
Experiencia en técnicas de desarrollo de integración continua.
Conocimiento en frameworks para desarrollo de pipelines en Batch/streaming Apache Beam Spark.
Experiencia previa y comprobada en ingeniería de datos o ingeniería de software en torno a soluciones de datos en arquitecturas de datos modernas.
Nivel de educación/certificados Licenciatura o nivel de título de ingeniería o superior
Idiomas Dominio escrito y verbal del idioma inglés (obligatorio)
Deseable
Buen conocimiento de otros lenguajes de programación como Java/Kotlin.
Conocimiento en frameworks de streaming como Kafka.
Habilidades de desarrollo de software.
Imprescindible inglés alto C1.
50 teletrabajo. Necesaria residencia en Barcelona.
java, python, sql, aws, data, mysql, postgresql, spark,
java, python, sql, aws, data, mysql, postgresql, spark,
Detalles de la oferta
- Serem
- Sin especificar
- 27/09/2024
- 26/12/2024
Are you a big data engineer looking for a new challenge? so... solid knowledge of data structures and experience with integration of data from multiple sources... ensures that non-functional/support aspects of data classification and data sharing agreements (dsas) and sign-offs are fulfilled... com/es-es/meetup-de-innoit-consulting-en-barcelona/?_locale=es-es......
Your profile: at least 3y of experience working as a qa automation engineer... are you a qa automation engineer looking for new challenge? we aspire to reach everyone and connect them to top projects... keep reading it can be just what you're looking for! responsibilities: as a qa automation engineer......
Our division focuses on gathering, enriching, and processing data for machine learning in different ai domains... we offer high-quality data for human-machine interaction to some of the most prestigious technology companies in the world... position: data contributor project location: spain(remote) engagement......
Our division focuses on gathering, enriching and processing data for machine learning in different ai domains... we offer high-quality data for human-machine interaction to some of the most prestigious technology companies in the world... position: data contributor project location: barcelona, spain......
Parte de tus funciones serán: desarrollo e implementación de políticas de datos seguridad y cumplimiento datos maestros y metadatos gestión de calidad de datos evaluación y mitigación de riesgos formación y capacitación reportes innovación y mejora continua requisitos del puestoqué valoramosbuscamos......
Img arena is looking for sports fans in spain to collect live data from basketball games... this position is not remote, so your presence at the venue would be required to ensure accurate and timely data collection... benefits 45€ for each event covered freelancer agreement for 1 year with the possibility......
Who are we looking for ? the space and resilient communications and systems unit is looking for a satellite communications engineer... * cvs and any other information gathered during this process will be handled confidentially who are we? the center tecnològic de telecomunicaciones de catalunya (cttc)......
€ eur por año bruto jornada laboral: de lunes a viernes modalidad: hibrido horario: 9am a 6pm tipo de contrato: contrato indefinido prestaciones: prestaciones de ley... confidencial cuenta con una posición como qa engineer para garantizar la calidad del software mediante pruebas exhaustivas para......
Are you a devops / site reliability engineer seeking new interesting opportunity? so... com/es-es/meetup-de-innoit-consulting-en-barcelona/?_locale=es-es we’re waiting for you... microservices technology understanding and architecting... experience with cloud environments (aws or azure)......
*cvs and any other information gathered during this process will be handled confidentiallywho are we?• the center tecnològic de telecomunicaciones de catalunya (cttc) is a non-profit public sector research institution dedicated to fundamental and applied research activities, focused mainly on technologies......
