BOTS DE SCRAPING Y DE PORTALES INMOBILIARIO - FREELANCE JOB IN DATA SCIENCE - WORKANA

about this project it-programming / data-science-1 open buscamos un desarrollador con experiencia en scraping y automatización para crear e integrar bots que se conectan directamente con los portales inmobiliarios fotocasa e idealista.
aunque estamos abiertos a desarrollar los bots desde cero, es imprescindible reutilizar fragmentos del código de nuestros bots actuales para garantizar que el sistema funcione sin errores y mantenga la operativa actual.
actualmente, contamos con 4 bots desarrollados en python y sqlalchemy que operan de manera continua en contenedores docker sobre un servidor linux y estaban conectados a una api que ya no es accesible.
estos bots almacenan los datos en la tabla “prop_explorer”, que luego se procesan para generar archivos csv, excel, y alimentan diferentes tablas de nuestro modelo de base de datos.
los nuevos bots deberán desarrollarse o actualizarse para realizar scraping en fotocasa e idealista, capturando datos de las 52 provincias de españa tanto de venta como de alquiler.
en la actualidad, tenemos cerca de 1 millón de propiedades en nuestra base de datos, pero es necesario que se actualicen por id (referencia del anuncio) y se extraigan nuevos anuncios diariamente en tiempo real.
requisitos del proyecto.
1- bot exceldrive.
asegurarse de que este bot suba los archivos csv generados desde "prop_explorer" a google drive una vez al día, divididos por provincias.
2- bot histórico.
se debe garantizar que el bot actualice precios, fotos, y demás información de las propiedades existentes, además de eliminar los anuncios que ya no estén disponibles.
este bot debe sincronizarse con nuestra base de datos "prop_explorer" de forma continua, comparando por id de propiedad, para mantener el inventario actualizado en tiempo real.
3- bot nuevos.
este bot deberá extraer todas las nuevas propiedades de fotocasa e idealista y almacenarlas en "prop_explorer".
se debe asegurar que funcione de manera continua y sin interrupciones, comparando los anuncios por id de propiedad y garantizando una extracción eficiente y optimizada para evitar bloqueos.
4- bot statistic.
se debe verificar que este bot copia correctamente los datos de “prop_explorer” a las diversas tablas de nuestro modelo de base de datos para su uso en la web, funcionando en tiempo real.
características técnicas clave.
integración con bots existentes o desarrollo desde cero con fragmentos necesarios.
los nuevos bots deberán integrarse correctamente con los bots actuales, aprovechando las soluciones de proxies y gestión de captchas ya implementadas.
automatización continua.
asegurar que los bots funcionen en segundo plano de manera continua, sin interrupciones, capturando y actualizando los datos.
optimización para evitar bloqueos.
implementar técnicas como uso de proxies, rotación de ip y manejo de captchas para evitar bloqueos por parte de los portales.
actualización en tiempo real.
garantizar que los bots detecten cambios en precios y disponibilidad lo más rápido posible, reflejando estos cambios inmediatamente en nuestra base de datos.
category it & programming subcategory data science project size medium is this a project or a position? project required availability as needed delivery term.
not specified skills needed web scraping ethical hacking