Allata
Allata
Allata es una firma global de consultoría que ayuda a las organizaciones a convertir su estrategia digital en mejoras empresariales concretas. Sus equipos trabajan en estrategia, experiencia del cliente, nube y tecnología, datos e inteligencia artificial, y apoyan a sus clientes en la modernización, la personalización y la eficiencia operativa. Allata presta servicios a sectores como la automoción, la salud, la logística, los servicios financieros y la alta tecnología, y se basa en la experiencia de antiguos líderes de TI y profesionales de la consultoría para orientar iniciativas digitales complejas.

Responsable de plataforma de datos Databricks (remoto, Texas)

Lidera la arquitectura y la entrega de plataformas Lakehouse gobernadas y almacenes de datos empresariales para Allata. Guía los pipelines de datos, la seguridad, la escalabilidad y el desarrollo de productos de datos.

Descripción

  • Define la arquitectura, las tecnologías, los patrones de referencia y los diseños de integración para plataformas Lakehouse y almacenes de datos empresariales.
  • Crea modelos conceptuales, lógicos y físicos para productos de datos multiinquilino y específicos de cada sector.
  • Estandariza las capas de datos para la ingesta, el almacenamiento sin procesar, la depuración y la disponibilidad para el consumo.
  • Establece prácticas de gobernanza para metadatos, catálogos, linaje, contratos de datos y clasificación.
  • Define controles de seguridad y cumplimiento para el acceso, el enmascaramiento, el cifrado, la segmentación de redes y las auditorías.
  • Planifica la escalabilidad de la plataforma, la alta disponibilidad, la recuperación ante desastres, la capacidad y la gestión de costes.
  • Lidera la selección e integración de Databricks, Delta Lake, Delta Live Tables, Fivetran, Azure Data Factory o Data Fabric, herramientas de orquestación y supervisión.
  • Establece y aplica prácticas de CI/CD para los activos de datos, incluidas pruebas, publicaciones automatizadas y planes de reversión.
  • Define los enfoques de ingesta por lotes y en streaming, compactación, particionado y almacenamiento.
  • Establece estándares de observabilidad para métricas, acuerdos de nivel de servicio (SLA), paneles, registros, trazas y alertas.
  • Proporciona liderazgo técnico y mentoría a los equipos de ingeniería de datos.
  • Revisa la arquitectura y el código de los componentes críticos.
  • Colabora con responsables de productos de datos y con las partes interesadas de Seguridad, Infraestructura, BI y ML para convertir los requisitos en soluciones y hojas de ruta.
  • Desarrolla, prueba y despliega módulos de procesamiento con Spark, PySpark o Scala, Spark SQL y procedimientos almacenados.
  • Desarrolla y optimiza pipelines de datos en Databricks y plataformas de bases de datos.
  • Aplica prácticas de DevOps, infraestructura como código, CI/CD, pruebas automatizadas y control de versiones.
  • Resuelve problemas complejos de calidad, rendimiento y disponibilidad de los datos e impulsa mejoras continuas.

Requisitos

  • Experiencia previa como arquitecto o líder técnico de plataformas de datos empresariales.
  • Conocimientos prácticos de tecnologías de Databricks, incluidas Delta Lake, Unity Catalog, Delta Live Tables, Auto Loader y Structured Streaming.
  • Sólidas competencias en Spark, PySpark o Scala, Spark SQL y optimización de trabajos distribuidos.
  • Experiencia en diseño de almacenes de datos y Lakehouse.
  • Conocimientos prácticos de los patrones Medallion, Lambda y Kappa.
  • Experiencia integrando herramientas SaaS, ETL o conectores como Fivetran.
  • Experiencia con herramientas de orquestación como Airflow, Azure Data Factory y Data Fabric.
  • Experiencia con bases de datos relacionales e híbridas, incluidas MS SQL Server, PostgreSQL, Oracle, Azure SQL y AWS RDS/Aurora, o equivalentes.
  • Dominio de CI/CD para pipelines de datos con Azure DevOps, GitHub Actions, Jenkins u otras herramientas similares.
  • Experiencia en el empaquetado y despliegue de artefactos como archivos .whl y contenedores.
  • Experiencia en procesamiento por lotes y en streaming, compactación de archivos, particionado y optimización del almacenamiento.
  • Conocimientos de seguridad en la nube, IAM/RBAC, cifrado, conceptos de VPC/VNet y redes en la nube.
  • Familiaridad con herramientas de observabilidad y supervisión como Prometheus, Grafana, Datadog o servicios nativos de la nube.
  • Se valorará la experiencia en automatización con pipelines de CI/CD y desarrollo basado en ramas principales.
  • Se valorarán conocimientos avanzados de PySpark.
  • Se valorarán conocimientos avanzados de optimización y orquestación de flujos de trabajo de Spark.
  • Se valorarán certificaciones de Databricks, arquitectura en la nube o datos.
  • Capacidad para identificar, diagnosticar y resolver problemas complejos de datos.
  • Sólidas habilidades de colaboración y comunicación.
  • Curiosidad y disposición para aprender sobre nuevas herramientas, tecnologías y métodos.

Beneficios

  • Puesto a tiempo completo.
  • Entorno laboral inclusivo y con igualdad de oportunidades.
  • Compromiso con la diversidad.

Empleos relacionados

The Athletic

Gerente sénior de Analítica de Datos

The Athletic

Lidera el análisis de producto para impulsar el crecimiento en The Athletic, una empresa de medios deportivos. Dirige a un equipo de analistas y utiliza experimentos para orientar las decisiones sobre suscripciones y productos.

Abrir
Lunar Solar Group

Científico de datos de medición de marketing (remoto, EE. UU.)

Lunar Solar Group

Desarrolla modelos de atribución, incrementalidad y mezcla de medios para Lunar Solar Group, una consultora de crecimiento y agencia de marketing digital. Convierte los análisis en recomendaciones prácticas de presupuesto para clientes.

Abrir
Airbnb

Científico/a de datos sénior, investigación de analítica de personas

Airbnb

Lidera la investigación en analítica de personas en Airbnb, utilizando inferencia causal y modelos estadísticos para orientar decisiones sobre plantilla, remuneración, selección y retención. Colabora con las partes interesadas en análisis e informes sensibles.

Abrir
The Cigna Group

Responsable sénior de desarrollo de datos, remoto (EE. UU.)

The Cigna Group

Crea productos de datos Silver y Gold reutilizables para los servicios de salud de Cigna con Databricks y canalizaciones de MVP y CI/CD gobernadas. Convierte necesidades empresariales en soluciones de datos listas para producción y establece estándares en Operaciones de Datos.

Abrir
Clear Street

Científico/a sénior de datos de crecimiento

Clear Street

Mejora la evaluación, la fiabilidad y la seguridad del copiloto de IA de Clear Street. El puesto da soporte a una plataforma de corretaje y negociación nativa de la nube para inversores sofisticados.

Abrir