BlueFlag LLP ofrece servicios de talento y tecnología para organizaciones de los sectores B2B, la contratación y el ámbito gubernamental. Sus servicios incluyen la búsqueda de talento mediante Human Algorithm™, la dotación de personal para proyectos y funciones fraccionadas, la evaluación de equipos y el desarrollo del talento. BlueFlag también presta apoyo en la gestión de proyectos y programas, ayudando a sus clientes a dotar de personal iniciativas importantes y a establecer las herramientas y los procesos necesarios para impulsarlas. La empresa trabaja con organizaciones tanto del sector público como del privado, combinando su experiencia en dotación de personal con un apoyo práctico para la ejecución.
Ingeniero/a sénior de Databricks, ML y analítica (remoto - Estados Unidos)
Lidera migraciones y entregas de Azure Databricks para cargas de trabajo del Departamento de Asuntos de los Veteranos en aprendizaje automático y analítica. Crea pipelines gobernados, flujos de ML en producción y soluciones de informes para los equipos del VA.
Descripción
- Colaborar con los equipos del Departamento de Asuntos de los Veteranos para definir casos de uso, planificar migraciones y entregar soluciones de Databricks
- Evaluar cargas de trabajo locales de SQL Server, SSIS, procedimientos almacenados y tareas programadas, y adaptarlas a los patrones de Azure Commercial Databricks
- Desarrollar y optimizar pipelines de datos con PySpark, Spark SQL, Delta Lake, Lakeflow y Azure Data Factory
- Gobernar los datos de los clientes mediante controles de acceso, linaje y capacidades de uso compartido de Unity Catalog
- Facilitar la adopción por parte de los clientes mediante talleres, entregas colaborativas y documentación práctica
- Crear plantillas y código reutilizables con Git, CI/CD y Databricks Asset Bundles
- Desarrollar flujos completos de ML que abarquen la ingeniería de características, el entrenamiento y la evaluación de modelos, el seguimiento con MLflow, el registro de modelos en Unity Catalog y la puesta al servicio
- Ayudar a los científicos de datos a implementar modelos en entornos de producción gobernados y monitorizados
- Apoyar iniciativas de IA generativa, incluidas la generación aumentada mediante recuperación y las soluciones basadas en agentes
- Migrar procesos ETL de SSIS y procedimientos almacenados a pipelines reconciliados de Databricks
- Modernizar los informes locales con Databricks SQL, paneles de AI/BI y Power BI
- Publicar conjuntos de datos para informes desde almacenes SQL de Databricks, incluidos modelos semánticos y optimización del rendimiento de consultas
Requisitos
- Aportar al menos 7 años de experiencia en ingeniería de datos, incluidos 2 o más años trabajando con cargas de trabajo de Databricks en producción
- Demostrar sólidos conocimientos de Python, SQL, PySpark y Spark SQL
- Tener experiencia práctica con Delta Lake, la arquitectura lakehouse por capas medallón y la optimización del rendimiento de Spark
- Tener experiencia práctica con Unity Catalog, incluidos catálogos, concesiones, linaje y seguridad a nivel de fila y columna
- Haber migrado sistemas locales como SQL Server, SSIS y procedimientos almacenados a plataformas en la nube
- Conocer servicios de Azure, incluidos ADLS Gen2, Azure Data Factory, Entra ID y Key Vault
- Utilizar Git, CI/CD y herramientas de infraestructura como código, como Databricks Asset Bundles y Terraform
- Aportar experiencia de consultoría o servicios profesionales de cara al cliente, con sesiones de requisitos, talleres y formación
- Comunicarse claramente por escrito y oralmente con interlocutores técnicos y no técnicos
- Tener una licenciatura en informática, sistemas de información o una disciplina relacionada
- Ser ciudadano/a de Estados Unidos
- Poder obtener una autorización de seguridad Public Trust
- Tener derecho a trabajar en Estados Unidos
- Para el enfoque de IA/ML, tener experiencia entrenando, evaluando e implementando modelos con MLflow y frameworks como scikit-learn, XGBoost o PyTorch
- Para el enfoque de analítica, comprender Databricks SQL y el modelado de datos en Power BI, incluidos esquemas en estrella, modelos semánticos y DAX
- Se valoran certificaciones de Databricks, experiencia con datos sanitarios y HIPAA, experiencia con Azure Government o FedRAMP High, actualizaciones de Hive metastore a Unity Catalog, experiencia con Mosaic AI Vector Search, Agent Framework o monitorización de modelos, y familiaridad con Microsoft Fabric, Pyramid Analytics o Genie
Beneficios
- Paquete de compensación competitivo
- Generoso tiempo de vacaciones anual y días festivos remunerados
- Cobertura médica y dental colectiva integral
- Plan 401(k) con aportación equivalente del empleador
- Seguro de vida y cobertura por muerte accidental y desmembramiento
- Oportunidades de formación continua y desarrollo profesional