BlueFlag LLP предоставляет услуги в сфере подбора талантов и технологий для организаций, работающих в сегментах B2B, рекрутинга и государственных проектов. Компания занимается поиском специалистов с помощью Human Algorithm™, проектным и частичным укомплектованием команд, оценкой команд и развитием талантов. BlueFlag также оказывает поддержку в управлении проектами и программами, помогая клиентам формировать команды для важных инициатив и внедрять необходимые инструменты и процессы. Компания работает с организациями государственного и частного сектора, сочетая экспертизу в подборе персонала с практической поддержкой реализации проектов.
Ведущий инженер Databricks по ML и аналитике (удалённая работа — США)
Руководите миграциями и поставкой решений Azure Databricks для задач Министерства по делам ветеранов США в области машинного обучения и аналитики. Создавайте управляемые конвейеры, рабочие процессы ML для промышленной эксплуатации и решения для отчётности команд VA.
Описание
- Сотрудничайте с командами Министерства по делам ветеранов США для определения вариантов использования, планирования миграций и поставки решений Databricks
- Анализируйте локальные рабочие нагрузки SQL Server, SSIS, хранимых процедур и планировщика заданий, а затем адаптируйте их к шаблонам Azure Commercial Databricks
- Разрабатывайте и оптимизируйте конвейеры данных с помощью PySpark, Spark SQL, Delta Lake, Lakeflow и Azure Data Factory
- Управляйте данными клиентов с помощью средств контроля доступа, отслеживания происхождения и возможностей совместного использования Unity Catalog
- Помогайте клиентам осваивать решения через семинары, совместную разработку и практическую документацию
- Создавайте повторно используемые шаблоны и код с Git, CI/CD и Databricks Asset Bundles
- Разрабатывайте полноценные рабочие процессы ML, включая создание признаков, обучение и оценку моделей, отслеживание в MLflow, регистрацию моделей в Unity Catalog и предоставление моделей
- Помогайте специалистам по данным развёртывать модели в управляемых и контролируемых производственных средах
- Поддерживайте инициативы в области генеративного ИИ, включая решения с генерацией, дополненной поиском, и агентные решения
- Переносите ETL на основе SSIS и хранимых процедур в согласованные конвейеры Databricks
- Модернизируйте локальную отчётность с помощью Databricks SQL, панелей AI/BI и Power BI
- Публикуйте наборы данных для отчётности из хранилищ Databricks SQL, включая семантические модели и оптимизацию производительности запросов
Требования
- Иметь не менее 7 лет опыта в инженерии данных, включая не менее 2 лет поставки промышленных рабочих нагрузок Databricks
- Продемонстрировать уверенные навыки Python, SQL, PySpark и Spark SQL
- Иметь практический опыт работы с Delta Lake, архитектурой medallion lakehouse и оптимизацией производительности Spark
- Иметь практический опыт работы с Unity Catalog, включая каталоги, разрешения, отслеживание происхождения, а также безопасность на уровне строк и столбцов
- Иметь опыт переноса локальных систем, таких как SQL Server, SSIS и хранимые процедуры, на облачные платформы
- Знать сервисы Azure, включая ADLS Gen2, Azure Data Factory, Entra ID и Key Vault
- Использовать Git, CI/CD и инструменты инфраструктуры как кода, такие как Databricks Asset Bundles и Terraform
- Иметь опыт клиентского консалтинга или оказания профессиональных услуг, включая сбор требований, семинары и обучение
- Чётко общаться в письменной и устной форме с техническими и нетехническими заинтересованными сторонами
- Иметь степень бакалавра в области компьютерных наук, информационных систем или смежной дисциплины
- Быть гражданином США
- Иметь возможность получить допуск Public Trust
- Иметь право на работу в США
- Для специализации AI/ML иметь опыт обучения, оценки и развёртывания моделей с использованием MLflow и таких фреймворков, как scikit-learn, XGBoost или PyTorch
- Для специализации в аналитике понимать Databricks SQL и моделирование данных в Power BI, включая звёздные схемы, семантические модели и DAX
- Желательны сертификаты Databricks, опыт работы с медицинскими данными и HIPAA, Azure Government или FedRAMP High, обновления Hive metastore до Unity Catalog, Mosaic AI Vector Search, Agent Framework или мониторинг моделей, а также знакомство с Microsoft Fabric, Pyramid Analytics или Genie
Преимущества
- Конкурентоспособный компенсационный пакет
- Щедрый ежегодный отпуск и оплачиваемые праздничные дни
- Комплексное групповое медицинское и стоматологическое страхование
- План 401(k) с взносами работодателя
- Страхование жизни и страхование от несчастных случаев, включая смерть и потерю трудоспособности
- Возможности непрерывного обучения и профессионального развития