Allata
Allata
Allata — международная консалтинговая компания, которая помогает организациям превращать цифровую стратегию в практические улучшения бизнеса. Её команды работают в сферах стратегии, клиентского опыта, облачных решений и технологий, данных и искусственного интеллекта, помогая клиентам модернизировать процессы, персонализировать взаимодействие и повышать операционную эффективность. Allata обслуживает компании из автомобильной отрасли, здравоохранения, логистики, финансовых услуг и высоких технологий, опираясь на опыт бывших руководителей ИТ-подразделений и консультантов для реализации сложных цифровых инициатив.

Руководитель платформы данных Databricks (удалённо, Техас)

Руководите архитектурой и внедрением управляемых платформ Lakehouse и корпоративных хранилищ данных для Allata. Развивайте конвейеры данных, безопасность, масштабируемость и создание продуктов данных.

Описание

  • Задавайте архитектуру, выбирайте технологии, определяйте эталонные шаблоны и схемы интеграции для платформ Lakehouse и корпоративных хранилищ данных.
  • Создавайте концептуальные, логические и физические модели многопользовательских и отраслевых продуктов данных.
  • Стандартизируйте уровни данных для загрузки, исходного хранения, обработки и предоставления.
  • Выстраивайте практики управления метаданными, каталогами, происхождением данных, контрактами данных и классификацией.
  • Определяйте меры безопасности и соответствия требованиям для доступа, маскирования, шифрования, сегментации сети и аудита.
  • Планируйте масштабируемость платформы, высокую доступность, аварийное восстановление, мощности и управление затратами.
  • Руководите выбором и интеграцией Databricks, Delta Lake, Delta Live Tables, Fivetran, Azure Data Factory или Data Fabric, средств оркестрации и мониторинга.
  • Устанавливайте и обеспечивайте соблюдение практик CI/CD для ресурсов данных, включая тесты, автоматизированные выпуски и планы отката.
  • Определяйте подходы к пакетной и потоковой загрузке, уплотнению, секционированию и хранению.
  • Устанавливайте стандарты наблюдаемости для метрик, SLA, панелей мониторинга, журналов, трассировок и оповещений.
  • Оказывайте техническое руководство и наставническую поддержку командам Data Engineering.
  • Проверяйте архитектуру и код критически важных компонентов.
  • Работайте с владельцами продуктов данных и представителями направлений безопасности, инфраструктуры, BI и ML, преобразуя требования в решения и дорожные карты.
  • Создавайте, тестируйте и развёртывайте модули обработки с использованием Spark, PySpark или Scala, Spark SQL и хранимых процедур.
  • Разрабатывайте и оптимизируйте конвейеры данных на Databricks и платформах баз данных.
  • Применяйте практики DevOps, инфраструктуру как код, CI/CD, автоматизированное тестирование и контроль версий.
  • Решайте сложные проблемы качества, производительности и доступности данных и обеспечивайте постоянное улучшение.

Требования

  • Опыт работы архитектором или техническим руководителем корпоративных платформ данных.
  • Практическое знание технологий Databricks, включая Delta Lake, Unity Catalog, Delta Live Tables, Auto Loader и Structured Streaming.
  • Уверенные навыки работы со Spark, PySpark и/или Scala, Spark SQL и оптимизацией распределённых заданий.
  • Опыт проектирования хранилищ данных и Lakehouse.
  • Практическое знание шаблонов Medallion, Lambda и Kappa.
  • Опыт интеграции SaaS, ETL или инструментов-коннекторов, таких как Fivetran.
  • Опыт работы с инструментами оркестрации, такими как Airflow, Azure Data Factory и Data Fabric.
  • Опыт работы с реляционными и гибридными базами данных, включая MS SQL Server, PostgreSQL, Oracle, Azure SQL и AWS RDS/Aurora или их аналогами.
  • Уверенное владение CI/CD конвейеров данных с помощью Azure DevOps, GitHub Actions, Jenkins или аналогичных инструментов.
  • Опыт упаковки и развёртывания артефактов, таких как файлы .whl и контейнеры.
  • Опыт пакетной и потоковой обработки, уплотнения файлов, секционирования и настройки хранения.
  • Понимание облачной безопасности, IAM/RBAC, шифрования, концепций VPC/VNet и облачных сетей.
  • Знакомство с инструментами наблюдаемости и мониторинга, такими как Prometheus, Grafana, Datadog или встроенные облачные сервисы.
  • Опыт автоматизации конвейеров CI/CD и разработки на основе trunk — преимущество.
  • Продвинутые навыки PySpark — преимущество.
  • Продвинутые навыки оптимизации и оркестрации рабочих процессов Spark — преимущество.
  • Сертификаты по Databricks, облачной архитектуре или данным — преимущество.
  • Умение выявлять, диагностировать и решать сложные проблемы с данными.
  • Навыки сотрудничества и коммуникации.
  • Любознательность и открытость новым инструментам, технологиям и методам.

Преимущества

  • Полная занятость.
  • Равные возможности и инклюзивная рабочая среда.
  • Приверженность принципам разнообразия.

Похожие вакансии

The Athletic

Старший менеджер по аналитике данных

The Athletic

Руководите аналитикой роста продукта в The Athletic — спортивном медиакомпании. Управляйте командой аналитиков и применяйте эксперименты для принятия решений о подписке и продукте.

Открыть
Lunar Solar Group

Специалист по анализу маркетинговых измерений (удалённо, США)

Lunar Solar Group

Разрабатывайте атрибуцию, оценку инкрементальности и модели медиамикса для Lunar Solar Group — консалтинговой компании в сфере роста и агентства цифрового маркетинга. Превращайте аналитику в практические рекомендации по распределению клиентских бюджетов.

Открыть
Airbnb

Старший специалист по данным в исследованиях People Analytics

Airbnb

Руководите исследованиями в области аналитики персонала в Airbnb, применяя причинно-следственный анализ и статистическое моделирование для принятия решений о рабочей силе, оплате труда, подборе и удержании сотрудников. Работайте с заинтересованными сторонами над аналитикой и отчетностью по чувствительным темам.

Открыть
The Cigna Group

Старший руководитель по созданию данных, удалённо (США)

The Cigna Group

Создавайте повторно используемые продукты данных Silver и Gold для медицинских сервисов Cigna с помощью Databricks и управляемых MVP- и CI/CD-конвейеров. Преобразуйте потребности бизнеса в готовые к эксплуатации решения и формируйте стандарты для Data Operations.

Открыть
Clear Street

Старший специалист по анализу данных в сфере роста

Clear Street

Повышайте качество оценки, надежность и безопасность ИИ-помощника Clear Street. Эта роль связана с облачной брокерской и торговой платформой для опытных инвесторов.

Открыть