Booz Allen Hamilton — консалтинговая компания в сфере управления и технологий, которая предоставляет государственным и коммерческим клиентам передовые технические и стратегические знания. Компания работает в таких областях, как национальная безопасность, оборона, разведка, гражданское управление и критически важная инфраструктура, объединяя команды, специализирующиеся на искусственном интеллекте, кибербезопасности, облачных вычислениях, цифровой трансформации, инженерных решениях, а также поддержке выполнения задач и операционной деятельности. Особое внимание компания уделяет сложным задачам с высокими требованиями к надежности для военных, разведывательных и федеральных ведомств, а также отдельных коммерческих отраслей.
Ведущий инженер данных, Databricks
Руководите разработкой масштабируемых конвейеров и моделей данных в Databricks на AWS для государственных клиентов Booz Allen Hamilton. Координируйте технические команды и помогайте обеспечивать безопасную обработку данных, руководя работой и наставляя коллег.
Описание
- Создавайте и поддерживайте надёжные конвейеры данных в Databricks.
- Разрабатывайте и совершенствуйте сквозные потоки данных.
- Управляйте процессами извлечения, преобразования и загрузки данных (ETL).
- Создавайте модели данных, схемы и эффективные структуры данных.
- Защищайте данные и помогайте соблюдать требования нормативных актов.
- Сотрудничайте с междисциплинарными командами.
- Постепенно повышайте скорость обработки данных и масштабируемость решений.
- Руководите аналитиками, инженерами данных, разработчиками и потребителями данных, помогайте им развиваться.
- Координируйте оценку, проектирование, разработку и поддержку масштабируемых клиентских платформ.
- Изучайте и анализируйте данные, чтобы получать практические выводы.
Требования
- Не менее 8 лет опыта проектирования, разработки, внедрения и управления процессами ETL и конвейерами данных с подробным журналированием и надёжной обработкой ошибок.
- Не менее 3 лет опыта создания, отладки и оптимизации конвейеров данных с помощью ноутбуков Databricks, кластеров и инструментов оркестрации заданий.
- Опыт работы с Delta Lake, Databricks Delta и Unity Catalog.
- Не менее 3 лет опыта написания скриптов ETL и пользовательских преобразований на Python и PySpark.
- Опыт создания размерных и реляционных моделей данных в архитектуре medallion.
- Опыт работы с AWS Glue, Amazon S3 и Amazon RDS.
- Знание методов оптимизации производительности ETL, включая секционирование, бакетирование и кэширование.
- Умение проектировать модели данных — от определения схемы до оптимизации структуры данных.
- Статус Public Trust.
- Степень бакалавра в области информатики, компьютерной инженерии, инженерного дела, математики, физики, информационных систем или информационных технологий.
- Отобранные кандидаты пройдут проверку государственных органов; от них может потребоваться соответствие требованиям допуска, установленным государственным клиентом США.
- Требуется решение о предоставлении статуса Public Trust.
Преимущества
- Медицинское страхование.
- Страхование жизни.
- Страхование на случай инвалидности.
- Финансовые льготы.
- Пенсионные льготы.
- Оплачиваемый отпуск.
- Возможности профессионального развития.
- Помощь в оплате обучения.
- Программы поддержки баланса между работой и личной жизнью.
- Льготы по уходу за иждивенцами.
- Награды за выдающиеся результаты и яркое проявление ценностей компании.