
Blend360 — компания, оказывающая профессиональные услуги и помогающая компаниям из списка Fortune 1000 и другим крупным предприятиям решать сложные бизнес-задачи с помощью искусственного интеллекта, аналитики данных и решений на основе данных. Компания работает в сферах бизнес-аналитики, инжиниринга данных, анализа данных, MLOps и управления данными, объединяя специализированные команды и возможности ИИ для поддержки организаций в здравоохранении, финансовых услугах, энергетике, розничной торговле, технологиях, медиа и телекоммуникациях, а также в сфере путешествий и гостеприимства. Работа Blend360 получила признание, включая награду «Решение года, способствующее внедрению ИИ» и включение в список «Ведущие поставщики генеративных ИИ-услуг 2024 года».
Аналитик-инженер данных — AWS и Spark, удалённо
Создавайте масштабируемые конвейеры данных и архитектуры озёр данных в AWS для Blend360, поставщика ИИ-услуг. Разрабатывайте обработку на Spark и надёжные решения для глобальных клиентов.
Описание
- Создавайте и поддерживайте масштабируемые конвейеры данных и системы приёма данных.
- Обеспечивайте пакетную и потоковую обработку, а также захват изменённых данных (CDC).
- Создавайте и оптимизируйте процессы обработки данных с помощью Apache Spark и PySpark.
- Создавайте и управляйте озёрами данных в AWS на базе Amazon S3 и Apache Iceberg.
- Оркестрируйте ETL с помощью AWS Glue, выполняйте бессерверные запросы в Athena и используйте Lambda для обработки событий.
- Настраивайте контроль доступа к данным и безопасность с помощью AWS IAM.
- Сотрудничайте с аналитиками, специалистами по данным и инженерами платформ, чтобы уточнять потребности и создавать готовые к эксплуатации решения.
- Следите за состоянием конвейеров и устраняйте проблемы с качеством данных.
- Повышайте надёжность и актуальность данных.
- Документируйте потоки данных, архитектурные решения и инженерные стандарты.
Требования
- Обладайте глубоким практическим опытом работы с сервисами AWS, такими как Glue, S3, Athena и IAM.
- Имеете опыт обработки данных с помощью Apache Spark и PySpark.
- Понимаете архитектуры озёр данных; опыт работы с Apache Iceberg будет преимуществом.
- Имеете опыт пакетной и потоковой обработки, а также приёма данных по шаблонам CDC.
- Используете SQL для запросов, проверки данных и исследовательского анализа.
- Разбираетесь в моделировании данных и крупномасштабной обработке данных.
- Эффективно работаете в межфункциональных командах.
- Умеете ясно объяснять технические концепции нетехническим специалистам.
- Опыт работы с инфраструктурой как кодом или инструментами оркестрации, такими как Airflow, Step Functions или dbt, будет преимуществом.
- Знакомы с рабочими процессами разработки с поддержкой ИИ и инструментами повышения инженерной продуктивности.
- Владеете английским на продвинутом уровне для общения с международными командами.
- Имеете не менее двух лет опыта в инженерии данных или смежной области.
- Имеете практический опыт создания и поддержки облачных конвейеров данных и архитектур озёр данных в AWS.
Преимущества
- Ежедневные обеды в главном офисе включают вегетарианские, веганские, безглютеновые и без сахара блюда.
- По пятницам в главном офисе шеф-повар готовит изысканные блюда.
- Доступны гибкие условия работы.
- Предоставляются MacBook и аксессуары.
- В главном офисе ежедневно доступны закуски и напитки.
- В главном офисе проводятся мероприятия после работы, игры в футбол и теннис, а также игровые вечера.
- Можно присоединиться к футбольной лиге по средам и пятницам.
- Можно участвовать в играх в бильярд и офисных соревнованиях за кубок.
- Для дружеских матчей доступны теннисные корты.
- Проводятся шахматные турниры, игровые и музыкальные вечера.
- Доступна поддержка подготовки к сертификации AWS, учебные планы, курсы и другие сертификации.
- Доступны занятия английским языком.
- Можно обмениваться знаниями с коллегами на Tech Tuesdays.
- Доступны наставничество и возможности для развития.
- Предусмотрены подарки к годовщинам и дням рождения.
- Удобное расположение и сильная команда.
Похожие вакансии
Вакансии не найдены
Попробуйте изменить или сбросить фильтры, чтобы найти больше вакансий.