Vultr — глобальная компания, предоставляющая облачную инфраструктуру разработчикам и бизнесу: вычислительные ресурсы, хранилища, сети и базы данных по запросу. Платформа включает виртуальные машины, выделенные серверы, инфраструктуру с ускорением на GPU, управляемые базы данных, объектное и блочное хранилища, Kubernetes и приложения из Marketplace, готовые к развёртыванию. Благодаря поддержке графических процессоров AMD и NVIDIA, высокоскоростным сетям и инфраструктуре более чем в 32 регионах размещения дата-центров Vultr обслуживает рабочие нагрузки в области программного обеспечения, искусственного интеллекта и высокопроизводительных вычислений с помощью API, ориентированных на разработчиков, и масштабируемых облачных инструментов.
Ведущий инженер данных, BigQuery
Создавайте надежные конвейеры BigQuery и управляемые наборы данных для глобальной облачной инфраструктуры Vultr. Сотрудничайте с командами разработки, бизнес-аналитики и науки о данных, поддерживая корпоративную аналитику.
Соединенные Штаты155 000 $ – 180 000 $ / год
УдалённоПолная занятостьСтарший специалистТребуемый Язык: английскийИнженер по даннымОписание
- Создавайте и поддерживайте операционные конвейеры данных в BigQuery, при необходимости используя инкрементальную загрузку и захват изменений данных.
- Создавайте наборы данных бронзового, серебряного и золотого уровней, включая общие бизнес-сущности и метрики отчетности.
- Автоматизируйте проверку и сверку данных между исходными системами и целевыми наборами данных.
- Передавайте обновления, удаления и исторические исправления исходных данных в нижестоящие наборы данных.
- Отслеживайте состояние конвейеров, обрабатывайте исключения и изменения схем, документируйте процедуры восстановления и происхождение данных.
- Работайте с командами бизнес-аналитики и науки о данных, предоставляя документированные высокопроизводительные наборы данных.
- Координируйте работу с инженерными командами и владельцами бизнес-систем, чтобы устранять пробелы в исходных данных и определять надежные способы передачи данных.
- Устанавливайте и внедряйте инженерные стандарты тестирования, развертывания, безопасности и управления затратами в рамках согласованной корпоративной архитектуры.
- Проверяйте существующие конвейеры и внедряйте воспроизводимые инженерные практики.
- Подготавливайте производственные наборы данных для приоритетных задач отчетности.
- Внедряйте первоначальные средства контроля качества данных и мониторинг.
- Проверяйте, что исторические исправления исходных данных точно отражаются в нижестоящей отчетности.
Требования
- Не менее пяти лет опыта в инженерии данных, в том числе ответственность за производственные конвейеры.
- Продвинутые навыки SQL и уверенное владение Python.
- Опыт работы с BigQuery в производственной среде, включая секционирование, кластеризацию, оптимизацию производительности запросов и контроль затрат.
- Опыт работы с инструментами преобразования и оркестрации данных, такими как dbt, Airflow, Cloud Composer, Dagster или аналогичными.
- Опыт извлечения данных из операционных баз данных и управления инкрементальной загрузкой, обновлениями, удалениями, повторной загрузкой данных и историческими исправлениями.
- Глубокое понимание размерного моделирования и отслеживания исторических данных.
- Опыт автоматизированной проверки качества данных, сверки, мониторинга, оповещений и восстановления.
- Опыт работы с Git, проверки кода, автоматизированного тестирования и CI/CD.
- Умение взаимодействовать с командами разработки, аналитики и бизнеса.
- Опыт работы с MySQL, ClickHouse, Kafka или Google Pub/Sub.
- Знакомство с Parquet, эффективным использованием хранилищ, Spark или PySpark.
- Умение отслеживать определения данных и бизнес-логику в коде приложений или ORM; знакомство с PHP будет преимуществом.
- Опыт работы с Salesforce, NetSuite, Power BI или аналогичными системами.
- Знакомство с IAM, сервисными учетными записями, принципом минимальных привилегий и безопасной аутентификацией рабочих нагрузок.
- Опыт работы с инструментами метаданных, отслеживания происхождения или наблюдаемости данных.
- Опыт применения ИИ или автоматизации для эксплуатации конвейеров, расследования инцидентов или контролируемого доступа к данным для приложений на базе LLM.
- Опыт работы в сфере облачной инфраструктуры, телекоммуникаций, центров обработки данных или другой отрасли с большим количеством активов.
Преимущества
- Компания полностью оплачивает медицинскую, стоматологическую страховку и страховку зрения для сотрудника.
- Компания удваивает взносы в пенсионный план 401(k) в размере до 4% от взносов сотрудника; начисление прав начинается сразу.
- Ежегодное возмещение расходов на профессиональное развитие в размере 2 500 долларов США.
- 11 праздничных дней, оплачиваемый отпуск с накоплением и возможность переноса дней отпуска.
- Дополнительный оплачиваемый отпуск к трехлетней и десятилетней годовщинам работы.
- Один месяц оплачиваемого творческого отпуска каждые пять лет.
- Ежегодная премия к годовщине работы.
- Пособие на обустройство удаленного рабочего места: 500 долларов США в первый год и 400 долларов США в каждый последующий год.
- Возмещение расходов на интернет до 75 долларов США в месяц.
- Возмещение расходов на абонемент в спортзал до 50 долларов США в месяц.
- Оплачиваемая компанией подписка Wellable.