Simple Machines — австралийская консалтинговая компания, работающая в сферах архитектуры данных, инженерии данных, науки о данных и разработки программного обеспечения. Её консультанты проектируют и создают распределённые платформы данных и приложения машинного обучения для предприятий, государственных учреждений и международных технологических компаний. Компания также предоставляет консультации и обучение по Kafka как предпочтительный партнёр Confluent, а также консультации и обучение по Spark и Scala в рамках партнёрств с Databricks и Lightbend. Для специалистов, рассматривающих карьеру в инженерии данных, науке о данных или разработке программного обеспечения, Simple Machines предлагает профильную консалтинговую среду, ориентированную на практическое применение данных в реальных системах.
Ведущий инженер данных (удалённо, Польша)
Руководите архитектурой и созданием облачных платформ данных, конвейеров и продуктов данных для Simple Machines, глобальной технологической консалтинговой компании. Задавайте техническое направление и работайте с клиентами удалённо из Польши.
Описание
- Отвечайте за архитектуру современных облачных платформ данных от проектирования до внедрения.
- Создавайте масштабируемые экосистемы данных с использованием data mesh, продуктов данных и контрактов данных.
- Определяйте архитектуру приёма, хранения, обработки данных и доступа к ним.
- Обеспечивайте соответствие платформ требованиям безопасности, нормативным требованиям и готовности к промышленной эксплуатации.
- Создавайте облачные платформы с Databricks, Snowflake, AWS и GCP.
- Интегрируйте клиентские системы, обеспечивая масштабируемый доступ потребителей к данным.
- Создавайте и оптимизируйте пакетные конвейеры данных и конвейеры обработки данных в реальном времени.
- Используйте Kafka, Flink, Kinesis и Pub/Sub для потоковой передачи данных и обмена сообщениями.
- Координируйте процессы с помощью Airflow, Dataflow и Glue.
- Обрабатывайте и преобразуйте большие наборы данных с помощью Spark и Flink.
- Работайте с реляционными, NoSQL- и аналитическими базами данных, включая Postgres, BigQuery, Snowflake, Cassandra и MongoDB.
- Совершенствуйте форматы хранения и способы доступа с помощью Parquet, Delta, ORC и Avro.
- Создавайте безопасные решения, отвечающие нормативным требованиям, учитывая безопасность с самого начала.
- Внедряйте управление данными, не замедляя рабочие процессы разработчиков.
- Напрямую взаимодействуйте с клиентами, чтобы понять их задачи и формировать решения.
- Преобразуйте бизнес-требования в практические инженерные решения.
- Выступайте для клиентов надёжным техническим партнёром и консультантом.
- Определяйте инженерные стандарты, шаблоны и практики.
- Проверяйте проектные решения и код, предоставляйте технические рекомендации и наставничество.
- Совершенствуйте качество данных, тестирование, наблюдаемость и операционные практики.
Требования
- Уверенно владеете Python и SQL.
- Имеете глубокий опыт работы со Spark и современными платформами данных, такими как Databricks или Snowflake.
- Знаете облачные сервисы данных AWS или GCP.
- Отвечали за архитектуру крупномасштабных платформ данных.
- Владеете моделированием данных и умеете принимать обоснованные архитектурные решения.
- Учитываете производительность, стоимость и сложность при выборе решений.
- Создавали и эксплуатировали крупномасштабные промышленные конвейеры данных.
- Имеете опыт работы с различными технологиями хранения и форматами данных.
- Используете инструменты инфраструктуры как кода, например Terraform или Pulumi.
- Создавали конвейеры CI/CD с помощью таких инструментов, как GitHub Actions или ArgoCD.
- Использовали инструменты тестирования данных и контроля качества, такие как dbt, Great Expectations или Soda.
- Имеете опыт работы в консалтинге или сфере профессиональных услуг.
- Умеете ставить предположения под сомнение и направлять клиентов к более эффективным решениям.
- Готовы наставлять опытных инженеров и формировать техническую культуру.
Преимущества
- Решать сложные задачи, оказывающие значимое влияние.
- Создавать современные платформы вместо поддержки устаревших систем.
- Сотрудничать с опытными инженерами.
- Самостоятельно принимать решения и влиять на свою работу.
- Получать возможности для профессионального развития.