Simple Machines — австралійська консалтингова компанія, що працює у сферах архітектури даних, інженерії даних, науки про дані та розробки програмного забезпечення. Її консультанти проєктують і створюють розподілені платформи даних та застосунки машинного навчання для підприємств, державних установ і міжнародних технологічних компаній. Компанія також надає консультації та навчання з Kafka як пріоритетний партнер Confluent, а також консультації та навчання зі Spark і Scala у межах партнерств із Databricks і Lightbend. Для фахівців, які розглядають кар’єру в інженерії даних, науці про дані або розробці програмного забезпечення, Simple Machines пропонує спеціалізоване консалтингове середовище, зосереджене на практичному застосуванні даних у реальних системах.
Провідний інженер даних (віддалено, Польща)
Керуйте архітектурою та створенням хмарних платформ даних, конвеєрів і продуктів даних для Simple Machines, глобальної технологічної консалтингової компанії. Визначайте технічний напрям і співпрацюйте з клієнтами, працюючи віддалено з Польщі.
Опис
- Відповідайте за архітектуру сучасних хмарних платформ даних від проєктування до впровадження.
- Створюйте масштабовані екосистеми даних із використанням data mesh, продуктів даних і контрактів даних.
- Визначайте архітектуру приймання, зберігання, обробки даних і доступу до них.
- Забезпечуйте відповідність платформ вимогам безпеки, нормативним вимогам і готовності до промислової експлуатації.
- Створюйте хмарні платформи з Databricks, Snowflake, AWS і GCP.
- Інтегруйте клієнтські системи, забезпечуючи масштабований доступ споживачів до даних.
- Створюйте й оптимізуйте пакетні конвеєри даних і конвеєри обробки даних у реальному часі.
- Використовуйте Kafka, Flink, Kinesis і Pub/Sub для потокового передавання даних і обміну повідомленнями.
- Координуйте процеси за допомогою Airflow, Dataflow і Glue.
- Обробляйте й перетворюйте великі набори даних за допомогою Spark і Flink.
- Працюйте з реляційними, NoSQL- та аналітичними базами даних, зокрема Postgres, BigQuery, Snowflake, Cassandra і MongoDB.
- Удосконалюйте формати зберігання та способи доступу за допомогою Parquet, Delta, ORC і Avro.
- Створюйте безпечні рішення, що відповідають нормативним вимогам, зважаючи на безпеку від самого початку.
- Інтегруйте управління даними, не сповільнюючи робочі процеси розробників.
- Безпосередньо співпрацюйте з клієнтами, щоб зрозуміти їхні завдання та формувати рішення.
- Перетворюйте бізнес-вимоги на практичні інженерні рішення.
- Будьте для клієнтів надійним технічним партнером і радником.
- Визначайте інженерні стандарти, шаблони та практики.
- Перевіряйте проєктні рішення й код, надавайте технічні рекомендації та наставництво.
- Покращуйте якість даних, тестування, спостережуваність і операційні практики.
Вимоги
- Впевнено володієте Python і SQL.
- Маєте глибокий досвід роботи зі Spark і сучасними платформами даних, як-от Databricks або Snowflake.
- Знаєте хмарні сервіси даних AWS або GCP.
- Відповідали за архітектуру великомасштабних платформ даних.
- Володієте моделюванням даних і вмієте ухвалювати обґрунтовані архітектурні рішення.
- Зважаєте на продуктивність, вартість і складність під час вибору рішень.
- Створювали й експлуатували великомасштабні промислові конвеєри даних.
- Маєте досвід роботи з різними технологіями зберігання та форматами даних.
- Використовуєте інструменти інфраструктури як коду, наприклад Terraform або Pulumi.
- Створювали конвеєри CI/CD за допомогою таких інструментів, як GitHub Actions або ArgoCD.
- Використовували інструменти тестування даних і контролю якості, як-от dbt, Great Expectations або Soda.
- Маєте досвід роботи в консалтингу або сфері професійних послуг.
- Умієте ставити припущення під сумнів і спрямовувати клієнтів до кращих результатів.
- Готові наставляти досвідчених інженерів і формувати технічну культуру.
Переваги
- Розв’язувати складні завдання, що мають вагомий вплив.
- Створювати сучасні платформи замість підтримки застарілих систем.
- Співпрацювати з досвідченими інженерами.
- Мати автономію та вплив на свою роботу.
- Мати можливості для професійного розвитку.