Simple Machines е австралийска консултантска компания, работеща в областта на архитектурата на данни, инженерството на данни, науката за данните и разработката на софтуер. Нейните консултанти проектират и изграждат разпределени платформи за данни и приложения за машинно обучение за предприятия, държавни агенции и глобални технологични компании. Екипът предоставя и консултации и обучения за Kafka като предпочитан партньор на Confluent, както и консултации и обучения за Spark и Scala чрез партньорствата си с Databricks и Lightbend. За хората, които обмислят работа в инженерството на данни, науката за данните или разработката на софтуер, Simple Machines предлага специализирана консултантска среда, насочена към практическото прилагане на данни в реални системи.
Главен инженер по данни (дистанционна работа, Полша)
Ръководете архитектурата и разработването на облачни платформи, потоци и продукти за данни за Simple Machines, глобална технологична консултантска компания. Определяйте техническата посока и работете с клиенти дистанционно от Полша.
Описание
- Поемете отговорност за архитектурата на модерни облачни платформи за данни от проектирането до доставката.
- Създавайте мащабируеми екосистеми за данни с data mesh, продукти за данни и договори за данни.
- Определяйте архитектурата за приемане, съхранение, обработка и достъп до данни.
- Гарантирайте, че платформите отговарят на стандартите за сигурност, съответствие и готовност за продукционна среда.
- Доставяйте облачни платформи с Databricks, Snowflake, AWS и GCP.
- Свързвайте клиентските системи, за да осигурите мащабируем достъп до данни за потребителите.
- Изграждайте и оптимизирайте пакетни потоци от данни и потоци в реално време.
- Използвайте Kafka, Flink, Kinesis и Pub/Sub за обработка на потоци и обмен на съобщения.
- Координирайте работните процеси с Airflow, Dataflow и Glue.
- Обработвайте и трансформирайте големи набори от данни със Spark и Flink.
- Работете с релационни, NoSQL и аналитични бази данни, включително Postgres, BigQuery, Snowflake, Cassandra и MongoDB.
- Подобрявайте форматите за съхранение и начините за достъп с Parquet, Delta, ORC и Avro.
- Изграждайте сигурни решения, съобразени с изискванията, като отчитате сигурността още от самото начало.
- Интегрирайте управлението на данни, без да забавяте работните процеси на разработчиците.
- Работете пряко с клиенти, за да разбирате предизвикателствата им и да оформяте решения.
- Превръщайте бизнес изискванията в практически инженерни решения.
- Консултирайте клиентите като доверен технически партньор.
- Определяйте инженерни стандарти, модели и практики.
- Преглеждайте проекти и код, като предоставяте технически насоки и менторство.
- Подобрявайте качеството на данните, тестването, наблюдаемостта и оперативните практики.
Изисквания
- Имате силни умения по Python и SQL.
- Имате задълбочен опит със Spark и модерни платформи за данни като Databricks или Snowflake.
- Познавате облачните услуги за данни в AWS или GCP.
- Ръководили сте архитектурата на мащабни платформи за данни.
- Притежавате добри умения за моделиране на данни и вземате обосновани архитектурни решения.
- При избора на решения балансирате производителност, разходи и сложност.
- Изграждали сте и сте експлоатирали мащабни потоци от данни в продукционна среда.
- Имате опит с различни технологии за съхранение и формати на данни.
- Използвате инструменти за инфраструктура като код, например Terraform или Pulumi.
- Изграждали сте CI/CD процеси с инструменти като GitHub Actions или ArgoCD.
- Използвали сте рамки за тестване и качество на данните като dbt, Great Expectations или Soda.
- Имате опит в консултантска дейност или професионални услуги.
- Умеете да оспорвате предположения и да насочвате клиентите към по-добри резултати.
- Готови сте да наставлявате старши инженери и да оформяте техническата култура.
Придобивки
- Ще работите по сложни проблеми със значимо въздействие.
- Ще изграждате модерни платформи вместо да поддържате остарели системи.
- Ще си сътрудничите с опитни инженери.
- Ще имате самостоятелност и влияние върху работата си.
- Ще имате възможности за професионално развитие.