Valtech — глобальна цифрова агенція, яка допомагає організаціям покращувати взаємодію з клієнтами та розвивати цифровий бізнес. Компанія поєднує технології, маркетинг, дані та штучний інтелект для підтримки комерційних ініціатив, цифрової трансформації підприємств і підвищення ефективності маркетингу. Працюючи командами та офісами по всьому світу, Valtech співпрацює з компаніями у сферах цифрової стратегії, інновацій клієнтського досвіду та практичного використання даних для формування ефективнішого цифрового майбутнього.
Провідний інженер з даних — віддалена робота в Португалії
Провідний інженер з даних у Valtech, який розробляє хмарні платформи даних для аналітики, ШІ та промислових продуктів на основі даних. Роль охоплює масштабовані конвеєри, архітектуру lakehouse, генеративний ШІ та системи машинного навчання.
Опис
- Проєктувати, розробляти та вдосконалювати хмарні платформи даних для аналітики, ШІ та продуктів на основі даних
- Створювати надійні пакетні, потокові та майже в реальному часі конвеєри для структурованої й неструктурованої інформації
- Розробляти процеси отримання, перетворення, підготовки та надання даних
- Реалізовувати архітектури lakehouse і медальйонну архітектуру за допомогою Databricks або Fabric
- Створювати підготовлені набори даних для аналітики, машинного навчання, причинно-наслідкового моделювання, оптимізації, генеративного ШІ, RAG і застосунків на основі агентів
- Застосовувати MLflow, Unity Catalog, Azure ML та подібні платформні інструменти для підтримки промислових систем ШІ
- Створювати моделі даних і координувати робочі процеси за допомогою Airflow, dbt, Databricks Workflows, Azure Data Factory або подібних інструментів
- Запроваджувати практики управління даними, відстеження походження, контролю якості, керування доступом і спостережуваності
- Відстежувати актуальність даних, надійність конвеєрів, виконання SLA, масштабованість, ефективність і витрати
- Надавати API, ознаки та аналітичні кінцеві точки для подальших застосунків машинного навчання й ШІ
- Уточнювати та вдосконалювати бізнес-потреби через співпрацю із зацікавленими сторонами та аналіз
- Тісно співпрацювати з фахівцями з даних, інженерами машинного навчання, аналітиками, платформними командами та бізнес-зацікавленими сторонами
- Допомагати впроваджувати продукти на основі даних і розвивати практики роботи з даними та ШІ
Вимоги
- Практичний досвід роботи з Apache Spark і Delta Lake
- Упевнені навички програмування на Python і SQL
- Підтверджений досвід створення пакетних і потокових конвеєрів та промислових платформ даних
- Ґрунтовне знання принципів моделювання даних, якості та управління даними
- Практичний досвід роботи або із сервісами даних AWS і Databricks Lakehouse, або з Microsoft Azure/Fabric та пов’язаними інструментами
- Досвід роботи з архітектурами lakehouse і розподіленими системами даних
- Глибоке розуміння масштабованості, надійності та продуктивності конвеєрів
- Допитливість і добре розвинені навички розв’язання проблем
- Досвід співпраці в кросфункціональних командах
- Досвід роботи в Agile-середовищі або консалтингу буде перевагою
- Знання Snowflake або GCP буде плюсом, але не є обов’язковим
- Знання AWS і Azure/Fabric, систем даних для генеративного ШІ та ШІ, CI/CD для конвеєрів даних і інфраструктури як коду бажане, але не обов’язкове
- Додатковий досвід роботи з Kafka, оптимізацією Spark, передовою аналітикою та навантаженнями машинного навчання або великомасштабними аналітичними платформами буде цінним
Переваги
- Можливість віддаленої та гібридної роботи залежно від країни
- Кар’єрне зростання завдяки міжнародній мобільності та програмам професійного розвитку
- Можливості навчання із сучасними інструментами, тренінгами та галузевими експертами
- Конкурентний компенсаційний пакет