Valtech — глобальна цифрова агенція, яка допомагає організаціям покращувати взаємодію з клієнтами та розвивати цифровий бізнес. Компанія поєднує технології, маркетинг, дані та штучний інтелект для підтримки комерційних ініціатив, цифрової трансформації підприємств і підвищення ефективності маркетингу. Працюючи командами та офісами по всьому світу, Valtech співпрацює з компаніями у сферах цифрової стратегії, інновацій клієнтського досвіду та практичного використання даних для формування ефективнішого цифрового майбутнього.
Провідний інженер з даних: віддалена робота в Північній Македонії у Valtech
Приєднуйтеся до Valtech на посаді провідного інженера з даних і створюйте хмарні платформи даних для аналітики, ШІ, генеративного ШІ та продуктів даних. Робота зосереджена на масштабованих конвеєрах, архітектурі lakehouse, управлінні даними та надійному доставленні даних.
Опис
- Створювати й оптимізувати хмарні платформи даних для аналітики, ШІ та продуктів даних
- Розробляти надійні пакетні, потокові конвеєри та конвеєри обробки даних у режимі, близькому до реального часу, за допомогою таких інструментів, як Spark і Delta Lake
- Створювати процеси завантаження, трансформації та підготовки структурованих і неструктурованих даних
- Реалізовувати архітектури lakehouse і медальйонні рівні за допомогою Databricks або Fabric
- Надавати підготовлені набори даних для аналітики, машинного навчання, причинно-наслідкового моделювання та оптимізації
- Розробляти потоки даних для генеративного ШІ з використанням LLM, RAG, векторного пошуку та агентів
- Проєктувати масштабовані логічні й фізичні моделі даних
- Оркеструвати робочі процеси за допомогою Airflow, dbt, Databricks Workflows, Azure Data Factory або порівнянних інструментів
- Застосовувати практики управління даними, забезпечення їхнього походження, якості, контролю доступу та безпеки
- Налаштовувати моніторинг актуальності даних, надійності конвеєрів і виконання SLA
- Підтримувати рівні обслуговування даних, як-от API, вхідні дані для ознак і аналітичні кінцеві точки
- Оптимізувати конвеєри та інфраструктуру для продуктивності, масштабованості й економічної ефективності
- Уточнювати та вдосконалювати бізнес-вимоги зі стейкхолдерами
- Працювати з фахівцями з даних, інженерами машинного навчання, аналітиками, платформними командами та бізнес-стейкхолдерами
- Підтримувати впровадження продуктів даних і розвивати практики екосистеми даних та ШІ
Вимоги
- Досвід роботи в інженерії даних на рівні senior
- Практичний досвід роботи з Apache Spark і Delta Lake
- Упевнені навички програмування на Python і SQL
- Підтверджений досвід створення пакетних і потокових конвеєрів даних
- Досвід створення готових до промислової експлуатації платформ даних
- Ґрунтовні знання принципів моделювання даних, якості даних та управління даними
- Практичний досвід роботи із сервісами даних AWS і Databricks Lakehouse або сервісами та інструментами Microsoft Azure/Fabric
- Глибока експертиза щонайменше в одному напрямі платформ AWS або Azure/Fabric
- Досвід роботи з архітектурами lakehouse і розподіленими системами даних
- Глибоке розуміння масштабованості, надійності та продуктивності конвеєрів
- Сильні навички розв’язання проблем і готовність до міжфункціональної співпраці
- Знання Snowflake або GCP буде перевагою, але не є обов’язковим
- Досвід роботи в Agile-середовищі або консалтингу буде перевагою
- Додатковою перевагою буде досвід роботи з AWS і Azure/Fabric, системами даних для генеративного ШІ та ШІ, CI/CD для конвеєрів даних, Terraform або CloudFormation, Kafka, оптимізацією Spark, розширеною аналітикою, ML-навантаженнями, продуктами даних або великомасштабними аналітичними платформами
- Вимоги до освіти не вказані
Переваги
- Приватне медичне страхування
- Навчання та сертифікація в межах освітньої програми
- Програма підтримки добробуту
- Безкоштовні кава, напої та снеки на роботі
- Корпоративні вечері
- Корпоративні заходи, як-от лижні поїздки, картинг, лазертаг, дегустація вин, пікніки та кулінарні майстер-класи
- Конкурентна заробітна плата
- 24 дні відпустки
- Щорічні заходи для всієї команди
- Складні проєкти
- Інклюзивна культура з підтримкою професійного розвитку
- Культура відкритого зворотного зв’язку
- Розумні умови для проходження співбесіди