Derevo — компанія з аналітики даних і цифрової трансформації, яка допомагає організаціям перетворювати дані на бізнес-аналітику. Її робота охоплює повний цикл аналітики: від створення й інтеграції даних до їх аналізу та поширення, а також сприяє формуванню культури ухвалення рішень на основі даних. Компанія застосовує штучний інтелект і машинне навчання в аналітичних рішеннях для різних галузей та працює за nearshore-моделлю з міжнародними командами, обслуговуючи передусім клієнтів у США й Канаді. Маючи понад десять років досвіду, Derevo співпрацює з постачальниками технологій і допомагає організаціям здійснювати зміни на основі даних. Її команди працюють у сферах консалтингу, логістики та маркетингу, а найм відбувається в різних підрозділах компанії.
Провідний інженер даних Microsoft Fabric
Створюйте архітектури Microsoft Fabric, озера даних і конвеєри для рішень Derevo у сфері даних та ШІ. Перетворюйте великі обсяги даних на аналітичні висновки для ухвалення бізнес-рішень.
Опис
- Створюйте та впроваджуйте сучасні високоякісні архітектури даних
- Розробляйте аналітичні рішення з використанням технологій Big Data
- Проєктуйте, підтримуйте й оптимізуйте системи паралельної обробки
- Застосовуйте найкращі практики зберігання та керування сховищами даних, озерами даних і lakehouse-платформами
- Збирайте, обробляйте, очищуйте й оркеструйте великі обсяги даних
- Інтегруйте та перетворюйте дані з різних структурованих і напівструктурованих джерел
- Визначайте технічні стратегії відповідно до бізнес-цілей
- Долучайтеся до проєкту та його спринтів, виконуючи завдання з розробки
- Визначайте вимоги й обсяг робіт
- Беріть участь у плануванні спринтів, інженерних сесіях, воркшопах і зустрічах із внутрішніми командами та клієнтами
- Класифікуйте й оцінюйте завдання за допомогою гнучких методологій
- Щодня відстежуйте перебіг спринту
- Дотримуйтеся термінів постачання та керуйте ризиками, завчасно повідомляючи про затримки
Вимоги
- Просунутий рівень англійської мови
- Впевнене володіння T-SQL і Spark SQL, зокрема DDL, DML, підзапитами, CTE, множинними об’єднаннями, агрегуванням, віконними функціями, збереженими процедурами, оптимізацією індексів, статистикою та планами виконання
- Впевнені навички Python (PySpark), зокрема об’єктно-орієнтоване програмування, структури даних, керувальні конструкції, завантаження даних, DataFrame, UDF, часові вікна, партиціювання, PEP 8 і модульність
- Досвід використання JSON і REST API для оркестрації конвеєрів, розгортань CI/CD, динамічної параметризації та керування артефактами
- Знання Microsoft Fabric, Lakehouse, OneLake, Delta Lake і Delta-таблиць із підтримкою ACID
- Знання партиціювання, OPTIMIZE, Z-ORDER і Time Travel
- Знання сховищ даних (Synapse Analytics), виділених і безсерверних кластерів SQL, схем «зірка» та «сніжинка», транзакційного T-SQL, ізоляції й автомасштабування
- Досвід роботи з CI/CD та керуванням життєвим циклом за допомогою Azure DevOps або GitHub Actions
- Знання модульного тестування наборів даних, перевірки схем і автоматизованого розгортання артефактів
- Знання Monitor Hub і Activator, панелей метрик, проактивних сповіщень і автоматизованих інструкцій з усунення неполадок
- Знання Eventstreams і Eventhouse для приймання подій у реальному часі, вікон обробки й інкрементальної агрегації
- Знання безпеки та керування даними, ролей і дозволів, безпеки на рівні рядків і стовпців, динамічного маскування даних і аудиту
- Загальні знання Azure Data Factory будуть перевагою
- Розвинені навички комунікації, командної роботи в Squad, проактивність, співпраця, постійне навчання, відповідальність, організованість, консультування з питань даних, керування вимогами, розробка стратегій з урахуванням потреб клієнта та презентації для клієнтів
Переваги
- Передбачені законодавством та додаткові пільги
- Можливості розвивати експертизу в різних галузях і технологіях
- Міждисциплінарний розвиток і нові виклики
- Середовище, що дає простір, довіру та свободу для творчості
- Необхідне навчання
- Робота над передовими технологічними проєктами для міжнародних клієнтів
- Гнучкий віддалений формат роботи
- Необхідне для роботи обладнання
- Внутрішні інструменти комунікації