Coretek — постачальник керованих послуг і консалтингова компанія у сфері хмарних технологій зі статусом Microsoft Azure Expert Managed Service Provider. Компанія працює з організаціями державного сектору, охорони здоров’я, промисловості та фінансових послуг. Її діяльність охоплює міграцію в хмару, модернізацію застосунків, автоматизацію DevOps, керування робочими середовищами, кібербезпеку, а також рішення на основі Azure OpenAI і технологій машинного навчання. Coretek також надає послуги з безпеки та спостережуваності з використанням таких платформ, як Palo Alto і Dynatrace, а також розвиває партнерства з Imprivata та Citrix. Мультидисциплінарна команда компанії допомагає клієнтам модернізувати інфраструктуру, посилювати безпеку й розвивати практичні хмарні та AI-можливості.
Інженер з даних Azure — гібридний формат в Індії
Створюйте та підтримуйте надійні пакетні й потокові конвеєри Azure для Coretek. Розробляйте керовані моделі даних, засоби контролю якості та робочі процеси для продуктивного середовища, що підтримують бізнесові й технічні команди.
Опис
- Проєктувати, створювати й підтримувати ідемпотентні, спостережувані та відновлювані пакетні й потокові конвеєри даних
- Створювати аналітичні моделі даних, зокрема багатовимірні схеми, семантичні рівні та підготовлені вітрини даних
- Підключати операційні бази даних, SaaS API, файли й потоки подій, керуючи змінами схем і даними, що надходять із запізненням
- Вбудовувати в конвеєри перевірки актуальності, обсягу, унікальності даних і референтної цілісності
- Встановлювати процедури сповіщення та ескалації у разі збоїв конвеєрів
- Керувати продуктивними конвеєрами за допомогою моніторингу, чергування для реагування на інциденти, аналізу першопричин і дозавантажень
- Підвищувати продуктивність і контролювати витрати завдяки секціонуванню, кластеризації, оптимізації розміру файлів і налаштуванню розмірів сховищ або кластерів
- Використовувати контроль версій, перевірки коду, CI/CD, автоматизоване тестування та інфраструктуру як код
- Спільно з командами безпеки й відповідності вимогам забезпечувати контроль доступу, захист персональних даних, зберігання, відстеження походження даних і виконання вимог аудиту
- Працювати з аналітиками, фахівцями з даних та інженерами продукту над створенням надійних контрактів даних
- Підтримувати в актуальному стані словники даних, записи про їхнє походження та інструкції з експлуатації конвеєрів
Вимоги
- Щонайменше п’ять років досвіду створення продуктивних конвеєрів даних
- Ґрунтовний практичний досвід роботи з Python для інженерії даних, зокрема тестування, пакування та перевірки коду
- Практичне володіння API PySpark DataFrame і SQL, великомасштабними об’єднаннями та агрегаціями, секціонуванням, поведінкою shuffle і діагностикою за допомогою Spark UI
- Високий рівень володіння SQL, зокрема віконними функціями, аналізом планів запитів і оптимізацією продуктивності
- Практичний досвід роботи з Azure Data Factory, Databricks, Synapse або Fabric і ADLS
- Глибокі знання моделювання даних, включно з нормалізацією, схемами «зірка» та повільно змінюваними вимірами
- Досвід розробки на основі Git і постачання через CI/CD
- Відмінні комунікативні навички, зокрема здатність пояснювати проблеми конвеєрів нетехнічним зацікавленим сторонам
- Видатні аналітичні здібності та навички розв’язання проблем, включно з аналізом першопричин
- Значний досвід роботи з клієнтами в консультативному технічному середовищі
- Досвід роботи з потоковими даними за допомогою Kafka або Event Hubs
- Досвід використання Delta Lake або Iceberg
- Досвід роботи з Terraform або Bicep для інфраструктури як коду та з Docker або Kubernetes для контейнеризації
- Досвід роботи в регульованих середовищах, пов’язаних із HIPAA, SOC 2, PCI або GDPR
- Досвід створення платформ даних для машинного навчання або підтримки конвеєрів ознак
- Здатність вести кілька клієнтських проєктів і вчасно надавати якісні результати
- Досвід використання Azure DevOps або GitHub для контролю вихідного коду та конвеєрів постачання