Keep IT Simple (KIS) — постачальник ІТ-послуг і рішень із Кремнієвої долини, що обслуговує організації по всій Каліфорнії та за її межами. Заснована у 1988 році компанія допомагає клієнтам вирішувати складні технологічні завдання у сфері кібербезпеки, віртуалізації, хмарних рішень і консалтингу з мережевої інфраструктури. Компанія працює з такими галузями, як логістика, охорона здоров’я та кібербезпека, зосереджуючись на практичних ІТ-рекомендаціях, економних рішеннях і оперативному обслуговуванні клієнтів.
Старший інженер даних: Databricks і платформи даних для ШІ
Керуйте розробкою платформ даних на Databricks для глобальної страхової та інвестиційної компанії. Забезпечуйте хмарну аналітику, ШІ й машинне навчання, управління даними та модернізацію корпоративних систем.
Опис
- Проєктувати й підтримувати масштабовані конвеєри даних із використанням Databricks, Spark і хмарних технологій.
- Створювати й оптимізувати платформи пакетного та потокового приймання даних у реальному часі.
- Розробляти повторно використовувані інженерні шаблони та інструменти прискорення для корпоративних рішень у сфері даних.
- Забезпечувати якість даних, спостережуваність, відстеження походження даних і управління в усій екосистемі даних.
- Підтримувати масштабні ініціативи з модернізації даних і міграції до хмари.
- Проєктувати архітектури Delta Lake і моделі даних Medallion.
- Розробляти оптимізовані конвеєри ETL і ELT за допомогою ноутбуків, робочих процесів і Delta Live Tables у Databricks.
- Запроваджувати практики налаштування продуктивності, оптимізації витрат і керування робочими навантаженнями.
- Використовувати Unity Catalog для управління даними, безпекою та метаданими.
- Запроваджувати конвеєри CI/CD та інфраструктуру як код для розгортання Databricks.
- Проєктувати хмарні архітектури даних для Azure та AWS.
- Інтегрувати корпоративні джерела даних, зокрема SQL Server, Oracle, API, SaaS і платформи потокової обробки.
- Створювати відмовостійкі й безпечні сервіси даних із високою доступністю та можливістю аварійного відновлення.
- Разом із командами інфраструктури та безпеки застосовувати засоби захисту хмарних систем і стандарти відповідності вимогам.
- Створювати й оптимізувати продукти даних для ШІ, машинного навчання та генеративного ШІ.
- Розробляти конвеєри інженерії ознак і підготовлені набори даних для навчання та інференсу моделей.
- Підтримувати векторні бази даних, семантичний пошук, генерацію з доповненою вибіркою та застосунки на основі великих мовних моделей.
- Співпрацювати з науковцями з даних та інженерами ШІ, щоб вводити рішення машинного навчання в експлуатацію.
- Застосовувати практики MLOps і DataOps для масштабованого впровадження ШІ.
- Керувати складними ініціативами в галузі інженерії даних.
- Визначати архітектурні стандарти, інженерні практики та рекомендації з розробки.
- Наставляти молодших і фахівців середнього рівня.
- Перевіряти архітектури й надавати технічні рекомендації.
- Розвивати практики автоматизації, спостережуваності та платформної інженерії.
Вимоги
- Ступінь бакалавра в галузі інформатики, інформаційних технологій, інженерії або суміжній дисципліні.
- Щонайменше 8 років досвіду в інженерії даних, сховищах даних або розробці платформ даних.
- Щонайменше 5 років практичного досвіду роботи з Databricks і Apache Spark.
- Досвід проєктування та впровадження хмарних платформ даних корпоративного масштабу.
- Досвід керування технічними ініціативами та наставництва інженерних команд.
- Досвід роботи з Databricks, Apache Spark (PySpark і Spark SQL), Delta Lake, Delta Live Tables, Unity Catalog, сховищами даних і моделюванням даних.
- Досвід роботи з Python, SQL і PowerShell або автоматизацією за допомогою скриптів.
- Досвід роботи з Microsoft Azure, AWS і хмарними сервісами зберігання та обчислень.
- Досвід роботи з SQL Server, Oracle, PostgreSQL і базами даних.
- Досвід роботи з Azure Data Factory, Databricks Workflows, Kafka або потоковою обробкою подій, а також REST API.
- Досвід роботи з GitHub, Azure DevOps, конвеєрами CI/CD, Terraform та інфраструктурою як кодом.
- Знання інструментів моніторингу й сповіщень, засобів контролю якості даних, методів оптимізації продуктивності, ведення журналів і усунення несправностей.
- Знання конвеєрів даних для машинного навчання, сховищ ознак, MLOps, концепцій генеративного ШІ, векторних баз даних, генерації з доповненою вибіркою, управління ШІ та принципів відповідального ШІ.
- Бажані сертифікати: Databricks Certified Data Engineer Professional, Azure Data Engineer Associate або AWS Data Analytics.
- Бажаний досвід роботи в регульованих галузях, з корпоративними програмами управління даними та інтеграцією ШІ у виробничі системи.
- Стратегічне мислення, навички розв’язання проблем, технічного лідерства, проєктування архітектури, взаємодії із зацікавленими сторонами, комунікації та презентації; прагнення до постійного вдосконалення, інновацій і впровадження ШІ; обізнаність щодо ризиків і відповідності вимогам.
Переваги
- Формат співпраці: незалежний підрядник (Pessoa Jurídica, PJ).
- Гібридний формат роботи з можливістю частину часу працювати віддалено.