Keep IT Simple (KIS) — поставщик ИТ-услуг и решений из Кремниевой долины, обслуживающий организации по всей Калифорнии и за её пределами. Основанная в 1988 году компания помогает клиентам решать сложные технологические задачи в области кибербезопасности, виртуализации, облачных решений и консалтинга по сетевой инфраструктуре. Компания работает с представителями таких отраслей, как логистика, здравоохранение и кибербезопасность, уделяя особое внимание практичным ИТ-рекомендациям, экономичным решениям и оперативному обслуживанию клиентов.
Старший инженер данных: Databricks и платформы данных для ИИ
Руководите разработкой платформ данных на Databricks для глобальной страховой и инвестиционной компании. Обеспечивайте облачную аналитику, ИИ и машинное обучение, управление данными и модернизацию корпоративных систем.
Описание
- Проектировать и поддерживать масштабируемые конвейеры данных с использованием Databricks, Spark и облачных технологий.
- Создавать и оптимизировать платформы пакетного и потокового приема данных в реальном времени.
- Разрабатывать повторно используемые инженерные шаблоны и инструменты ускорения для корпоративных решений в области данных.
- Обеспечивать качество данных, наблюдаемость, отслеживание происхождения данных и управление во всей экосистеме данных.
- Поддерживать масштабные инициативы по модернизации данных и миграции в облако.
- Проектировать архитектуры Delta Lake и модели данных Medallion.
- Разрабатывать оптимизированные конвейеры ETL и ELT с помощью ноутбуков, рабочих процессов и Delta Live Tables в Databricks.
- Внедрять практики настройки производительности, оптимизации затрат и управления рабочими нагрузками.
- Использовать Unity Catalog для управления данными, безопасностью и метаданными.
- Внедрять конвейеры CI/CD и инфраструктуру как код для развертывания Databricks.
- Проектировать облачные архитектуры данных для Azure и AWS.
- Интегрировать корпоративные источники данных, включая SQL Server, Oracle, API, SaaS и платформы потоковой обработки.
- Создавать отказоустойчивые и безопасные сервисы данных с высокой доступностью и возможностью аварийного восстановления.
- Совместно с командами инфраструктуры и безопасности применять средства защиты облачных систем и стандарты соответствия требованиям.
- Создавать и оптимизировать продукты данных для ИИ, машинного обучения и генеративного ИИ.
- Разрабатывать конвейеры проектирования признаков и подготовленные наборы данных для обучения и инференса моделей.
- Поддерживать векторные базы данных, семантический поиск, генерацию с дополненной выборкой и приложения на основе больших языковых моделей.
- Взаимодействовать с учеными по данным и инженерами по ИИ, чтобы вводить решения машинного обучения в эксплуатацию.
- Применять практики MLOps и DataOps для масштабируемого внедрения ИИ.
- Руководить сложными инициативами в области инженерии данных.
- Устанавливать архитектурные стандарты, инженерные практики и рекомендации по разработке.
- Наставлять младших и специалистов среднего уровня.
- Проводить архитектурные ревью и давать технические рекомендации.
- Продвигать автоматизацию, наблюдаемость и практики платформенной инженерии.
Требования
- Степень бакалавра в области информатики, информационных технологий, инженерии или смежной дисциплины.
- Не менее 8 лет опыта в инженерии данных, хранилищах данных или разработке платформ данных.
- Не менее 5 лет практического опыта работы с Databricks и Apache Spark.
- Опыт проектирования и внедрения облачных платформ данных корпоративного масштаба.
- Опыт руководства техническими инициативами и наставничества инженерных команд.
- Опыт работы с Databricks, Apache Spark (PySpark и Spark SQL), Delta Lake, Delta Live Tables, Unity Catalog, хранилищами данных и моделированием данных.
- Опыт работы с Python, SQL и PowerShell либо автоматизацией с помощью скриптов.
- Опыт работы с Microsoft Azure, AWS и облачными сервисами хранения и вычислений.
- Опыт работы с SQL Server, Oracle, PostgreSQL и базами данных.
- Опыт работы с Azure Data Factory, Databricks Workflows, Kafka или потоковой обработкой событий, а также REST API.
- Опыт работы с GitHub, Azure DevOps, конвейерами CI/CD, Terraform и инфраструктурой как кодом.
- Знание инструментов мониторинга и оповещения, платформ контроля качества данных, методов оптимизации производительности, ведения журналов и устранения неполадок.
- Знание конвейеров данных для машинного обучения, хранилищ признаков, MLOps, концепций генеративного ИИ, векторных баз данных, генерации с дополненной выборкой, управления ИИ и принципов ответственного ИИ.
- Желательные сертификаты: Databricks Certified Data Engineer Professional, Azure Data Engineer Associate или AWS Data Analytics.
- Желателен опыт работы в регулируемых отраслях, с корпоративными программами управления данными и интеграцией ИИ в производственные системы.
- Стратегическое мышление, навыки решения проблем, технического лидерства, проектирования архитектуры, взаимодействия с заинтересованными сторонами, коммуникации и презентации; стремление к непрерывному совершенствованию, инновациям и внедрению ИИ; понимание рисков и соответствия требованиям.
Преимущества
- Формат сотрудничества: независимый подрядчик (Pessoa Jurídica, PJ).
- Гибридный формат работы с возможностью часть времени работать удаленно.