Coretek — поставщик управляемых услуг и консалтинговая компания в сфере облачных технологий со статусом Microsoft Azure Expert Managed Service Provider. Компания работает с организациями государственного сектора, здравоохранения, промышленности и финансовых услуг. В сферу её деятельности входят миграция в облако, модернизация приложений, автоматизация DevOps, управление рабочими средами, кибербезопасность, а также решения на основе Azure OpenAI и технологий машинного обучения. Coretek также предоставляет услуги в области безопасности и наблюдаемости с использованием таких платформ, как Palo Alto и Dynatrace, и развивает партнёрства с Imprivata и Citrix. Мультидисциплинарная команда компании помогает клиентам модернизировать инфраструктуру, повышать уровень безопасности и создавать практичные облачные решения и возможности искусственного интеллекта.
Инженер по данным Azure — гибридный формат в Индии
Создавайте и поддерживайте надежные пакетные и потоковые конвейеры Azure для Coretek. Разрабатывайте управляемые модели данных, средства контроля качества и рабочие процессы для эксплуатации, поддерживающие бизнес- и технические команды.
Описание
- Проектировать, создавать и поддерживать идемпотентные, наблюдаемые и восстанавливаемые пакетные и потоковые конвейеры данных
- Создавать аналитические модели данных, включая многомерные схемы, семантические уровни и подготовленные витрины данных
- Подключать операционные базы данных, SaaS API, файлы и потоки событий, управляя изменениями схем и данными, поступающими с задержкой
- Встраивать в конвейеры проверки актуальности, объема, уникальности данных и ссылочной целостности
- Устанавливать процедуры оповещения и эскалации при сбоях конвейеров
- Управлять конвейерами в эксплуатации посредством мониторинга, дежурного реагирования на инциденты, анализа первопричин и дозагрузки данных
- Повышать производительность и контролировать затраты с помощью секционирования, кластеризации, оптимизации размера файлов и настройки размеров хранилищ или кластеров
- Использовать системы контроля версий, проверку кода, CI/CD, автоматизированное тестирование и инфраструктуру как код
- Совместно с командами безопасности и соответствия требованиям обеспечивать контроль доступа, защиту персональных данных, хранение, отслеживание происхождения данных и выполнение требований аудита
- Работать с аналитиками, специалистами по данным и инженерами по продукту над созданием устойчивых контрактов данных
- Поддерживать в актуальном состоянии словари данных, записи об их происхождении и инструкции по эксплуатации конвейеров
Требования
- Не менее пяти лет опыта создания производственных конвейеров данных
- Глубокий практический опыт работы с Python для инженерии данных, включая тестирование, упаковку и проверку кода
- Практическое владение API PySpark DataFrame и SQL, крупномасштабными объединениями и агрегациями, секционированием, поведением shuffle и диагностикой с помощью Spark UI
- Продвинутые навыки SQL, включая оконные функции, анализ планов запросов и оптимизацию производительности
- Практический опыт работы с Azure Data Factory, Databricks, Synapse или Fabric и ADLS
- Глубокие знания моделирования данных, включая нормализацию, звездообразные схемы и медленно изменяющиеся измерения
- Опыт разработки на основе Git и поставки через CI/CD
- Отличные коммуникативные навыки, включая способность объяснять проблемы конвейеров нетехническим заинтересованным сторонам
- Выдающиеся аналитические способности и навыки решения проблем, включая анализ первопричин
- Значительный опыт работы с клиентами в консультативной технической среде
- Опыт работы с потоковыми данными с использованием Kafka или Event Hubs
- Опыт использования Delta Lake или Iceberg
- Опыт работы с Terraform или Bicep для инфраструктуры как кода и с Docker или Kubernetes для контейнеризации
- Опыт работы в регулируемых средах, связанных с HIPAA, SOC 2, PCI или GDPR
- Опыт создания платформ данных для машинного обучения или поддержки конвейеров признаков
- Способность вести несколько клиентских проектов и своевременно предоставлять качественные результаты
- Опыт использования Azure DevOps или GitHub для контроля исходного кода и конвейеров поставки