Coretek е доставчик на управлявани услуги с експертен статут за Microsoft Azure и консултантска компания за облачни технологии, която обслужва организации в държавната администрация, здравеопазването, производството и финансовите услуги. Дейността ѝ обхваща миграция към облака, модернизация на приложения, автоматизация на DevOps, управление на работни среди, киберсигурност и решения с изкуствен интелект, изградени с технологиите Azure OpenAI и машинно обучение. Coretek предоставя и услуги за сигурност и наблюдаемост, използвайки платформи като Palo Alto и Dynatrace, както и партньорства с Imprivata и Citrix. Мултидисциплинарният екип на компанията помага на клиентите да модернизират инфраструктурата си, да укрепят сигурността и да развият практически възможности в областта на облачните технологии и изкуствения интелект.
Инженер по данни за Azure — хибридна работа в Индия
Изграждайте и управлявайте надеждни пакетни и поточни конвейери в Azure за Coretek. Разработвайте управлявани модели на данни, контроли на качеството и производствени процеси, които подпомагат бизнес и технически екипи.
Описание
- Проектиране, изграждане и поддръжка на идемпотентни, наблюдаеми и възстановими пакетни и поточни конвейери за данни
- Създаване на аналитични модели на данни, включително размерни схеми, семантични слоеве и подбрани витрини за данни
- Свързване на оперативни бази данни, SaaS API, файлове и потоци от събития при управление на промени в схемата и закъснели данни
- Вграждане на проверки за актуалност, обем, уникалност и референтна цялост на данните в конвейерите
- Установяване на процедури за предупреждение и ескалация при откази на конвейерите
- Управление на производствени конвейери чрез мониторинг, дежурна реакция при инциденти, анализ на първопричината и допълнително зареждане на данни
- Подобряване на производителността и контролиране на разходите чрез партициониране, клъстеризация, оразмеряване на файлове и оразмеряване на складове или клъстери
- Използване на контрол на версиите, прегледи на кода, CI/CD, автоматизирано тестване и инфраструктура като код
- Прилагане на контрол на достъпа, защита на личните данни, срокове за съхранение, проследимост и одитни изисквания съвместно с екипите по сигурност и съответствие
- Работа с анализатори, специалисти по данни и продуктови инженери за установяване на устойчиви договори за данни
- Поддържане на речниците на данните, записите за проследимост и оперативните ръководства за конвейерите в актуално състояние
Изисквания
- Най-малко пет години опит в изграждането на производствени конвейери за данни
- Силен практически опит с Python за инженеринг на данни, включително тестване, пакетиране и преглед на код
- Практическо владеене на PySpark DataFrame и SQL API, мащабни join операции и агрегации, партициониране, поведение на shuffle операциите и диагностика чрез Spark UI
- Напреднали умения по SQL, включително прозоречни функции, анализ на планове за заявки и настройване на производителността
- Практически опит с Azure Data Factory, Databricks, Synapse или Fabric и ADLS
- Солидни познания по моделиране на данни, включително нормализация, звездообразни схеми и бавно променящи се измерения
- Опит с работни процеси за разработка, базирани на Git, и доставка чрез CI/CD
- Отлични комуникационни умения, включително способност да обяснявате проблеми с конвейерите на нетехнически заинтересовани страни
- Изключителни аналитични умения и способност за решаване на проблеми, включително анализ на първопричината
- Значителен опит в работата с клиенти в консултативна техническа среда
- Опит с поточни данни чрез Kafka или Event Hubs
- Опит с използването на Delta Lake или Iceberg
- Опит с Terraform или Bicep за инфраструктура като код и Docker или Kubernetes за контейнеризация
- Опит в регулирани среди, включващи HIPAA, SOC 2, PCI или GDPR
- Опит в изграждането на платформи за данни за машинно обучение или поддръжка на конвейери за характеристики
- Способност за управление на множество клиентски проекти и навременно предоставяне на качествена работа
- Опит с използването на Azure DevOps или GitHub за контрол на изходния код и конвейери за доставка