Valtech е глобална дигитална агенция, която помага на организациите да подобряват клиентското изживяване и да развиват своя дигитален бизнес. Работата ѝ обединява технологии, маркетинг, данни и изкуствен интелект в подкрепа на търговски инициативи, дигитална трансформация на предприятията и по-добри маркетингови резултати. С екипи и офиси по целия свят Valtech си партнира с компании в разработването на дигитални стратегии, иновации в изживяването и практическото използване на данни за изграждане на по-ефективно дигитално бъдеще.
Старши инженер по данни – дистанционна работа от Португалия
Старши инженер по данни във Valtech, който разработва облачни платформи за данни в подкрепа на аналитиката, изкуствения интелект и продуктите за данни в продукционна среда. Ролята обхваща мащабируеми конвейери за данни, lakehouse архитектура, генеративен изкуствен интелект и системи за машинно обучение.
Описание
- Проектиране, разработване и усъвършенстване на облачни платформи за данни, които поддържат аналитика, изкуствен интелект и продукти за данни
- Създаване на надеждни пакетни, поточни и почти реалновременни конвейери за структурирана и неструктурирана информация
- Разработване на работни процеси за приемане, трансформиране, куриране и предоставяне на данни
- Реализиране на lakehouse решения и medallion архитектура с Databricks или Fabric
- Създаване на курирани набори от данни за аналитика, машинно обучение, каузално моделиране, оптимизация, генеративен изкуствен интелект, RAG и приложения, базирани на агенти
- Прилагане на MLflow, Unity Catalog, Azure ML и сходни платформени инструменти за поддръжка на продукционни системи с изкуствен интелект
- Създаване на модели на данни и координиране на работни процеси с Airflow, dbt, Databricks Workflows, Azure Data Factory или сходни инструменти
- Установяване на практики за управление на данни, проследимост, качество, контрол на достъпа и наблюдаемост
- Проследяване на актуалността на данните, надеждността на конвейерите, изпълнението на SLA, мащабируемостта, ефективността и разходите
- Предоставяне на API, входове за характеристики и аналитични крайни точки за последващи приложения за машинно обучение и изкуствен интелект
- Изясняване и прецизиране на бизнес нуждите чрез сътрудничество със заинтересованите страни и анализ
- Тясна работа с учени по данни, ML инженери, анализатори, платформени екипи и бизнес заинтересовани страни
- Подпомагане на внедряването на продуктите за данни и развитието на практиките за данни и изкуствен интелект
Изисквания
- Практически опит с Apache Spark и Delta Lake
- Отлични умения за програмиране с Python и SQL
- Доказан опит в изграждането на пакетни и поточни конвейери и продукционни платформи за данни
- Солидни познания по принципите на моделиране, качество и управление на данни
- Практически опит с услуги за данни в AWS и Databricks Lakehouse или с Microsoft Azure/Fabric и свързани инструменти
- Опит с lakehouse архитектури и разпределени системи за данни
- Отлично разбиране на мащабируемостта, надеждността и производителността на конвейерите
- Любознателност и добре развити умения за решаване на проблеми
- Опит в сътрудничество между различни функционални екипи
- Опит в Agile или консултантска среда е предимство
- Познаването на Snowflake или GCP е предимство, но не е задължително
- Експертиза в AWS и Azure/Fabric, генеративен изкуствен интелект и AI системи за данни, CI/CD на конвейери за данни и инфраструктура като код е желателна, но не е задължителна
- Допълнителен опит с Kafka, оптимизация на Spark, напреднала аналитика и работни натоварвания за машинно обучение или аналитични платформи в голям мащаб е ценен
Придобивки
- Гъвкавост за дистанционна и хибридна работа в зависимост от държавата
- Възможности за кариерно развитие чрез международна мобилност и програми за професионално развитие
- Възможности за обучение с актуални инструменти, обучения и експерти от индустрията
- Конкурентен пакет за възнаграждение