Emeria Technologies
Emeria Technologies
Emeria Technologies предоставя услуги за жилищни и бизнес имоти в цяла Европа, като подкрепя собственици на имоти, наематели, инвеститори и компании през целия жизнен цикъл на имотите. Услугите ѝ обхващат придобиване на имоти, отдаване под наем, наеми, управление на жилищни сгради и продажби и се предоставят чрез местни клонове и операции с технологична подкрепа. Групата работи в осем европейски държави чрез модел с множество марки, който включва Foncia във Франция, а големият ѝ екип обслужва както индивидуални потребители, така и бизнес клиенти.

Специалист на свободна практика по инженеринг на данни – миграция към Snowflake

Миграция на аналитичната платформа на Emeria в Обединеното кралство от Azure Synapse към Snowflake, включително преструктуриране на потоците за приемане на данни и преобразуване на T-SQL процедури. Работата включва проверки за съответствие на данните, превод на код с помощта на LLM и предаване на знания.

Описание

  • Отговаря за 15 потока от данни в Azure Data Factory и изгражда отново процеса за приемане на данни с Fivetran, CDC или скриптове за инкрементално извличане.
  • Преобразува около 200 съхранени T-SQL процедури за Snowflake с помощта на олекотен слой Spark.
  • Използва LLM инструменти за ускоряване на преобразуването на код и създаването на тестове.
  • Стартира процесите паралелно и съгласува данните с наличните отчети.
  • Документира работата и предава знанията на екипа в Обединеното кралство.
  • Подпомага миграцията на аналитичната платформа в Обединеното кралство от Azure Synapse към Snowflake, Fivetran и Airflow (MWAA).

Изисквания

  • Отлични познания по Snowflake и Airflow.
  • Практически опит с преобразуване на съхранени T-SQL или MS SQL процедури за Snowflake, включително SCD2, транзакции, цикли и MERGE.
  • Скорошен опит с използване на LLM за превод на код и генериране на тестове за миграционен проект.
  • Добро разбиране на методите за инкрементално приемане на данни, като delta и watermark.
  • Свободно владеене на английски език.
  • Умение за самостоятелна работа и проактивен подход.
  • Познания по Spark или PySpark, Fivetran, Azure Synapse или Data Factory са предимство.

Придобивки

  • Дистанционна работа.
  • Възможно е удължаване на ангажимента.

Свързани работни места

Consort Group

GCP инженер по данни в Consort Group (хибридно, Франция)

Consort Group

Изграждайте облачни потоци от данни и решения за данни и изкуствен интелект за Consort Group с Python, SQL, BigQuery и Dataflow. Работата обхваща интеграция, трансформация и анализ на данни в хибриден режим във Франция.

Отвори