Seneca Holdings е инвестиционното подразделение на народа Сенека, което развива и управлява печеливши предприятия, укрепващи дългосрочната икономическа самостоятелност на народа. Диверсифицираното му портфолио включва договори с федералното правителство, решения в областта на околната среда и здравни услуги, с акцент върху устойчиви възможности, които подкрепят общността на Сенека и бъдещите поколения.
Старши инженер по данни – Databricks и AWS (дистанционна работа)
Изграждайте мащабируеми конвейери за данни в Databricks и AWS за договори с федералното правителство. Предоставяйте данни, готови за анализ, като спазвате стандартите FISMA High и изискванията за многонаемателна среда.
Описание
- Изграждайте и поддържайте мащабируеми конвейери за данни в хоствана в AWS среда Databricks E2
- Извличайте данни от релационни бази данни, API интерфейси, външни доставчици и потоци в реално време
- Създавайте конвейери за почистване, трансформиране и агрегиране на данни за анализи и отчети
- Разработвайте и управлявайте слоевете Bronze, Silver и Gold в медалионната архитектура на Databricks
- Подготвяйте съпоставяния от източник към цел и извършвайте модулно тестване
- Пишете усъвършенствани SQL агрегации и изследвайте аномалии в данните, проблеми с качеството и несъответствия
- Внедрявайте приемане на данни в реално и почти реално време с AWS DMS и други собствени AWS услуги
- Разработвайте решения за обработка с Python или R, Spark, PySpark и Pandas
- Управлявайте кода, контрола на версиите и внедряванията чрез GitLab и CI/CD конвейери
- Работете с междуфункционални екипи в гъвкава среда за изпълнение
- Поддържайте съответствие с FISMA High и със сигурността, управлението и регулаторните изисквания за многонаемателна среда
- Използвайте инструменти за автоматизация с изкуствен интелект в подкрепа на разработването, тестването, валидирането и доставката на конвейери
Изисквания
- Доказан практически опит като инженер по данни или разработчик на Databricks с изграждане на продукционни конвейери за данни
- Задълбочени познания за Databricks в AWS, включително архитектура E2, конфигуриране на клъстери, оркестрация на задачи и администриране на работни пространства
- Практически опит с Apache Spark, PySpark и Pandas за разпределена обработка на данни в голям мащаб
- Отлични умения по програмиране с Python; опитът с R е предимство
- Опит с Databricks Auto Loader за мащабируемо инкрементално приемане на файлове
- Практически опит с AWS Database Migration Service за улавяне на промени и репликация в реално време
- Отлично познаване на Delta Lake и Delta таблиците, включително еволюция на схемата, пътуване във времето, OPTIMIZE, Z-ORDER и VACUUM
- Опит с Amazon RDS и други релационни източници в работни процеси за извличане и интеграция
- Задълбочени познания по SQL, включващи сложни съединявания, прозоречни функции, агрегации и оптимизиране на производителността на заявки
- Разбиране на медалионната архитектура и съвременните принципи на езерото от данни
- Опит с GitLab и CI/CD конвейери за автоматизирано тестване, изграждане и внедряване на код за инженеринг на данни
- Опит в участие в Agile или Scrum проекти
Придобивки
- Конкурентно възнаграждение
- Медицинско, стоматологично, зрително, животозастрахователно покритие и покритие при нетрудоспособност
- Допълнително покритие при тежки заболявания, хоспитализация и злополука
- Здравни спестовни сметки и сметки за гъвкави разходи
- Пенсионен план 401(k)
- Програми за платен отпуск
- Гъвкав баланс между професионалния и личния живот
- Възможности за професионално развитие
- Програми за представяне и признание
- Сътрудническа работна среда
- Финансови и нефинансови придобивки за членовете на народа Сенека