Supermicro разрабатывает высокопроизводительные вычислительные решения, ориентированные на серверные технологии и передовую инфраструктуру для корпоративных приложений. Компания работает в сфере вычислительной техники, сочетая инновации в области оборудования с операционной экспертизой, необходимой для поддержки требовательных технологических сред. Специалисты, рассматривающие возможности в серверной инженерии, корпоративных вычислениях, производстве, логистике, консалтинге и смежных направлениях, могут участвовать в создании продуктов и систем, используемых в современной инфраструктуре обработки данных.
Инженер по качеству ПО и производственным данным
Создавайте ETL-конвейеры, сервисы данных PostgreSQL и слои хранилища для серверных и сетевых решений Supermicro. Поддерживайте производственную аналитику, показатели качества и управление данными на разных площадках.
Описание
- Поддерживать и масштабировать ежедневные ETL/ELT-конвейеры с помощью инструментов управления рабочими процессами и планирования
- Создавать средства извлечения данных из производственных отчетов в Excel, CSV, вложениях электронной почты и сжатых архивах
- Реализовывать инкрементальную загрузку с идемпотентными преобразованиями, дедупликацией, контрольными точками и безопасным повторным запуском заданий
- Оптимизировать пакетную загрузку больших объемов данных в PostgreSQL с помощью COPY и UPSERT, сохраняя стабильное потребление памяти
- Отслеживать рабочие запуски и управлять сбоями, оповещениями и восстановлением
- Поддерживать серверные API и сервисы данных для аналитических панелей и отчетов
- Писать и оптимизировать запросы PostgreSQL с использованием CTE и оконных функций
- Поддерживать определение KPI, анализ тенденций, панели мониторинга, отчетность и разовые запросы данных
- Стандартизировать производственные показатели, такие как выход продукции на участке, выход годных с первого предъявления (FPY) и время выполнения ремонта (TAT)
- Использовать базовые статистические методы и методы анализа данных, включая обнаружение аномалий и контроль качества в стиле SPC
- Быть техническим контактным лицом по обмену данными с контрактными производственными площадками
- Согласовывать форматы отчетов, схемы столбцов и правила именования с инженерными командами площадок
- Повышать качество данных в неполных или несогласованных полях, включая классификации дефектов и номера деталей
- Управлять версиями мастер-данных, включая спецификации BOM, и координировать автоматизированный сбор отчетов
- Выявлять проблемы исходных данных, например изменения шаблонов, поврежденные файлы, ошибки кодировки и форматирования
- Проектировать и поддерживать слои хранилища для staging, ODS, DW и сводных таблиц приложений
- Управлять изменениями схем PostgreSQL, индексированием и регулярным обслуживанием баз данных
- Применять ролевое управление доступом для пользователей ETL, BI и администраторов
- Поддерживать проверки качества данных, тесты конвейеров и документацию
- Управлять исторической дозагрузкой данных, включая резервное копирование, сброс, повторную обработку и проверку
Требования
- Не менее 2 лет практического опыта работы с Python 3
- Уверенное владение pandas, NumPy и связанными библиотеками для обработки данных и ETL
- Отличное знание SQL и реляционных баз данных, особенно PostgreSQL или Oracle/MS SQL
- Знание CTE, оконных функций, UPSERT, проектирования схем и индексирования
- Опыт создания и эксплуатации производственных ETL/ELT-заданий с помощью инструментов управления рабочими процессами или планирования
- Опыт проверки схем, дедупликации, пакетной обработки, базовой обработки ошибок и настройки оповещений
- Опыт работы с ветвлением в Git и управлением конфигурациями
- Умение обсуждать требования к данным с инженерными и операционными командами на китайском и английском языках
- Степень бакалавра или магистра в области информатики, управления информацией, электротехники, статистики, математики или смежной технической области
- Будет преимуществом: разработка веб-приложений или серверной части API, а также сервисов панелей мониторинга или отчетности
- Будет преимуществом: опыт работы с хранилищами данных, включая слои staging, ODS и DW, а также сводные агрегированные таблицы
- Будет преимуществом: исследовательский анализ, определение KPI и производственные показатели или показатели качества, такие как выход продукции, FPY, TAT и SPC
- Будет преимуществом: знание статистики, подготовка признаков или базовое машинное обучение
- Будет преимуществом: разбор полуструктурированных файлов, таких как Excel, CSV, PDF, вложения электронной почты и архивы
- Будет преимуществом: опыт работы с Windows Server, планировщиком задач или Docker
- Будет преимуществом: интерес к применению LLM или RAG на внутренних платформах данных
Преимущества
- Работодатель заявляет о приверженности равным возможностям и разнообразию
- В объявлении упоминается раздел «Наши льготы», но конкретные льготы не указаны