High Bridge Consulting LLC — консалтинговая и кадровая компания, специализирующаяся на цифровой трансформации и подборе технологических специалистов. Ее услуги помогают предприятиям находить квалифицированных сотрудников для проектов в области искусственного интеллекта и машинного обучения, Интернета вещей, блокчейна и других цифровых технологий. Компания придерживается ориентированного на людей подхода, основанного на сотрудничестве, обмене знаниями и поддержке клиентов, консультантов, поставщиков и партнеров.
Архитектор решений по генеративному ИИ AWS
Проектируйте готовые к эксплуатации системы RAG, агентные системы и конвейеры загрузки данных в AWS для консалтинговой среды. Руководите созданием защищённых архитектур для регулируемых данных и объясняйте технические решения клиентам и руководителям.
Описание
- Выбирать базовые модели Amazon Bedrock и обосновывать решения по их выбору
- Создавать системы RAG, предоставляющие обоснованные ответы с цитатами
- Проектировать агентные системы с краткосрочной и долгосрочной памятью
- Внедрять процессы проверки человеком и механизмы утверждения
- Отвечать за конвейеры загрузки, обрабатывающие миллионы документов разных форматов
- Обрабатывать PDF-файлы с таблицами и изображениями, CSV-файлы, а также другие полуструктурированные и неструктурированные данные
- Определять подходы к извлечению, синтаксическому анализу, предварительной обработке, разбиению на фрагменты, работе с метаданными и созданию эмбеддингов
- Создавать семантические уровни, объединяющие структурированную и неструктурированную информацию
- Моделировать и связывать различные структуры данных для сценариев GenAI и RAG
- Проектировать платформы EKS, Kubernetes и контейнерные платформы, обосновывая выбор EKS или ECS
- Выводить инфраструктуру на базе Terraform в промышленную эксплуатацию
- Проектировать сети AWS, системы наблюдаемости, журналирования и производственные среды
- Создавать защищённые архитектуры GenAI для конфиденциальных или регулируемых данных с использованием IAM, шифрования, VPC, секретов, средств контроля, защиты от внедрения промптов, маскирования персональных данных и CloudTrail или CloudWatch
- Разрабатывать и отлаживать готовые к эксплуатации компоненты GenAI и конвейеров обработки данных на Python
- Документировать архитектурные решения с помощью ADR и материалов технического проектирования
- Представлять и защищать архитектурные решения перед клиентскими комиссиями по рассмотрению и старшими техническими специалистами
Требования
- Практический опыт работы с Amazon Bedrock, включая выбор базовых моделей и обоснование решений
- Опыт промышленного развёртывания с использованием Amazon Bedrock AgentCore
- Опыт использования Amazon OpenSearch для векторного поиска и семантического извлечения
- Опыт использования Amazon S3 для хранения документов и данных
- Опыт проектирования и реализации обоснованных систем RAG с ответами, содержащими цитаты
- Опыт работы с агентными архитектурами и краткосрочной и долгосрочной памятью агентов
- Опыт внедрения процессов проверки человеком и моделей утверждения
- Опыт самостоятельного ведения конвейеров загрузки, обрабатывающих миллионы документов разных форматов
- Опыт работы с PDF-файлами, содержащими таблицы или изображения, CSV-файлами и другими неструктурированными или полуструктурированными данными
- Глубокое знание методов извлечения, синтаксического анализа, предварительной обработки, разбиения на фрагменты, работы с метаданными и создания эмбеддингов для документов
- Способность самостоятельно отвечать за конвейеры загрузки и обработки данных без отдельной команды инженеров по данным
- Опыт проектирования семантических уровней для структурированных и неструктурированных данных
- Умение моделировать и интегрировать различные структуры данных для приложений GenAI и RAG
- Опыт работы с EKS, Kubernetes и контейнерной архитектурой
- Умение объяснять и защищать архитектурные решения по выбору EKS или ECS
- Глубокие знания Terraform и инфраструктуры как кода вплоть до промышленного развёртывания
- Опыт работы с сетями AWS, мониторингом, журналированием и производственной инфраструктурой
- Глубокие знания архитектуры безопасности AWS, включая IAM с минимально необходимыми привилегиями, KMS, TLS и шифрование, приватные сети VPC, Secrets Manager, Bedrock Guardrails, защиту от внедрения промптов, обнаружение и маскирование персональных данных, а также CloudTrail или CloudWatch
- Опыт проектирования систем GenAI для сред с регулируемыми требованиями или конфиденциальными данными
- Уверенное владение Python для разработки и устранения неполадок в производственных системах GenAI и конвейерах обработки данных
- Опыт подготовки записей архитектурных решений и технической архитектурной документации
- Умение представлять и защищать архитектурные решения перед клиентскими комиссиями по рассмотрению и старшими техническими специалистами
Преимущества
- Полная занятость
- Полностью удалённая работа
- Оплата $60,00–$90,00 в час