Beacon Venture Capital — корпоративный венчурный фонд Kasikornbank PLC, ведущего коммерческого банка Таиланда, полностью принадлежащий этой банковской группе. Фонд основан в 2016 году и стратегически инвестирует в технологические стартапы на ранних стадиях и этапах роста, уделяя основное внимание финтеху. Среди других инвестиционных направлений — потребительские lifestyle-бизнесы и глубокие технологические области, такие как искусственный интеллект и корпоративные ИТ-системы. Beacon Venture Capital начал работу с капиталом в размере 30 миллионов долларов США, а к 2018 году увеличил его до 135 миллионов долларов США.
Ведущий инженер облачной инфраструктуры — гибридная работа в Сан-Карлосе
Создавайте безопасную и масштабируемую инфраструктуру AWS для платформ LLM, RAG и машинного обучения. Поддерживайте технологии авиационной безопасности с помощью облачных операций, конвейеров данных и разработки ML-платформ.
Описание
- Проектировать, разворачивать и поддерживать среды AWS с помощью инструментов инфраструктуры как кода, таких как AWS CDK и Terraform.
- Разрабатывать процессы CI/CD и тестирование приложений, инфраструктуры и ML-конвейеров с использованием GitHub Actions, CodeBuild и CodePipeline.
- Обеспечивать безопасную облачную сетевую инфраструктуру с использованием VPC, PrivateLink и конечных точек VPC.
- Администрировать IAM, KMS, Secrets Manager и средства аудиторского журналирования.
- Разворачивать и эксплуатировать конечные точки моделей с помощью AWS Bedrock и/или SageMaker.
- Оценивать ECS, EKS, Lambda и Batch для рабочих нагрузок вывода.
- Создавать сервисы приложений, обращающиеся к LLM через надежные API с поддержкой потоковой передачи, пакетной обработки и экспоненциальной задержки.
- Разрабатывать процессы работы с промптами и выполнения инструментов с LangChain или сопоставимыми фреймворками, включая агентов и вызов функций.
- Создавать конвейеры разбиения на фрагменты и построения эмбеддингов и координировать их с помощью Step Functions или Airflow.
- Эксплуатировать платформы векторного поиска, включая OpenSearch Serverless, Aurora PostgreSQL с pgvector и Pinecone.
- Поддерживать базы знаний и синхронизацию данных между S3, Aurora, DynamoDB и внешними системами.
- Разрабатывать средства оценки для промптов, ретриверов и цепочек.
- Внедрять наблюдаемость приложений и моделей с помощью CloudWatch и OpenTelemetry.
- Создавать панели мониторинга потребления токенов и облачных расходов с бюджетами и оповещениями.
- Внедрять защитные механизмы, ограничение частоты запросов, обработку отказов и маршрутизацию между провайдерами.
- Добавлять обнаружение и редактирование персональных данных, контроль доступа, фильтрацию контента и процессы проверки человеком.
- Поддерживать аудиторские следы для регулируемых операционных сред.
- Разрабатывать процессы приема и обработки структурированных, неструктурированных и мультимедийных данных.
- Защищать целостность данных, их происхождение и каталогизацию с помощью Glue и Lake Formation.
- Совершенствовать массовую передачу и хранение данных в S3, Glacier и многоуровневых хранилищах.
- Использовать Athena для нерегулярного анализа данных.
- Управлять инфраструктурой, разворачиваемой на периферийных устройствах и взаимодействующей с ними.
- Поддерживать безопасный обмен сообщениями, управление идентификацией и обновления по воздуху.
- Работать с продуктовыми и прикладными командами над встраиванием сервисов поиска, эмбеддингов и цепочек LLM в пользовательские функции.
- Оказывать экспертную помощь в устранении неполадок облачных сервисов и сервисов машинного обучения.
- Повышать качество поиска, эффективность контекстного окна и эффективность кэширования с помощью Redis или Bedrock Knowledge Bases.
- Оптимизировать вывод моделей посредством выбора моделей, квантования, подбора размеров GPU- и CPU-инстансов и автоматического масштабирования.
Требования
- Не менее трех лет профессионального опыта или соответствующая степень магистра.
- Практический опыт создания и управления конвейерами данных.
- Опыт проектирования, развертывания и поддержки облачной инфраструктуры с помощью инструментов инфраструктуры как кода, таких как AWS CDK.
- Опыт создания надежных систем CI/CD и автоматизированного тестирования.
- Опыт вывода в эксплуатацию или поддержки приложений на основе LLM в производственной среде.
- Знание архитектуры RAG, версионирования промптов и оркестрации цепочек с использованием LangChain или аналогичного фреймворка.
- Уверенное владение сервисами AWS, включая VPC, IAM, KMS, CloudWatch, S3, ECS/EKS, Lambda, Step Functions, Bedrock и SageMaker.
- Опыт разработки конвейеров приема и преобразования данных на Python.
- Знание Glue, Athena, EventBridge и SQS.
- Знание принципов минимальных привилегий, управления секретами, сетевой изоляции и практик соответствия требованиям.
- Опыт количественной оценки, A/B-тестирования и работы с производственными метриками.
- Четыре или более лет работы с бессерверными или контейнерными платформами AWS будут преимуществом.
- Опыт эксплуатации векторных баз данных, OpenSearch или pgvector в больших масштабах будет преимуществом.
- Знание Bedrock Guardrails, Knowledge Bases или собственных механизмов политик будет преимуществом.
- Знание GPU-нагрузок, Triton Inference Server или TensorRT-LLM будет преимуществом.
- Опыт работы с технологиями обработки больших данных для крупномасштабной обработки и поиска будет преимуществом.
- Опыт работы с авиационными данными или в другой отрасли, критичной для безопасности, будет преимуществом.
- Опыт DevOps или DevSecOps с автоматизацией CI/CD для ML и прикладных сервисов будет преимуществом.
- Необходимо иметь статус U.S. Person и законное разрешение на работу в США; визовое спонсорство и переводы недоступны.
- Необходимо работать в США, находиться в районе залива Сан-Франциско или быть готовым туда переехать, а также работать в офисе в Сан-Карлосе, штат Калифорния, не менее трех дней в неделю.
- льготы
- Предоставляется доля в капитале компании.
- Компания покрывает 100% медицинских страховых взносов сотрудника.
- Компания покрывает 25% медицинских страховых взносов иждивенцев.
Преимущества
- Предоставляется доля в капитале компании.
- Компания покрывает 100% медицинских страховых взносов сотрудника.
- Компания покрывает 25% медицинских страховых взносов иждивенцев.
- Предоставляются три недели оплачиваемого отпуска.
- Предоставляется не менее 13 оплачиваемых корпоративных праздников.
- Предлагается план 401(k).
- Предусмотрен гибридный график с удаленной работой в остальные дни.