A Snorkel AI desenvolve soluções especializadas de dados para equipes de aprendizado de máquina. Sua plataforma Expert Data-as-a-Service ajuda organizações a criar e avaliar conjuntos de dados de treinamento de alta qualidade, apoiando o desenvolvimento mais rápido de modelos e aplicações de IA mais confiáveis. Fundada em 2019 a partir de pesquisas da Universidade Stanford, a empresa trabalha com organizações dos setores de consultoria, saúde e logística para avançar sistemas de IA práticos.
Engenheiro(a) sênior de software de IA e aprendizado de máquina na Snorkel AI (híbrido)
Engenheiro(a) sênior ou staff de aprendizado de máquina que aprimora a avaliação de agentes, o roteamento de modelos e os sistemas de modelos ajustados. Desenvolve uma infraestrutura rigorosa de dados de IA para os clientes empresariais da Snorkel AI.
Descrição
- Aprimorar a velocidade, o custo e o rigor da geração e avaliação de dados de IA de ponta por meio de ML e IA
- Investigar como dados de nível avançado são produzidos e avaliados
- Desenvolver hipóteses e testá-las com dados reais de produção
- Escalar abordagens que demonstrem resultados sólidos
- Reduzir os custos de avaliação de agentes de longo horizonte por meio de amostragem adaptativa, parada antecipada fundamentada estatisticamente, cascatas de modelos, armazenamento em cache e priorização de opções de baixo custo
- Direcionar solicitações de avaliação e de juízes para o modelo de menor custo que atenda aos padrões de qualidade, com alternativas de fallback, monitoramento e atribuição de custos
- Ajustar e implantar modelos de pesos abertos com LoRA e outras técnicas eficientes em parâmetros
- Desenvolver modelos que prevejam a dificuldade das tarefas para sistemas de ponta antes do lançamento
- Criar conjuntos de dados de referência e medir a precisão e a calibração de sistemas de LLM como juiz
- Transformar protótipos de pesquisa em componentes reutilizáveis e configuráveis para engenheiros e pesquisadores de produção
- Ajudar a definir padrões de engenharia de ML, orientar a direção da disciplina e apoiar a equipe em expansão
Requisitos
- Pelo menos cinco anos de experiência na criação de sistemas de aprendizado de máquina ou software para produção, com responsabilidade do protótipo à produção
- Experiência prática operando cargas de trabalho de LLM ou ML em produção
- Capacidade de raciocinar com eficácia sobre sistemas não determinísticos
- Base sólida em estatística e experimentação, incluindo desenho experimental, testes de hipóteses, amostragem e intervalos de confiança
- Conhecimentos avançados de Python e engenharia de software, abrangendo testes, revisão de código e desenho de sistemas
- Experiência na criação de avaliações e na interpretação rigorosa de seus resultados
- Identificação proativa de problemas de alto impacto antes de serem formalmente atribuídos
- Comunicação clara entre equipes de pesquisa, engenharia e negócios
Benefícios
- Oportunidades significativas de influenciar prioridades e iniciativas
- Participação em decisões estratégicas importantes
- Contribuição direta para o sucesso contínuo da Snorkel AI
- Oportunidades de ampliar a profundidade técnica
- Oportunidades de liderança
- Possibilidades de desenvolver habilidades em várias funções
- Apoio ao desenvolvimento de carreira em um ambiente orientado ao crescimento, com foco no aprendizado e no sucesso compartilhado
- Adaptações razoáveis para candidatos e funcionários com deficiência durante os processos de candidatura e entrevista, o desempenho profissional e o acesso a benefícios e privilégios empregatícios