Sciforium
Sciforium
A Sciforium é uma empresa de infraestrutura de inteligência artificial que desenvolve ferramentas serverless para aplicações multimodais em produção. Sua API unificada e compatível com a OpenAI oferece às equipes acesso a serviços de texto, imagem, vídeo e áudio, além de hospedagem de modelos, uma biblioteca de modelos, pipelines de avaliação em tempo real e implantações gerenciadas de agentes. A Sciforium opera hardware de GPU AMD verticalmente integrado, com foco em ajudar as equipes a desenvolver, avaliar e implantar sistemas de IA com desempenho previsível, custos mais baixos e maior privacidade.

Engenheiro(a) de dados para modelos fundamentais

Crie conjuntos de dados em escala de petabytes para o pré-treinamento e o pós-treinamento dos modelos multimodais de IA da Sciforium. Desenvolva pipelines de dados de alto desempenho para treinar modelos de linguagem, visão e vídeo.

Descrição

  • Crie conjuntos de dados de pré-treinamento para grandes modelos de linguagem de ponta a ponta.
  • Selecione e balanceie dados da web, código, livros e artigos técnicos para melhorar o desempenho posterior dos modelos.
  • Crie pipelines para limpar, deduplicar e extrair sinais de petabytes de dados não estruturados.
  • Lidere o desenvolvimento de conjuntos de dados de pós-treinamento, incluindo instruções para ajuste fino supervisionado, diálogos de múltiplos turnos e dados de preferência para RLHF/DPO.
  • Supervisione a aquisição e o processamento de dados de visão e vídeo.
  • Escreva scripts de processamento de dados em Python de alto desempenho, com multiprocessamento e multithreading.
  • Analise estatisticamente os corpora de treinamento para identificar vieses, lacunas de conhecimento e regressões de qualidade.
  • Crie pipelines de dados sintéticos para preencher lacunas em conjuntos de dados coletados naturalmente.
  • Enfrente desafios de alinhamento multimodal, compressão de vídeo e consistência temporal.

Requisitos

  • Pelo menos cinco anos de experiência profissional em ciência de dados ou aprendizado de máquina.
  • Experiência comprovada na criação e gestão de conjuntos de dados para modelos fundamentais.
  • Conhecimento avançado de Python, incluindo multiprocessamento, multithreading e gerenciamento eficiente de memória.
  • Experiência trabalhando com conjuntos de dados em escala de petabytes para grandes modelos de linguagem ou visão em produção.
  • Experiência na criação, do zero, de grandes conjuntos de dados de treinamento para LLMs, usando rastreamentos brutos da web e dados especializados de domínios específicos.
  • Experiência prática na criação de conjuntos de dados para RLHF, DPO e seguimento de instruções em múltiplos turnos.
  • Experiência na gestão de fluxos de trabalho de rotulagem humana e conjuntos de dados de referência de alta qualidade.
  • Domínio de Spark, Ray, WebDataset, Parquet ou frameworks e formatos comparáveis para dados em grande escala.
  • Experiência na criação, do zero, de grandes conjuntos de dados de imagens ou vídeos é um diferencial.
  • Familiaridade com rastreamento multimodal, processamento de vídeo, codecs e compressão é um diferencial.
  • Experiência no projeto de esquemas complexos de rotulagem para benchmarks de raciocínio, programação e matemática é um diferencial.
  • Mestrado ou doutorado em uma área quantitativa com foco em IA centrada em dados ou recuperação de informação é um diferencial.
  • Autorização legal para trabalhar nos Estados Unidos.

Benefícios

  • Cobertura médica, odontológica e oftalmológica.
  • Plano 401(k).
  • Almoço, lanches e bebidas todos os dias.
  • Flexibilidade para tirar folgas.
  • Remuneração competitiva.
  • Participação acionária.

Vagas relacionadas

Cardinal Health

Gerente de Engenharia de Dados na Cardinal Health

Cardinal Health

Lidere equipes de transformação de dados corporativos na Cardinal Health, supervisionando plataformas do Google Cloud e operações de analytics e IA/ML. Oriente entregas, melhorias de plataforma e desenvolvimento de talentos.

Abrir
Verana Health

Engenheiro(a) sênior/staff de backend, plataforma e ingestão de dados

Verana Health

Desenvolva e escale a ingestão de dados clínicos, OCR, OpenSearch e serviços da plataforma de oncologia na Verana Health. Crie APIs, pipelines ETL e microsserviços que viabilizam insights sobre a saúde no mundo real.

Abrir
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Gerente sênior de engenharia de plataforma de dados

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1.000 Funcionários
B2BFinançasSeguros

Lidere a plataforma de dados corporativa, a equipe de engenharia e as operações de uma seguradora em Azure, SQL, NoSQL e analytics. A função abrange confiabilidade, automação, conformidade e estratégia de plataforma.

Abrir
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Gerente sênior de engenharia de plataformas de dados

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1.000 Funcionários
B2BFinançasSeguros

Lidere a equipe de engenharia de plataformas de dados que dá suporte às operações de seguros da Berkshire Hathaway Homestate Companies. A função abrange plataformas de banco de dados e analytics, infraestrutura em nuvem, automação, confiabilidade e gestão de pessoas.

Abrir