语音 AI 基础研究资深研究员
为 Deepgram 语音 AI 平台开发潜空间模型,推动神经音频编解码器、语音生成、多模态系统及面向硬件的高效推理。
描述
- 开发兼顾极低比特率与高保真重建的神经音频编解码器。
- 创建可控生成模型,以处理多样的人类语音,包括带情绪、多说话人、含噪声和重叠语音。
- 构建嵌入系统,将潜在表示拆分为说话人、内容、风格、环境和通道等维度。
- 重新组合潜在表示,以前所未有的规模生成合成音频数据。
- 训练多模态语音到语音系统,实现稳健理解并生成富有共情、自然如人的回应。
- 为裸机硬件设计模型架构、训练方法和推理算法。
- 支持在涵盖数十亿小时数据集上进行高性价比训练,并为数亿个并发对话提供实时推理。
- 开展受控实验、消融研究、评估、压力测试和边缘案例分析。
- 推进语音 AI、语音和语言建模领域的基础研究。
任职要求
- 扎实掌握数学和统计学习理论,尤其是自监督学习与多模态学习。
- 深入了解基础模型架构,以及跨多种模态扩展训练的方法。
- 能够推导新的数学公式并高效实现。
- 具备构建和整理大型数据集的实践能力,同时确保数据质量和多样性。
- 有设计受控实验以检验架构创新和理论见解的成功经验。
- 具备为现实应用部署模型的经验,包括应对硬件限制和采用效率优化方法。
- 曾通过开源贡献或研究发表推动语音或语言 AI 发展。
- 乐于使用并尝试先进的 AI 工具。
- 能够找出可快速验证或证伪想法的关键实验。
- 能够设想如何将成功的概念验证规模扩大 100 倍。
- 具备神经音频编解码器、生成模型、嵌入系统、潜在表示、多模态语音到语音系统、模型架构、训练方法、推理算法及面向硬件高效部署等方面的经验或知识。
福利待遇
- 远程工作安排。
- 以 AI 为先的工作环境,鼓励使用并尝试先进的 AI 工具。
- 有机会大规模开展变革性语音 AI 研究。
- 有机会参与开源项目并发表研究成果。
- 面试 AI 记录助手可能会录音;候选人可以拒绝录音,且不会影响求职资格。
