AI研究工程师——内核与推理优化，欧洲远程
优化GPU内核、模型服务和推理系统，为Tether区块链驱动的数字金融平台提供支持。提升移动端和边缘设备上的延迟、吞吐量与内存效率。
描述
- 设计并部署模型服务架构，最大化吞吐量、降低延迟并高效利用内存。
- 提升资源受限设备和边缘平台上的推理性能。
- 设定延迟、令牌响应时间和内存占用方面的性能目标。
- 在模拟环境和生产环境中构建、执行并监控受控推理测试。
- 监控延迟、吞吐量、内存使用率和错误率等性能指标。
- 记录迭代结果，并与既定的跨平台基准进行比较。
- 针对低资源部署条件开发测试数据集和模拟场景。
- 评估计算效率，识别服务流水线中的瓶颈。
- 优化批处理、网络延迟、内存使用、可扩展性和可靠性。
- 与跨职能团队合作，将优化后的服务和推理框架集成到生产级边缘及端侧流水线中。
- 建立成功指标，持续监控性能并迭代完善解决方案。
任职要求
- 计算机科学或相关专业学位。
- 拥有自然语言处理、机器学习或相关领域的博士学位者优先。
- 具备AI研究与开发经验，并在A*级会议发表过高水平论文。
- 熟悉Metal着色语言（MSL）。
- 能够从零开始创建自定义计算着色器。
- 具备在移动设备上优化底层内核和推理的经验。
- 有证据表明曾针对特定领域应用改善推理延迟、吞吐量和内存占用。
- 深入理解现代模型服务架构和推理优化方法。
- 具有为智能手机及其他移动设备编写GPU内核的丰富经验。
- 深入掌握模型服务框架和推理引擎。
- 具有在资源受限设备上开发和部署端到端推理流水线的实践经验。
- 能够将实证研究应用于涉及延迟、计算瓶颈和内存限制的服务挑战。
- 熟练设计评估框架并迭代优化方案。
- 具备分布式推理系统经验，包括张量并行、流水线并行和专家并行。
- 深入理解扩散模型和视觉Transformer的数学原理与架构。
- 了解剪枝、量化、Flash Attention、KV缓存和使用Eagle进行推测解码。
福利待遇
- 可在世界任何地方远程工作。
- 与国际团队协作。
- 参与金融科技、区块链、人工智能和数字金融产品的建设。