Job description
AI infra工程师北京技术 - 算法硕士及以上小满星AGI顶尖人才专项职位描述1、利用算子优化,显存/KV cache管理优化、分布式加速等技术开发和改进推理框架;
2、参与高并发场景下大模型推理的性能分析与优化工作,定位系统瓶颈并提出改进方案;
3、探索低资源下的大模型轻量化方案:量化、投机采样、sparse attention等技术;
4、与团队协作,推动优化技术在业务中的应用。职位要求1、计算机、人工智能、软件工程等相关专业硕士及以上;
2、熟悉大模型推理优化方法,对主流开源推理框架tensorRT_llm、vllm、sglang 有开发经验者优先;
3、精通 Python/C++ 编程,具有 CUDA 开发及 GPU 调优经验者优先;
4、有顶会论文、竞赛获奖或相关实习经验者优先;
5、有infra相关实习经验者优先。职位信息部门: 智能技术发展部投递温馨提示:投递顺序代表志愿顺序,请同学谨慎选择投递
