搜索职位:
-
职位描述
-
工作职责
1. 负责以 LLM / VLM 为核心的大模型算法研发与系统设计,围绕多模态理解、推理与生成能力建设,推动模型在智能体、工业与企业级应用等真实业务场景中的落地;
2. 主导多模态大模型的训练与对齐优化工作,包括预训练、指令微调(SFT)、偏好对齐(RLHF / DPO 等),持续提升模型在文本、图像、语音等多模态输入下的理解、推理、规划与可控生成能力;
3. 构建多模态能力栈,包括视觉理解(目标/区域定位、指代消解、OCR/图文结构化理解、状态识别),语言推理与工具使用(复杂指令解析、语义推理、约束理解、函数调用 / 工具调用、任务分解与多步推理),多模态生成(图文一致性、事实性与安全性约束、幻觉与错误执行风险降低);
4. 设计并实现多模态数据工程与训练流程,包括数据清洗、去重、过滤、标注与合成数据构建,支持离线/在线混合训练与持续迭代,重点解决跨模态语义一致性、长上下文建模与复杂任务鲁棒性问题;
5. 参与构建多模态RAG系统:基于文本与图像等多模态信息,构建跨模态 Embedding、检索与重排链路,结合图文知识库与业务规则,提升复杂与长尾问题覆盖能力,降低多模态场景下的模型幻觉风险,并参与评测与线上质量监控;
6. 优化大模型训练与推理效率:分布式训练(DeepSpeed / FSDP等)、显存与吞吐优化(FlashAttention、KV Cache等)、模型压缩(量化/剪枝/蒸馏)与推理加速(VLLM/ TensorRT / ONNX 等);
7. 推进大模型能力的工程化与服务化落地,负责推理服务部署、性能调优、稳定性保障及云边端协同方案设计;
8. 持续跟踪并验证 LLM / VLM 相关前沿技术进展,包括 Agent 工程化、多模态RAG / 知识增强、多模态推理与规划等方向,沉淀可复用的技术方案与组件,推动团队整体技术能力提升;
9. 与算法、系统、硬件团队协作完成技术方案集成与验证,支持线上稳定性与工程交付。
工作要求
1. 计算机、人工智能、自动化等相关专业硕士及以上学历,具备2年及以上 LLM / VLM 相关研发经验,有多模态大模型实际落地经验者优先;
2. 深入理解 LLM / VLM 的核心原理与训练范式,包括视觉语言建模、多模态对齐、指令微调(SFT)、偏好对齐(RLHF / DPO)以及复杂推理与规划方法;具备主流模型体系经验者优先,如 LLaMA系、Qwen系、GPT系等;
3. 熟练掌握 PyTorch 框架,深入理解 Transformer 架构,具备扎实的 Python / C++ 编程能力与模型优化经验;有Mindspore框架经验者优先;
4. 具备多模态理解、推理或生成相关的算法实践经验,如 OCR / 图文理解、多模态RAG、多模态指代消解、复杂指令解析、多步推理或 Agent 系统构建等;
5. 熟悉国产AI框架或算力平台(如华为昇腾 CANN / MindSpore等)者优先;
6. 有大模型分布式训练与推理加速经验者优先,包括量化(INT8 / AWQ / GPTQ 等)、剪枝、蒸馏,以及推理引擎(VLLM / TensorRT / ONNX)与线上稳定性优化经验;
7. 具备 VLA / 具身智能相关背景者优先:包括但不限于强化学习、模仿学习、机器人控制、轨迹规划等;有“语言/视觉 → 动作/策略”建模或相关探索经验者优先;
8. 在ACL、EMNLP、NeurIPS、ICRA、ICLR等顶会发表论文,具备知名开源项目贡献者优先。
-
企业介绍
- 国有上市公司,中国制造业 500 强,电子信息产业50 强。
-
工作地址
-
成都