AI Infra 工程师

让模型训练和推理跑得更快更省：推理引擎、GPU 算子、分布式。

平时做什么

• 部署和优化推理服务
• 写和调优 GPU 算子
• 让多卡训练和推理跑得稳

学习路线：34 个技能

• 编程入门
• 微积分
• Linux
• Python
• 数据结构
• 线性代数
• Docker
• 计算机组成
• 概率统计
• 最优化
• NumPy
• C
• 计算机系统
• 计算机体系结构
• 机器学习
• 计算机网络
• 操作系统
• C++
• 深度学习
• Kubernetes
• 并发编程
• PyTorch
• 并行计算
• 监控与可观测
• 分布式系统
• Transformer
• 模型量化
• GPU 架构
• 从零实现 GPT
• CUDA
• vLLM 推理
• 推理服务运维
• 分布式推理
• 推理压测

加分项

• MLIR
• ONNX 部署
• 端侧推理
• SGLang
• 投机解码
• GPU 性能调优
• Triton 算子
• 集合通信
• TensorRT-LLM
• CUTLASS
• 注意力算子
• AI 编译器
• TVM

可以参考的开源项目

• vLLM
• llama.cpp
• Triton