现在在好未来公司从事大模型推理优化,高性能计算工作。
硕士与本科分别毕业于华中师范大学与华北理工大学。
- 熟悉 Linux 操作系统以及 C/C++ 和 Python 语言,能够进行高效的编程和项目开发。
- 熟悉 CUDA 与 Triton,可编写常见的深度学习算子,并掌握基本的算子优化策略。
- 熟悉 TensorRT、RKNN 等推理框架,能够编写自定义算子,了解 Jetson 与 RK3588 平台模型部署全流程。
- 了解 GPU 基本架构,可结合相应的推理框架按需求修改模型网络结构并进行部署推理。
- 了解常见分布式并行技术,以及 PD 分离、Flash Attention、Paged Attention 等大模型加速手段。
- 了解 vLLM、SGLang 等大模型推理框架,熟悉 DeepSeek、LLaMA 模型结构。
在多个平台分享 AI 相关内容。
2023.09 - 2026.06
推理框架适配、算子替换、端到端性能分析。
持续沉淀 AI 技术文章,也分享更轻量的 AI 内容。
Technical Writing
AI 技术分享
AI Content