关于
欢迎来到我的学术网站，这里会更新一些我在科研方向的项目进展。
注意: 中文翻译尚不完善
2023 & beyond | I am actively seeking PhD advisors for 2023
2021 - now | 今年九月我将进入
加州大学圣地亚哥分校攻读计算机科学&工程专业硕士项目。
2020 - 2021 | 由于新冠疫情以及签证延迟，我将硕士项目推迟至了2021年秋入学，并且在
字节跳动AI Lab实习。实习期间从事机器学习编译器的开发，和自动并行系统的研究。
2019 - 2020 | 2019年暑假开始的一年，我在
阿里巴巴机器学习平台PAI做研究型实习生。实习期内主要从事机器学习分布式训练系统方向的研究，目标是做出自动并行和分布式训练的系统。
2016 - 2019 | 我的本科就读于
威斯康辛大学麦迪逊分校，计算机科学和数学双专业。2019年5月，我于大三下学期毕业，两个专业GPA均高于3.91。
兴趣爱好
- 编译器
- 编程语言设计
- 可微分编程
- 机器学习 (系统方向)
- 去中心化网络
- 上述方向的任何交集
教育经历
-
计算机科学硕士, 2021-
加州大学圣地亚哥分校
-
计算机科学学士, 2016-2019
威斯康辛大学麦迪逊分校
-
数学专业学士, 2016-2019
威斯康辛大学麦迪逊分校
经历
Research Intern
IR层自动并行
- 设计 & 规划了基于EIR的自动并行算法和系统
- 支持从TensorFlow，PyTorch和JAX导入模型
- 最优并行策略自动搜索 [WIP]
大模型训练
- 基于DAPPLE和DeepSpeed实现了3D混合并行框架用于训练超大模型
- 有能力训练超大GPT-175B模型，且训练速度显著优于目前的公开方案
- 该框架已在集团Arnold平台和火山引擎落地
Research Intern
DAPPLE
- 设计 & 实现了一个搜索最优数据+流水线并行的动态规划算法
- 合作在TensorFlow上实现了DAPPLE运行时
- 论文已在PPoPP'21会议上发表
Auto-MAP
- 使用深度强化学习DQN搜索混合并行最优解
- 实现了基于XLA HLO IR层的自动混合并行
- 论文预印版已经发表在arXiv
XLA自动并行
- 设计 & 实现了基于树形DP+启发式剪枝的自动并行算法
- 在XLA上落地，实现用户单卡模型自动最优分布式训练
UW-Madison Dyninst Project
AArch64二进制分析、追踪和重写
- 实现Dyninst用于静态二进制改写的arm64代码生成
- 实现Dyninst在arm64下的Dynamic Instrumentation
近期论文
Quickly discover relevant content by filtering publications.
报告
课程报告和其他草稿
WARNING: 这些是来自我过去上过的一些课程中的项目报告，通常在行文风格和创新性上相对于我的其他会议论文来说，质量会显著更低。