微软人工智能教育：https://github.com/microsoft/ai-edu
人工智能系统，主要讲解支持人工智能的计算机系统设计，对应的英文课程名称为 System for AI。本课程中将交替使用一下词汇：人工智能系统，AI-System 和 System for AI。
本课程为微软人工智能教育与共建社区中规划的人工智能相关教程之一，在A-基础教程模块下，课程编号和名称为 A6-人工智能系统。
基础课程
课程编号 |
讲义名称 |
备注 |
1 |
课程介绍 |
课程概述和系统/AI基础 |
2 |
人工智能系统概述 |
人工智能系统发展历史，神经网络基础，人工智能系统基础 |
3 |
深度神经网络计算框架基础 |
反向传播和自动求导，张量，有向无环图，执行图 论文和系统：PyTorch, TensorFlow |
4 |
矩阵运算与计算机体系结构 |
矩阵运算，CPU/SIMD, GPGPU, ASIC/TPU 论文和系统：Blas, TPU |
5 |
分布式训练算法 |
数据并行，模型并行，分布式SGD 论文和系统：PipeDream |
6 |
分布式训练系统 |
MPI, parameter servers, all-reduce, RDMA 论文和系统: Horovod |
7 |
异构计算集群调度与资源管理系统 |
集群上运行DNN任务：容器，资源分配，调度 论文和系统：Kubeflow, OpenPAI, Gandiva |
8 |
深度学习推导系统 |
效率，延迟，吞吐量，部署 论文和系统：TensorRT, TensorFlowLite, ONNX |
高阶课程
课程编号 |
讲义名称 |
备注 |
9 |
计算图的编译与优化 |
IR，子图模式匹配，矩阵乘和内存优化 论文和系统：XLA, MLIR, TVM, NNFusion |
10 |
神经网络的压缩与稀疏化优化 |
模型压缩，稀疏化，剪枝 |
11 |
自动机器学习系统 |
超参调优，神经网络结构搜索（NAS） 论文和系统：Hyperband, SMAC, ENAX, AutoKeras, NNI |
12 |
强化学习系统 |
RL理论，RL系统 论文和系统：AC3, RLlib, AlphaZero |
13 |
安全与隐私 |
联邦学习，安全，隐私 论文和系统：DeepFake |
14 |
利用人工智能来优化计算机系统问题 |
AI用于传统系统问题，AI用于系统算法 论文和系统：Learned Indexes, Learned query path |
微软人工智能教育：https://github.com/microsoft/ai-edu
github访问不方便
我们制作了国内镜像：http://www.gitpp.com/microsoft/ai-edu
