关于CS285

用一下csdiy.wiki的模板（

本部分的笔记将直接略过第一讲（课程基本信息和强化学习介绍）

课程视频来自2021年秋季学期，作业内容和演示文稿为2022年秋季学期

本人将力所能及地做一点课程作业，笔记发在这个目录下面，写完的代码放在yliu-fe/homework_fall2022仓库中

课程简介

• 所属大学：University of California, Berkeley（UCB）
• 讲授人：Sergey Levine
• 先修要求：UCB CS188, CS189（声称）

需要比较广泛的基本功

1. 该课程假定学习者具有一定程度的机器学习基础；
2. 并了解基本的强化学习模型，如多臂赌博机（Multi-armed Bandit）、马尔可夫决策过程（MDP）；
3. 机器学习、强化学习和该课程重点讨论的深度强化学习均要求较高的凸优化功底；
4. 考虑到前三点，请回头复习概率论和线性代数。

• 编程语言：Python
• 课程难度：🌟🌟🌟🌟
• 预计学时：80-100hrs

课程资源

• 课程网站：CS 285
• 课程视频：Deep Reinforcement Learning: CS 285 Fall 2021 (UC Berkeley)
• 课程教材：请参照CS 285 Resources，课程主页公布的演示文稿是最主要的参考内容
• 课程作业：berkeleydeeprlcourse/homework_fall2022: Assignments for Berkeley CS 285: Deep Reinforcement Learning (Fall 2022)

外部资源

• 本课的野生笔记，基于Fall18/19/20构建：harryzhangOG/Deep-RL-Notes: A collection of comprehensive notes on Deep Reinforcement Learning, customized for UC Berkeley's CS 285 (prev. CS 294-112) 开源的是LaTeX代码，可以从Github上下载zip文件然后整体上传到Overleaf上编译并下载pdf。
• 先修的先修：吴恩达的《机器学习》Supervised Machine Learning: Regression and Classification
• 先修课程CS188：CS 188 Spring 2023 | Introduction to Artificial Intelligence at UC Berkeley，主要参照其中关于马尔可夫决策过程（MDP）、强化学习（RL）、隐马尔可夫过程（HMM）的内容。
• 先修课程CS189：CS 189/289A，机器学习方法。
• CS189的同级课程：Stanford CS229: Machine Learning，吴恩达曾经主讲的一门机器学习理论课程，作业不对外开放。现在的主讲为Tengyu Ma和Chris Re.
• 同级课程：Stanford CS234: Reinforcement Learning Winter 2022，DRL讲得比较浅，但贵在全面，我会在这个板块下面把作业写了。