发帖
雷达卡
David Silver 在 UCL 开的 Advanced Topics 课程（编号 COMPM050/COMPGI13）2015 年版的课件，作者一直挂在个人网站上，十讲的 PDF、Easy21 编程作业、旧试题与答案都能直接打开。整套材料标注 CC-BY-NC 4.0，其中部分来自第三方的插图不在该许可之内。
这十讲是强化学习最经典的入门路径之一，第 2 讲"马尔可夫决策过程"57 页，把 MDP 的骨架一次讲完：马尔可夫性、状态转移矩阵、回报与折扣、价值函数、Bellman 方程、最优价值与最优策略。
十讲的顺序
1 强化学习简介；2 马尔可夫决策过程；3 用动态规划做规划；4 无模型预测；5 无模型控制；6 价值函数近似；7 策略梯度方法；8 学习与规划的结合；9 探索与利用；10 案例：经典游戏中的强化学习。
这个顺序值得注意：它先把 MDP 与动态规划讲透，再进无模型方法，最后才到函数近似与策略梯度。跟着走，第 4 讲的时序差分与第 5 讲的 Sarsa、Q 学习才有落点；跳过第 3 讲直接看深度强化学习，很容易只记住名词。
第 2 讲的结构：四部分 57 页
| 部分 | 页码范围 | 讲什么 |
| 马尔可夫过程 | 第 3 至 9 页 | 马尔可夫性、状态转移矩阵、马尔可夫链、学生链例子 |
| 马尔可夫奖励过程 | 第 10 至 23 页 | 定义、回报、折扣因子、价值函数、Bellman 方程 |
| 马尔可夫决策过程 | 第 24 至 48 页 | 定义、策略、价值函数、Bellman 期望方程、最优价值函数、Bellman 最优方程 |
| MDP 的扩展 | 第 49 至 57 页 | 无限 MDP、部分可观测 MDP、平均奖励 MDP |
第 49 页的标题直接写了"（不考）"，也就是扩展这一节在当年的考试范围之外，但它对理解 POMDP 与平均奖励设定有用，读的时候知道优先级即可。
马尔可夫性：一句话定调
课件给的定义是"给定现在，未来与过去独立"，形式化写法是下一状态的条件概率只依赖当前状态；换句话说，状态是历史的充分统计量，状态确定之后历史就可以丢掉。
接着是状态转移矩阵：对状态 s 与后继状态 s′ 定义转移概率，把所有状态排成矩阵，每一行的和等于 1。马尔可夫过程（马尔可夫链）被定义成一个二元组，包含状态集合与转移矩阵。学生链那个例子用上课、睡觉、酒吧、通过考试几个状态，把转移图画出来，是后面所有计算的公共玩具。
加上奖励与折扣，就有了价值函数
马尔可夫奖励过程在链上加了奖励函数与折扣因子，于是可以定义回报：从当前时刻起，未来奖励的折扣累加。折扣因子决定了看多远，越接近 1 越看重长期。
有了回报就能定义价值函数，也就是从某个状态出发的期望回报。课件把价值函数写成矩阵形式，推导出 Bellman 方程，并用学生链演示如何解析求解：把方程写成线性系统，直接解出每个状态的价值。这一步是整讲的第一个关键跳跃，后面 MDP 的方程只是把它加上动作。
加上动作与策略，才是 MDP
MDP 在奖励过程之上加了动作集合与转移概率对动作的依赖。策略是给定状态下选动作的分布，可以是确定性的，也可以是随机的。
两个价值函数要分清：状态价值函数是遵循某策略时从状态出发的期望回报；动作价值函数是在状态先选某个动作、之后遵循策略的期望回报。课件随后给出两者的 Bellman 期望方程，用备份图（backup diagram）展示"当前价值等于即时奖励加后继价值"的递归关系。
再往前一步是最优价值函数：在所有策略里取最大的那个。课件证明存在一个最优策略同时最大化所有状态的价值，并给出 Bellman 最优方程。最优方程里有 max 运算，因此是非线性的，不能像 MRP 那样直接解线性系统，这也是后面要引入迭代法与动态规划的原因。
Easy21：60 分的作业，四段递进
作业是一份 4 页的说明，要求实现一个叫 Easy21 的纸牌游戏并在这上面做实验，总分 60 分，分五块：
| 部分 | 分值 | 要求 |
| 实现环境 | 10 | 写 step(s, a) 返回下一状态与奖励，不显式表示转移矩阵，无折扣 |
| 蒙特卡洛控制 | 15 | 价值函数初始化为 0，步长按 1/N(s, a) 递减，ε 按 N0/(N0+N(s)) 递减，N0 取 100，画出最优价值函数 |
| Sarsa(λ) | 15 | λ 取 0 到 1 步长 0.1，与上一部分同样的步长与探索计划，算均方误差并画误差随 λ 的曲线 |
| 线性函数近似 | 15 | 36 个二值特征（3×6× 2），常数 ε 取 0.05、步长 0.01，重复 Sarsa(λ) 实验 |
| 讨论 | 5 | 自举的利弊、函数近似的利弊、如何改进特征设计 |
几个设计细节值得抄下来：庄家首张牌与玩家点数和构成状态；庄家区间是 ［1,4］、［4,7］、［7,10］ 三段重叠，玩家区间是 ［1,6］、［4,9］、［7,12］、［10,15］、［13,18］、［16,21］ 六段重叠，两个动作合起来正好 36 个特征；提交要求一份含图与讨论的 PDF 加一个源码包，邮件主题写"RL2015 Assignment"。
旧试题与答案值得一起下
页面上还有历年试题与答案两份 PDF。强化学习的考试题往往就是把课件里的推导换成具体数字，比如给一个小型 MDP 让你写 Bellman 方程、算两轮价值迭代、判断策略是否最优。对着答案看一遍，比反复看课件更能发现自己哪一步没懂。
另外页面给了视频讲座的入口与课程讨论组的地址，视频与课件是配套的，第 2 讲 57 页大约对应一小时的讲授。
读这套材料要注意的几点
这是 2015 年的课程，深度学习与强化学习结合的部分在当年还没有现在这么细，第 10 讲的游戏案例以当时的成果为主，今天看会觉得旧；但 MDP、动态规划、时序差分这几讲的基本框架没有过时。
文件路径里带 2025 年的上传目录，那只是网站迁移时的时间戳，不代表有 2025 新版课程。许可写的是 CC-BY-NC 4.0，可以复制、改编、非商业使用，需署名；课件里部分插图来自第三方，不在该许可内，做课件或讲义时不能直接照搬。Easy21 的提交邮箱与截止日期是当年课程的信息，现在只能当练习自己跑。
────────────────
十讲课件与两份试题的直达地址、Easy21 说明原文要求、许可条款原文与引用格式，回复本帖即可见。
把经管之家装进你常用的 AI 智能体中 一键快捷安装经管之家 MCP／技能，让 AI 帮你查教程、找数据、读论坛帖子。 检索、阅读公开帖子不收费，安装可申请领取：3 通用积分＋100 论坛币＋3 元论坛资金 说明： AI 算力按所用平台规则计算；附件按原帖条件获取；福利领取条件以活动页面为准。 |
京公网安备 11010802022788号
