决策算法 pdf下载

适读人群 ：面向从事决策算法相关研究的读者，适合计算机科学、数学、统计学、电气工程、航空航天等各个领域
本书源于斯坦福大学的课程“不确定性状态下的决策”，主要介绍不确定状态下的决策算法，涵盖基本的数学问题和求解算法。本书主要关注规划和强化学习，其中一些技术涉及监督学习和优化。书中的算法是用Julia编程语言实现的，并配有大量图表、示例和练习题。

本书源于斯坦福大学的相关课程，主要介绍不确定状态下的决策算法，涵盖基本的数学问题和求解算法。本书共分为五个部分：首先解决在单个时间点上简单决策的不确定性和目标的推理问题；然后介绍随机环境中的序列决策问题；接着讨论模型不确定性，包括基于模型的方法和无模型的方法；之后讨论状态不确定性，包括jing确信念状态规划、离线信念状态规划、在线信念状态规划等；zui后讨论多智能体系统，涉及多智能体推理和协作智能体等。本书主要关注规划和强化学习，其中一些技术涉及监督学习和优化。书中的算法是用Julia编程语言实现的，并配有大量图表、示例和练习题。本书要求读者具备扎实的数学基础，适合计算机科学、数学、统计学、电气工程、航空航天等领域的读者阅读。

米凯尔·J. 科申德弗
（Mykel J. Kochenderfer）　
斯坦福大学航空航天系和计算机科学系副教授，智能系统实验室（SISL）主任。曾任职于麻省理工学院林肯实验室。目前主要研究用于设计鲁棒决策系统的算法和分析方法。他拥有爱丁堡大学博士学位。

蒂姆·A. 惠勒
（Tim A. Wheeler）　
软件工程师，主要从事自动驾驶、控制和决策系统方面的研发工作。他拥有斯坦福大学博士学位。

凯尔·H. 雷
（Kyle H. Wray）　
Robust AI 公司工程总监，曾任硅谷创新联盟实验室首席研究员，目前主要从事自主机器人的研发工作，致力于设计和实现机器人决策系统。他拥有马萨诸塞大学阿默斯特分校博士学位。

目录


Algorithms for Decision Making




译者序

前言

致谢


第1章导论1

11决策1

12应用2

121飞机防撞控制系统2

122自动驾驶控制系统2

123乳腺癌筛查2

124金融消费与投资组合配置3

125分布式森林火灾监控系统3

126火星科学探测3

13方法3

131显式编程4

132监督式学习4

133优化4

134规划4

135强化学习4

14自动化决策过程的历史4

141经济学5

142心理学6

143神经科学6

144计算机科学6

145工程7

146数学7

147运筹学8

15社会影响8

16本书组织结构9

161概率推理9

162序列问题9

163模型不确定性10

164状态不确定性10

165多智能体系统10

第一部分概率推理

第2章表示12

21信念度和概率12

22概率分布12

221离散概率分布13

222连续概率分布13

23联合分布16

231离散联合分布16

232连续联合分配19

24条件分布20

241离散条件模型21

242条件高斯模型21

243线性高斯模型22

244条件线性高斯模型22

245sigmoid模型22

246确定性变量22

25贝叶斯网络23

26条件独立性25

27本章小结26

28练习题27
第3章推理30

31贝叶斯网络中的推理30

32朴素贝叶斯模型中的推理33

33“和积”变量消除35

34信念传播36

35计算复杂度37

36直接抽样37

37似然加权抽样39

38吉布斯抽样41

39高斯模型中的推理43

310本章小结44

311练习题45
第4章参数学习49

41最大似然参数学习49

411类别分布的最大似然估计50

412高斯分布的最大似然估计50

413贝叶斯网络的最大似然估计51

42贝叶斯参数学习53

421二元分布的贝叶斯学习54

422类别分布的贝叶斯学习55

423贝叶斯网络的贝叶斯学习56

43非参数学习57

44缺失数据的学习58

441数据插值58

442期望最大化60

45本章小结62

46练习题62
第5章结构学习66

51贝叶斯网络评分66

52有向图搜索68

53马尔可夫等价类71

54部分有向图搜索72

55本章小结73

56练习题73
第6章简单决策75

61理性偏好上的约束75

62效用函数76

63效用诱导76

64最大期望效用原则78

65决策网络79

66信息价值81

67非理性82

68本章小结84

69练习题84

第二部分序列问题

第7章精确求解方法88

71马尔可夫决策过程88

72策略评估90

73值函数策略92

74策略迭代93

75值迭代94

76异步值迭代96

77线性规划方程98

78具有二次型奖励的线性系统99

79本章小结102

710练习题102
第8章近似值函数108

81参数化表示108

82最近邻109

83核平滑110

84线性插值112

85单纯形插值114

86线性回归116

87神经网络回归119

88本章小结119

89练习题120
第9章在线规划123

91滚动时域规划123

92基于预演的前瞻算法124

93正向搜索125

94分支定界法126

95稀疏抽样127

96蒙特卡罗树搜索128

97启发式搜索134

98标记启发式搜索136

99开环规划139

991确定性模型预测控制140

992鲁棒模型预测控制141

993多重预测模型预测控制142

910本章小结143

911练习题143
第10章策略搜索146

101近似策略评估146

102局部搜索147

前言


Algorithms for Decision Making

本书广泛而深入地介绍不确定性状态下的决策算法，涵盖与决策相关的各种主题，阐述解决相关问题所涉及的基本数学公式和算法。本书还提供各类图表以及大量的应用示例和练习题，以便向读者传达各种方法所隐含的直观思想。
本书面向高年级本科生、研究生以及专业人士，要求读者具有扎实的数学基础，并假设读者已经掌握了多变量微积分、线性代数和概率论等方面的相关概念和知识。附录中提供了相关的参考资料。本书适用于数学、统计学、计算机科学、航空航天、电气工程和运筹学等学科领域。
算法是本书的基础。本书使用Julia程序设计语言来实现书中的算法。Julia程序设计语言非常适合以人类可读的形式来描述算法。算法实现的设计重点是可解释性，而不是执行的效率。对于工业应用程序等，则可以使用替代的实现方案以提高效率。读者可以免费使用本书中提供的所有代码片段，但前提是必须明确指出代码的来源。
Mykel JKochenderfer
Tim AWheeler
Kyle HWray
加利福尼亚州斯坦福
2022年2月28日