训练数据40
2.4.2实现一个高斯过程类42
2.4.3使用高斯过程进行预测44
2.4.4高斯过程的预测可视化45
2.4.5超越一维目标函数48
2.5练习题51
2.6本章小结52
第3章通过均值和协方差函数定制高斯过程53
3.1贝叶斯模型中先验的重要性54
3.2将已知的信息融入高斯过程57
3.3使用均值函数定义函数行为58
3.3.1使用零均值函数作为基本策略59
3.3.2使用常数函数和梯度下降法61
3.3.3使用线性函数和梯度下降法65
3.3.4通过实现自定义均值函数来使用二次函数67
3.4用协方差函数定义变异性和平滑性70
3.4.1协方差函数的尺度设置70
3.4.2使用不同的协方差函数控制平滑度73
3.4.3使用多个长度尺度来模拟不同水平的变异性76
3.5练习题79
3.6本章小结80
第Ⅱ部分使用贝叶斯优化进行决策
第4章通过基于改进的策略优化最佳结果85
4.1在贝叶斯优化中探索搜索空间86
4.1.1贝叶斯优化循环与策略87
4.1.2平衡探索与利用96
4.2在贝叶斯优化中寻找改进98
4.2.1使用高斯过程衡量改进99
4.2.2计算改进的概率101
4.2.3实施PoI策略106
4.3优化期望改进值109
4.4练习题112
4.4.1练习题1：使用PoI鼓励探索112
4.4.2练习题2：使用BayesOpt进行超参数调优112
4.5本章小结114
第5章使用类似多臂老虎机的策略探索搜索空间117
5.1多臂老虎机问题简介118
5.1.1在游乐场寻找最佳老虎机118
5.1.2从多臂老虎机到贝叶斯优化121
5.2在不确定性下保持乐观：上置信界策略122
5.2.1不确定性下的乐观主义123
5.2.2平衡探索与利用125
5.2.3使用BoTorch实现127
5.3使用汤普森采样策略进行智能采样129
5.3.1用一个样本来代表未知量129
5.3.2在BoTorch中实现汤普森采样策略132
5.4练习题137
5.4.1练习题1：为UCB策略设置探索计划137
5.4.2练习题2：使用贝叶斯优化进行超参数调优138
5.5本章小结138
第6章使用基于熵的信息论策略141
6.1使用信息论衡量知识142
6.1.1使用熵来衡量不确定性142
6.1.2使用熵寻找遥控器144
6.1.3使用熵的二分搜索147
6.2贝叶斯优化中的熵搜索152
6.2.1使用信息论寻找最优解152
6.2.2使用BoTorch实现熵搜索156
6.3练习题158
6.3.1练习题1：将先验知识融入熵搜索158
6.3.2练习题2：用于超参数调优的贝叶斯优化160
6.4本章小结161
第Ⅲ部分将贝叶斯优化扩展到特定设置
第7章使用批量优化最大化吞吐量165
7.1同时进行多个函数评估166
7.1.1并行利用所有可用资源166
7.1.2为什么不在批量设置中使用常规的贝叶斯优化策略168
7.2计算一批点的改进和上置信界170
7.2.1将优化启发式方法扩展到批量设置170
7.2.2实现批量改进和UCB策略176
7.3练习题1：通过重采样将TS扩展到批量设置183
7.4使用信息论计算一批点的值184
7.4.1通过循环求精找到最具信息量的批量点集184
7.4.2使用BoTorch实现批量熵搜索186
7.5练习题2：优化飞机设计189
7.6本章小结192
第8章通过约束优化满足额外的约束条件193
8.1在约束优化问题中考虑约束条件194
8.1.1约束条件对优化问题解的影响194
8.1.2约束感知的贝叶斯优化框架197
8.2贝叶斯优化中的约束感知决策198
8.3练习题1：手动计算约束EI203
8.4使用BoTorch实现约束EI204
8.5练习题2：飞机设计的约束优化208
8.6本章小结210
第9章通过多保真度优化平衡效用和成本211
9.1使用低保真度近似来研究成本高昂的现象212
9.2高斯过程的多保真度建模216
9.2.1格式化多保真度数据集216
9.2.2训练一个多保真度高斯过程220
9.3在多保真度优化中平衡信息和成本224
9.3.1建模不同保真度查询的成本225
9.3.2优化每一美元信息量以指导优化226
9.4在多保真度优化中衡量性能232
9.5练习题1：可视化多保真度优化中的平均性能236
9.6练习题2：使用多个低保真近似的多保真度优化238
9.7本章小结239
第10章通过成对比较进行偏好优化学习241
10.1使用成对比较的黑盒优化243
10.2制定偏好优化问题和格式化成对比较数据246
10.3训练基于偏好的GP250
10.4通过“山丘之王”游戏进行偏好优化254
10.5本章小结258
第11章同时优化多个目标259
11.1使用BayesOpt平衡多个优化目标260
11.2寻找最佳数据点的边界262
11.3优化最佳数据边界269
11.4练习题：飞机设计的多目标优化275
11.5本章小结275
第Ⅳ部分特殊高斯过程模型
第12章将高斯过程扩展到大数据集279
12.1在大型数据集上训练GP280
12.1.1设置学习任务281
12.1.2训练一个常规的GP284
12.1.3训练常规GP时面临的
问题286
12.2从大型数据集中自动
选择代表性点289
12.2.1缩小两个GP之间的差异289
12.2.2小批量训练模型291
12.2.3实现近似模型293
12.3通过考虑损失曲面的几何特性来实现更优的优化299
12.4练习题304
12.5本章小结306
第13章融合高斯过程与神经网络307
13.1包含结构的数据308
13.2在结构化数据中捕捉相似性311
13.2.1使用GPyTorch实现核函数311
13.2.2在PyTorch中处理图像312
13.2.3计算两幅图像的协方差313
13.2.4在图像数据上训练GP315
13.3使用神经网络处理复杂的结构化数据318
13.3.1为什么使用神经网络进行建模318
13.3.2在GPyTorch中实现组合模型320
13.4本章小结327
附录A练习题实现方案(在线提供)
