下载次数:6
硬件50
3.2.2安装使用BERT模型必需的HuggingFacePyTorch接口50
3.2.3导入模块50
3.2.4指定Torch使用CUDA51
3.2.5加载数据集51
3.2.6创建句子、标注列表以及添加[CLS]和[SEP]词元53
3.2.7激活BERT词元分析器53
3.2.8处理数据54
3.2.9防止模型对填充词元进行注意力计算54
3.2.10将数据拆分为训练集和验证集54
3.2.11将所有数据转换为torch张量55
3.2.12选择批量大小并创建迭代器55
3.2.13BERT模型配置56
3.2.14加载HuggingFaceBERTuncasedbase模型57
3.2.15优化器分组参数59
3.2.16训练循环的超参数59
3.2.17训练循环60
3.2.18对训练进行评估61
3.2.19使用测试数据集进行预测和评估62
3.2.20使用马修斯相关系数进行评估63
3.2.21各批量的分数63
3.2.22整个数据集的马修斯评估64
3.3本章小结64
3.4练习题65
第4章从头开始预训练RoBERTa模型66
4.1训练词元分析器和预训练Transformer67
4.2从头开始构建KantaiBERT68
4.2.1步骤1:加载数据集68
4.2.2步骤2:安装HuggingFacetransformers库69
4.2.3步骤3:训练词元分析器70
4.2.4步骤4:将词元化结果保存到磁盘上72
4.2.5步骤5:加载预训练词元分析器文件73
4.2.6步骤6:检查训练用机器的配置:GPU和CUDA74
4.2.7步骤7:定义模型的配置75
4.2.8步骤8:为Transformer模型加载词元分析器75
4.2.9步骤9:从头开始初始化模型75
4.2.10步骤10:构建数据集79
4.2.11步骤11:定义数据整理器80
4.2.12步骤12:初始化训练器80
4.2.13步骤13:预训练模型81
4.2.14步骤14:将最终模型(+词元分析器+配置)保存到磁盘81
4.2.15步骤15:使用FillMask-Pipeline进行语言建模82
4.3后续步骤83
4.4本章小结83
4.5练习题84
第5章使用Transformer处理下游NLP任务85
5.1Transformer的转导与感知86
5.1.1人类智能栈86
5.1.2机器智能栈88
5.2Transformer性能与人类基准89
5.2.1评估模型性能的度量指标89
5.2.2基准任务和数据集90
5.2.3定义SuperGLUE基准任务94
5.3执行下游任务99
5.3.1语言学可接受性语料库(CoLA)99
5.3.2斯坦福情绪树库(SST-2)100
5.3.3Microsoft研究释义语料库(MRPC)101
5.3.4Winograd模式102
5.4本章小结102
5.5练习题103
第6章机器翻译104
6.1什么是机器翻译105
6.1.1人类转导和翻译105
6.1.2机器转导和翻译106
6.2对WMT数据集进行预处理106
6.2.1对原始数据进行预处理107
6.2.2完成剩余的预处理工作109
6.3用BLEU评估机器翻译112
6.3.1几何评估112
6.3.2平滑技术114
6.4Google翻译115
6.5使用Trax进行翻译116
6.5.1安装Trax116
6.5.2创建原始Transformer模型117
6.5.3使用预训练权重初始化模型117
6.5.4对句子词元化117
6.5.5从Transformer解码118
6.5.6对翻译结果去词元化并展示118
6.6本章小结119
6.7练习题119
第7章GPT-3120
7.1具有GPT-3Transformer模型的超人类NLP121
7.2OpenAIGPTTransformer模型的架构122
7.2.110亿参数Transformer模型的兴起122
7.2.2Transformer模型扩大的历史123
7.2.3从微调到零样本125
7.2.4解码器堆叠126
7.2.5GPT引擎127
7.3使用GPT-2进行文本补全127
7.4训练自定义GPT-2语言模型129
7.5使用OpenAIGPT-3131
7.5.1在线运行NLP任务131
7.5.2GPT-3引擎入门133
7.6比较GPT-2和GPT-3的输出138
7.7微调GPT-3139
7.7.1准备数据139
7.7.2微调GPT-3140
7.8工业4.0AI专家所需的技能141
7.9本章小结142
7.10练习题143
第8章文本摘要(以法律和财务文档为例)144
8.1文本到文本模型145
8.1.1文本到文本Transformer模型的兴起145
8.1.2使用前缀而不是任务格式146
8.1.3T5模型147
8.2使用T5进行文本摘要149
8.2.1HuggingFace149
8.2.2初始化T5-large模型150
8.2.3使用T5-large进行文本摘要153
8.3使用GPT-3进行文本摘要158
8.4本章小结159
8.5练习题160
第9章数据集预处理和词元分析器161
9.1对数据集进行预处理和词元分析器162
9.1.1最佳实践162
9.1.2Word2Vec词元化165
9.2深入探讨场景4和场景5174
9.2.1使用GPT-2生成无条件样本174
9.2.2生成条件样本176
9.2.3控制词元化数据177
9.3GPT-3的NLU能力180
9.4本章小结181
9.5练习题181
第10章基于BERT的语义角色标注183
10.1SRL入门184
10.1.1语义角色标注的定义184
10.1.2使用基于BERT的预训练模型进行SRL185
10.2基于BERT模型的SRL
实验186
10.3基本示例187
10.3.1示例1187
10.3.2示例2189
10.3.3示例3191
10.4复杂示例193
10.4.1示例4193
10.4.2示例5195
10.4.3示例6196
10.5SRL的能力范围197
10.5.1谓语分析的局限性198
10.5.2SRL局限性的根本原因199
10.6本章小结200
10.7练习题201
第11章使用Transformer进行问答202
11.1方法论203
11.2方法0:试错法204
11.3方法1:NER206
11.4方法2:SRL211
11.4.1使用ELECTRA进行问答213
11.4.2项目管理约束214
11.4.3通过SRL查找问题215
11.5后续步骤219
11.5.1使用RoBERTa模型探索Haystack220
11.5.2使用GTP-3引擎探索问答221
11.6本章小结222
11.7练习题222
第12章情绪分析224
12.1入门:使用Transformer进行情绪分析225
12.2斯坦福情绪树库(SST)225
12.3通过情绪分析预测客户行为229
12.3.1使用DistilBERT进行情绪分析229
12.3.2使用HuggingFace的其他模型进行情绪分析231
12.4使用GPT-3进行情绪分析235
12.5工业4.0依然需要人类236
12.5.1使用SRL进行调查237
12.5.2使用HuggingFace进行调查238
12.5.3使用GPT-3playground进行调查240
12.6本章小结242
12.7练习题243
第13章使用Transformer分析假新闻244
13.1对假新闻的情绪反应245
13.2理性处理假新闻的方法250
13.2.1定义假新闻解决路线图251
13.2.2枪支管控辩论252
13.2.3美国前总统特朗普的推文260
13.3在我们继续之前262
13.4本章小结262
13.5练习题263
第14章可解释AI264
14.1使用BertViz可视化Transformer265
14.2LIT268
14.2.1PCA269
14.2.2运行LIT269
14.3使用字典学习可视化Transformer271
14.3.1Transformer因子271
14.3.2LIME272
14.3.3可视化界面273
14.4探索我们无法访问的模型276
14.5本章小结277
14.6练习题278
第15章从NLP到计算机视觉279
15.1选择模型和生态系统280
15.2Reformer281
15.3DeBERTa283
15.4Transformer视觉模型285
15.4.1ViT–VisionTransformer285
15.4.2CLIP289
15.4.3DALL-E294
15.5不断扩大的模型宇宙297
15.6本章小结298
15.7练习题299
第16章AI助理300
16.1提示工程301
16.1.1具有有意义上下文的非正式英语302
16.1.2转喻和多义303
16.1.3省略303
16.1.4模糊上下文304
16.1.5引入传感器305
16.1.6有传感器但没有可见上下文305
16.1.7没有上下文的正式英语会话306
16.1.8提示工程训练306
16.2Copilot307
16.3可以执行领域特定任务的GPT-3引擎309
16.3.1为ML算法提供嵌入309
16.3.2生成一系列操作指示315
16.3.3内容过滤器316
16.4基于Transformer的推荐系统317
16.4.1通用序列317
16.4.2使用MDP和RL生成的数据集模拟消费者行为319
16.5计算机视觉323
16.6数字人和元宇宙325
16.7本章小结326
16.8练习题326
第17章ChatGPT和GPT-4327
17.1超越人类NLP水平的Transformer模型:ChatGPT和GPT-4328
17.1.1如何充分理解本章328
17.1.2谁拥有AI生成内容的版权329
17.2ChatGPTAPI332
17.3使用ChatGPTPlus编写程序并添加注释334
17.3.1设计提示334
17.3.2使用ChatGPTPlus编写代码335
17.3.3ChatGPTPlus绘制输出结果336
17.4GPT-4API337
17.4.1示例1:使用GPT-4帮助解释如何编写代码337
17.4.2示例2:GPT-4创建一个函数来展示GregBrockman于2023年3月14日的GPT-4的YouTube演示338
17.4.3示例3:GPT-4创建一个用于展示WikiArt图像的应用程序338
17.4.4示例4:GPT-4创建一个用于展示IMDb评论的应用程序339
17.4.5示例5:GPT-4创建一个用于展示新闻源的应用程序340
17.4.6示例6:GPT-4创建一个k-means聚类(kmc)算法341
17.4.7示例7:GPT-4关于GPT-4和GPT模型架构的对话341
17.5高级示例342
17.5.1步骤1:为ChatGPT和GPT-4构建知识库343
17.5.2步骤2:添加关键词和解析用户请求343
17.5.3步骤3:构建引导ChatGPT的提示344
17.5.4步骤4:内容审核和质量控制344
17.6可解释AI(XAI)和Whisper语音模型345
17.7使用DALL-E2API入门349
17.7.1创建新图像349
17.7.2创建图像的变体350
17.8将所有内容整合在一起351
17.9本章小结352
17.10练习题353
——以下资源可扫描封底二维码下载——
附录ATransformer模型术语354
附录BTransformer模型的硬件约束356
附录C使用GPT-2进行文本补全362
附录D使用自定义数据集训练GPT-2模型371
附录E练习题答案380
参考资料392