资源详情

大模型应用解决方案 基于ChatGPT和GPT-4等Transformer架构的自然语言处理

大模型应用解决方案 基于ChatGPT和GPT-4等Transformer架构的自然语言处理-电子书下载


作者: [法]丹尼斯·罗斯曼(Denis Rothman)著 叶伟民 译
出版社: 清华大学出版社
副标题: 基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理
原作名: Transformers for Natural Language Processing: Build, Train, and Fine -tune Deep Neural Network Architectures for NLP with Python, Hugging Face, and OpenAl's GPT-3, ChatGPT, and GPT-4, Second Editon
译者: 叶伟民
出版年: 2024-1
页数: 376
定价: 99.8
装帧: 平装
ISBN: 9787302648727

下载次数:6


本站推荐

书籍资料

  • 内容简介
  • 作者介绍
  • 书籍目录

分享Transformer原理和大模型技术,针对不同企业环境,给出经典自然语言处理问题的解决方案。
Google 工程总监Antonio Gulli作序推荐!
Transformer正在颠覆AI领域。市面上有这么平台和Transformer模型,哪些最符合你的需求? 将引领你进入Transformer的世界,将讲述不同模型和平台的优势,指出如何消除模型的缺点和问题。本书将引导你使用Hugging Face从头开始预训练一个RoBERTa模型,包括构建数据集、定义数据整理器以及训练模型等。
本书分步展示如何微调GPT-3等预训练模型。研究机器翻译、语音转文本、文本转语音、问答等NLP任务,并介绍解决NLP难题的技术,甚至帮助你应对假新闻焦虑(详见第13章)。 从书中可了解到,诸如OpenAI的高级平台将Transformer扩展到语言领域、计算机视觉领域,并允许使用DALL-E 2、ChatGPT和GPT-4生成代码。通过本书,你将了解到Transformer的工作原理以及如何实施Transformer来决NLP问题。
主要内容
了解用于解决复杂语言问题的新技术
将GPT-3与T5、GPT-2和基于BERT的Transformer的结果进行对比
使用TensorFlow、PyTorch和GPT-3执行情感分析、文本摘要、非正式语言分析、机器翻译等任务
了解ViT和CLIP如何标注图像(包括模糊化),并使用DALL-E从文本生成图像
学习ChatGPT和GPT-4的高级提示工程机制

Denis Rothman 毕业于法国巴黎索邦大学和狄德罗大学,设计了首批获得专利的编码和嵌入系统,编写了首批获得专利的AI 认知机器人和机器人。他的职业生涯始于为Moët et Chandon 提供NLP(自然语言处理)聊天机器人,并为空中客车公司(前身为Aerospatiale)提供AI 战术防御优化器。此后,Denis 为IBM 和奢侈品牌开发了AI资源优化器,并最终发展为在全球范围内使用的APS(高级规划和调度)解决方案。

第1章Transformer模型介绍1
1.1Transformer的生态系统2
1.1.1工业4.02
1.1.2基础模型3
1.2使用Transformer优化NLP模型6
1.3我们应该使用哪些资源8
1.3.1Transformer4.0无缝API的崛起9
1.3.2选择即用型API驱动库11
1.3.3选择Transformer模型11
1.3.4工业4.0AI专家的技能要求12
1.4本章小结13
1.5练习题14
第2章Transformer模型架构入门15
2.1Transformer的崛起:注意力就是一切16
2.1.1编码器堆叠17
2.1.2解码器堆叠37
2.2训练和性能40
2.3HuggingFace的Transformer模型40
2.4本章小结41
2.5练习题42
第3章微调BERT模型43
3.1BERT的架构44
3.2微调BERT50
3.2.1选

硬件50
3.2.2安装使用BERT模型必需的HuggingFacePyTorch接口50
3.2.3导入模块50
3.2.4指定Torch使用CUDA51
3.2.5加载数据集51
3.2.6创建句子、标注列表以及添加[CLS]和[SEP]词元53
3.2.7激活BERT词元分析器53
3.2.8处理数据54
3.2.9防止模型对填充词元进行注意力计算54
3.2.10将数据拆分为训练集和验证集54
3.2.11将所有数据转换为torch张量55
3.2.12选择批量大小并创建迭代器55
3.2.13BERT模型配置56
3.2.14加载HuggingFaceBERTuncasedbase模型57
3.2.15优化器分组参数59
3.2.16训练循环的超参数59
3.2.17训练循环60
3.2.18对训练进行评估61
3.2.19使用测试数据集进行预测和评估62
3.2.20使用马修斯相关系数进行评估63
3.2.21各批量的分数63
3.2.22整个数据集的马修斯评估64
3.3本章小结64
3.4练习题65
第4章从头开始预训练RoBERTa模型66
4.1训练词元分析器和预训练Transformer67
4.2从头开始构建KantaiBERT68
4.2.1步骤1:加载数据集68
4.2.2步骤2:安装HuggingFacetransformers库69
4.2.3步骤3:训练词元分析器70
4.2.4步骤4:将词元化结果保存到磁盘上72
4.2.5步骤5:加载预训练词元分析器文件73
4.2.6步骤6:检查训练用机器的配置:GPU和CUDA74
4.2.7步骤7:定义模型的配置75
4.2.8步骤8:为Transformer模型加载词元分析器75
4.2.9步骤9:从头开始初始化模型75
4.2.10步骤10:构建数据集79
4.2.11步骤11:定义数据整理器80
4.2.12步骤12:初始化训练器80
4.2.13步骤13:预训练模型81
4.2.14步骤14:将最终模型(+词元分析器+配置)保存到磁盘81
4.2.15步骤15:使用FillMask-Pipeline进行语言建模82
4.3后续步骤83
4.4本章小结83
4.5练习题84
第5章使用Transformer处理下游NLP任务85
5.1Transformer的转导与感知86
5.1.1人类智能栈86
5.1.2机器智能栈88
5.2Transformer性能与人类基准89
5.2.1评估模型性能的度量指标89
5.2.2基准任务和数据集90
5.2.3定义SuperGLUE基准任务94
5.3执行下游任务99
5.3.1语言学可接受性语料库(CoLA)99
5.3.2斯坦福情绪树库(SST-2)100
5.3.3Microsoft研究释义语料库(MRPC)101
5.3.4Winograd模式102
5.4本章小结102
5.5练习题103
第6章机器翻译104
6.1什么是机器翻译105
6.1.1人类转导和翻译105
6.1.2机器转导和翻译106
6.2对WMT数据集进行预处理106
6.2.1对原始数据进行预处理107
6.2.2完成剩余的预处理工作109
6.3用BLEU评估机器翻译112
6.3.1几何评估112
6.3.2平滑技术114
6.4Google翻译115
6.5使用Trax进行翻译116
6.5.1安装Trax116
6.5.2创建原始Transformer模型117
6.5.3使用预训练权重初始化模型117
6.5.4对句子词元化117
6.5.5从Transformer解码118
6.5.6对翻译结果去词元化并展示118
6.6本章小结119
6.7练习题119
第7章GPT-3120
7.1具有GPT-3Transformer模型的超人类NLP121
7.2OpenAIGPTTransformer模型的架构122
7.2.110亿参数Transformer模型的兴起122
7.2.2Transformer模型扩大的历史123
7.2.3从微调到零样本125
7.2.4解码器堆叠126
7.2.5GPT引擎127
7.3使用GPT-2进行文本补全127
7.4训练自定义GPT-2语言模型129
7.5使用OpenAIGPT-3131
7.5.1在线运行NLP任务131
7.5.2GPT-3引擎入门133
7.6比较GPT-2和GPT-3的输出138
7.7微调GPT-3139
7.7.1准备数据139
7.7.2微调GPT-3140
7.8工业4.0AI专家所需的技能141
7.9本章小结142
7.10练习题143
第8章文本摘要(以法律和财务文档为例)144
8.1文本到文本模型145
8.1.1文本到文本Transformer模型的兴起145
8.1.2使用前缀而不是任务格式146
8.1.3T5模型147
8.2使用T5进行文本摘要149
8.2.1HuggingFace149
8.2.2初始化T5-large模型150
8.2.3使用T5-large进行文本摘要153
8.3使用GPT-3进行文本摘要158
8.4本章小结159
8.5练习题160
第9章数据集预处理和词元分析器161
9.1对数据集进行预处理和词元分析器162
9.1.1最佳实践162
9.1.2Word2Vec词元化165
9.2深入探讨场景4和场景5174
9.2.1使用GPT-2生成无条件样本174
9.2.2生成条件样本176
9.2.3控制词元化数据177
9.3GPT-3的NLU能力180
9.4本章小结181
9.5练习题181
第10章基于BERT的语义角色标注183
10.1SRL入门184
10.1.1语义角色标注的定义184
10.1.2使用基于BERT的预训练模型进行SRL185
10.2基于BERT模型的SRL
实验186
10.3基本示例187
10.3.1示例1187
10.3.2示例2189
10.3.3示例3191
10.4复杂示例193
10.4.1示例4193
10.4.2示例5195
10.4.3示例6196
10.5SRL的能力范围197
10.5.1谓语分析的局限性198
10.5.2SRL局限性的根本原因199
10.6本章小结200
10.7练习题201
第11章使用Transformer进行问答202
11.1方法论203
11.2方法0:试错法204
11.3方法1:NER206
11.4方法2:SRL211
11.4.1使用ELECTRA进行问答213
11.4.2项目管理约束214
11.4.3通过SRL查找问题215
11.5后续步骤219
11.5.1使用RoBERTa模型探索Haystack220
11.5.2使用GTP-3引擎探索问答221
11.6本章小结222
11.7练习题222
第12章情绪分析224
12.1入门:使用Transformer进行情绪分析225
12.2斯坦福情绪树库(SST)225
12.3通过情绪分析预测客户行为229
12.3.1使用DistilBERT进行情绪分析229
12.3.2使用HuggingFace的其他模型进行情绪分析231
12.4使用GPT-3进行情绪分析235
12.5工业4.0依然需要人类236
12.5.1使用SRL进行调查237
12.5.2使用HuggingFace进行调查238
12.5.3使用GPT-3playground进行调查240
12.6本章小结242
12.7练习题243
第13章使用Transformer分析假新闻244
13.1对假新闻的情绪反应245
13.2理性处理假新闻的方法250
13.2.1定义假新闻解决路线图251
13.2.2枪支管控辩论252
13.2.3美国前总统特朗普的推文260
13.3在我们继续之前262
13.4本章小结262
13.5练习题263
第14章可解释AI264
14.1使用BertViz可视化Transformer265
14.2LIT268
14.2.1PCA269
14.2.2运行LIT269
14.3使用字典学习可视化Transformer271
14.3.1Transformer因子271
14.3.2LIME272
14.3.3可视化界面273
14.4探索我们无法访问的模型276
14.5本章小结277
14.6练习题278
第15章从NLP到计算机视觉279
15.1选择模型和生态系统280
15.2Reformer281
15.3DeBERTa283
15.4Transformer视觉模型285
15.4.1ViT–VisionTransformer285
15.4.2CLIP289
15.4.3DALL-E294
15.5不断扩大的模型宇宙297
15.6本章小结298
15.7练习题299
第16章AI助理300
16.1提示工程301
16.1.1具有有意义上下文的非正式英语302
16.1.2转喻和多义303
16.1.3省略303
16.1.4模糊上下文304
16.1.5引入传感器305
16.1.6有传感器但没有可见上下文305
16.1.7没有上下文的正式英语会话306
16.1.8提示工程训练306
16.2Copilot307
16.3可以执行领域特定任务的GPT-3引擎309
16.3.1为ML算法提供嵌入309
16.3.2生成一系列操作指示315
16.3.3内容过滤器316
16.4基于Transformer的推荐系统317
16.4.1通用序列317
16.4.2使用MDP和RL生成的数据集模拟消费者行为319
16.5计算机视觉323
16.6数字人和元宇宙325
16.7本章小结326
16.8练习题326
第17章ChatGPT和GPT-4327
17.1超越人类NLP水平的Transformer模型:ChatGPT和GPT-4328
17.1.1如何充分理解本章328
17.1.2谁拥有AI生成内容的版权329
17.2ChatGPTAPI332
17.3使用ChatGPTPlus编写程序并添加注释334
17.3.1设计提示334
17.3.2使用ChatGPTPlus编写代码335
17.3.3ChatGPTPlus绘制输出结果336
17.4GPT-4API337
17.4.1示例1:使用GPT-4帮助解释如何编写代码337
17.4.2示例2:GPT-4创建一个函数来展示GregBrockman于2023年3月14日的GPT-4的YouTube演示338
17.4.3示例3:GPT-4创建一个用于展示WikiArt图像的应用程序338
17.4.4示例4:GPT-4创建一个用于展示IMDb评论的应用程序339
17.4.5示例5:GPT-4创建一个用于展示新闻源的应用程序340
17.4.6示例6:GPT-4创建一个k-means聚类(kmc)算法341
17.4.7示例7:GPT-4关于GPT-4和GPT模型架构的对话341
17.5高级示例342
17.5.1步骤1:为ChatGPT和GPT-4构建知识库343
17.5.2步骤2:添加关键词和解析用户请求343
17.5.3步骤3:构建引导ChatGPT的提示344
17.5.4步骤4:内容审核和质量控制344
17.6可解释AI(XAI)和Whisper语音模型345
17.7使用DALL-E2API入门349
17.7.1创建新图像349
17.7.2创建图像的变体350
17.8将所有内容整合在一起351
17.9本章小结352
17.10练习题353
——以下资源可扫描封底二维码下载——
附录ATransformer模型术语354
附录BTransformer模型的硬件约束356
附录C使用GPT-2进行文本补全362
附录D使用自定义数据集训练GPT-2模型371
附录E练习题答案380
参考资料392