Llama大模型实践指南

2.3.1　API部署
2.3.2　text-generation-webui部署
2.3.3　使用text-generation-webui
第3章　微调Llama2大模型
3.1　微调的数据集准备和标注
3.1.1　数据集准备
3.1.2　数据集标注
3.2　Llama2大模型加载
3.3　微调策略设计及模型重新训练
3.3.1　微调策略设计
3.3.2　模型参数高效微调
3.4　模型评估、测试和模型优化
3.4.1　模型评估、测试
3.4.2　模型优化
3.5　模型保存、模型部署和推理加速
3.5.1　模型保存
3.5.2　模型部署
3.5.3　推理加速
第4章　解决Llama2大模型多轮对话难题
4.1　定制多轮对话数据集和构造方法
4.1.1　准备微调训练数据的7个原则
4.1.2　定制微调训练数据集
4.1.3　多轮对话的3个场景
4.2　实操构造多轮对话微调训练数据集
4.3　通过多轮对话存储解决信息流失问题
4.3.1　拼接历史与当前输入
4.3.2　上下文向量
4.3.3　对话状态追踪
4.3.4　状态压缩
4.3.5　增量学习和在线学习
4.4　提高大模型多轮对话应对能力
4.4.1　针对性的数据集与微调
4.4.2　实时反馈与自适应
4.4.3　强化学习优化
4.4.4　上下文感知与个性化
4.4.5　多模态与多任务学习
4.4.6　错误处理与恢复策略
4.5　模型评估与持续改进
4.5.1　微调Llama2大模型评估
4.5.2　持续改进
4.6　适合Llama2大模型多轮对话的prompt构建
第5章　基于Llama2定制行业大模型
5.1　业务数据分析指导行业大模型定制
5.1.1　行业大模型的定制策略
5.1.2　模型性能的评估
5.2　行业数据的获取与预处理
5.2.1　数据获取
5.2.2　数据预处理
5.3　Llama2大模型导入初始化
5.4　微调获得行业特定大模型
5.4.1　领域预训练
5.4.2　微调策略
5.5　模型测试、评估和优化
第6章　Llama2+LangChain文档问答模型构建
6.1　LangChain介绍
6.2　LangChain的主要概念与示例
6.2.1　模型
6.2.2　提示
6.2.3　输出解析器
6.2.4　索引
6.2.5　内存
6.2.6　链
6.2.7　代理
6.2.8　工具
6.3　LangChain环境配置
6.3.1　Python环境搭建
6.3.2　LangChain主要模块
6.4　Llama2+LangChain文档问答模型评估
6.4.1　设置虚拟环境和创建文件结构
6.4.2　Llama2和LangChain的交互流程
6.4.3　具体案例
第7章　多语言大模型技术介绍及其工业应用
7.1　多语言大模型的研究现状和技术方向
7.1.1　为什么进行多语言研究
7.1.2　多语言在NLP社区的发展
7.1.3　多语言模型技术方向
7.2　多语言大模型的预训练资源和评测任务
7.2.1　多语言大模型的预训练资源介绍
7.2.2　评测任务介绍
7.3　多语言大模型的优化方向
7.3.1　数据预处理流程
7.3.2　Tokenizer
7.3.3　训练数据格式和采样策略
7.3.4　多语言大模型的训练任务
7.3.5　多语言大模型的优化方向总结（以Llama2为例）
7.4　多语言大模型的工业应用
7.4.1　智能客服
7.4.2　搜索引擎
7.4.3　机器翻译