本站推荐
下载地址
书籍资料
- 内容简介
- 作者介绍
- 书籍目录
在大数据、人工智能时代，数据分析必不可少。本书以数据分析中至关重要的数据预处理为主题，通过54道例题具体介绍了基于SQL、R、Python的处理方法和相关技巧。全书共4个部分：第1部分介绍预处理的基础知识；第2部分介绍以数据结构为对象的预处理，包括数据提取、数据聚合、数据连接、数据拆分、数据生成和数据扩展；第3部分介绍以数据内容为对象的预处理，涉及数值型、分类型、日期时间型、字符型和位置信息型；第4部分为预处理实战，介绍与实际业务相同的预处理流程。
本书适合新手数据科学家、系统工程师、具备编程及数理基础的技术人才，以及对数据挖掘和数据分析等感兴趣的人阅读。
本桥智光（作者）
先后在系统开发公司担任研究员，在互联网企业担任数据科学家，目前在数字医疗初创公司SUSMED株式会社担任CTO，同时就职于HOXO-M株式会社，并以自由职业者的身份从事量子退火计算机的验证工作，拥有制造业、零售业、金融业、运输业、休闲业和互联网等多个行业的数据分析经验。曾在KDD CUP 2015中赢得亚军。爱好是开发马里奥AI。
Twitter：@tomomoto_LV3
陈涛（译者）
运筹学硕士毕业，主要从事数据库、数据分析工作，对机器学习、深度学习领域相关的理论和技术较为熟悉。因兴趣自学日语，一直致力于追求兴趣和工作的完美结合。
第1部分 预处理入门1
第1章 什么是预处理2
1-1 数据2
记录数据2
数据类型3
1-2 预处理的作用3
机器学习4
无监督学习和有监督学习4
用于数据分析的3种预处理5
1-3 预处理的流程6
对数据结构的预处理7
对数据内容的预处理7
预处理的步骤7
1-4 3种编程语言9
正确使用编程语言9
1-5 包和库10
用于数据分析的包和库10
1-6 数据集11
酒店预订记录12
工厂产品记录13
月度指标记录14
文本数据集14
1-7 读取数据14
第2部分 对数据结构的预处理19
第2章 数据提取20
2-1 提取指定的列20
Q 提取列21
2-2 按指定条件提取26
Q 按条件提取数据行28
Q 间接利用索引提取数据行33
2-3 不基于数据值的采样35
Q 随机采样35
2-4 基于聚合ID的采样38
Q 按ID采样39
第3章 数据聚合43
3-1 计算数据条数和类型
43
Q 计数和唯一值计数44
3-2 计算合计值48
Q 合计值48
3-3 计算最值、代表值50
Q 代表值51
3-4 计算离散程度54
Q 方差和标准差54
3-5 计算众数57
Q 众数58
3-6 排序61
排序函数61
Q 为时序数据添加编号62
Q 排序66
第4章 数据连接69
4-1 主表的连接69
Q 主表的连接70
4-2 切换按条件连接的表77
Q 切换按条件连接的主表77
4-3 连接历史数据84
Q 获取往前数第n条记录的数据85
Q 前n条记录的合计值88
Q 前n条记录的平均值92
Q 过去n天的合计值95
4-4 交叉连接99
Q 交叉连接处理99
第5章 数据拆分105
5-1 记录数据中模型验证数据的拆分105
Q 交叉验证107
5-2 时序数据中模型验证数据的拆分111
Q 准备时序数据中的训练数据和验证数据113
第6章 数据生成117
6-1 通过欠采样调整不平衡数据118
6-2 通过过采样调整不平衡数据119
Q 过采样120
第7章 数据扩展124
7-1 转换为横向显示124
Q 转换为横向显示125
7-2 转换为稀疏矩阵128
Q 稀疏矩阵128
第3部分 对数据内容的预处理131
第8章 数值型132
8-1 转换为数值型132
Q 各种数据类型的转换132
8-2 通过对数化实现非线性变换135
Q 对数化137
8-3 通过分类化实现非线性变换139
Q 数值型的分类化140
8-4 归一化142
Q 归一化143
8-5 删除异常值146
Q 根据标准差删除异常值146
8-6 用主成分分析实现降维148
Q 用主成分分析实现降维149
8-7 数值填充152
Q 删除缺失记录153
Q 用常数填充155
Q 均值填充157
Q 用PMM实现多重插补160
第9章 分类型164
9-1 转换为分类型164
Q 分类型的转换165
9-2 哑变量化168
Q 哑变量化169
9-3 分类值的聚合171
Q 分类值的聚合172
9-4 分类值的组合175
Q 分类值的组合175
9-5 分类型的数值化177
Q 分类型的数值化178
9-6 分类型的填充181
Q 用KNN填充182
第10章 日期时间型185
10-1 转换为日期时间型、日期型185
Q 日期时间型、日期型的转换185
10-2 转换为年、月、日、时、分、秒、星期189
Q 获取各日期时间元素190
10-3 转换为日期时间差194
Q 计算日期时间差195
10-4 日期时间型的增减200
Q 日期时间的增减处理200
10-5 转换为季节203
Q 转换为季节204
10-6 转换为时间段208
10-7 转换为工作日、休息日209
Q 添加休息日标志209
第11章 字符型212
11-1 通过形态分析进行分解213
Q 提取名词和动词213
11-2 转换为单词的集合数据215
Q 创建词袋216
11-3 用TF-IDF调整单词权重220
Q 创建使用TF-IDF的词袋221
第12章 位置信息型224
12-1 从日本坐标系到世界坐标系的转换以及从度、分、秒到度的转换224
Q 从日本坐标系转换为世界坐标系224
12-2 两点间距离、方向的计算228
Q 计算距离228
第4部分 预处理实战233
第13章 实战练习234
13-1 聚合分析的预处理234
Q 聚合分析的准备工作234
13-2 用于推荐的预处理238
Q 生成推荐矩阵238
13-3 预测建模的预处理243
Q 用于预测建模的预处理243
结语254
参考文献255
相关资源
编程不难（全彩图解 + 微课 + Python编程）（鸢尾花数学大系：从加减乘除到机器学习）
2024-12-25
