简介
本教材较为全面地介绍了人工智能应用场景下的数据采集、数据处理、数据标注等技术。全书分为4篇,共12个项目,包括了解数据采集、了解网络数据采集、了解端集、数据存储与加载、了解数据处理、图像数据处理、文本数据处理、了解数据标注、图像数据标注、文本数据标注、深度学习图像分类应用实战、深度学习情感分析内容。本教材以企业用人需求为导向、以岗位技能和综合素质为核心,通过理论与实战相结合的方式组织内容,以培养能够根据项目需求完成数据的采集、处理、标注本教材可用于1+X证书制度试点工作中的人工智能深度学习工程应用职业技能等级证书(初级)的教学和培训,也适合作为中等职业学校、高等职业院校、应用型本科能相关专业的教材,还适合作为需补充学习深度学习应用开发知识的技术人员的参考用书。
目录
第 1篇 数据采集 1
项目1 了解数据采集 2
项目描述 2
知识准备 3
1.1 大数据 3
1.1.1 数据来源 3
1.1.2 数据类型 3
1.2 数据采集 4
1.2.1 数据采集的三大要求 4
1.2.2 数据采集方式 4
1.3 数据采集的应用行业 5
项目实施 “石头剪刀布”图像数据采集 6
1.4 实施思路 6
1.5 实施步骤 6
知识拓展 12
课后实训 12
项目2 了解网络数据采集 14
项目描述 14
知识准备 15
2.1 网络爬虫的原理及流程 15
2.2 网页结构:HTML 15
2.3 第三方库:BeautifulSoup4 16
项目实施 爬取“石头剪刀布”静态页面数据 17
2.4 实施思路 17
2.5 实施步骤 18
知识拓展 21
2.6 urllib 22
2.7 requests 22
课后实训 23
项目3 了解端侧数据采集 24
项目描述 24
知识准备 24
3.1 端侧数据采集概述 24
3.1.1 数据采集系统 25
3.1.2 数字输入 输出模块 25
3.1.3 模拟输入 输出模块 25
3.1.4 数据采集卡 25
3.2 数据采集端侧设备 25
3.2.1 图像采集设备:CCD传感器与CMOS传感器 26
3.2.2 音频采集设备:麦克风 27
3.3 端侧数据采集方式 27
3.3.1 图像采集 27
3.3.2 语音采集 28
3.4 EasyData智能数据服务平台 28
项目实施 视频抽帧数据采集 29
3.5 实施思路 29
3.6 实施步骤 29
知识拓展 31
课后实训 32
项目4 数据存储与加载 33
项目描述 33
知识准备 34
4.1 数据编码 34
4.1.1 图像编码 34
4.1.2 文本编码 34
4.2 数据存储格式 35
4.2.1 图像数据存储格式 35
4.2.2 文本数据存储格式 36
4.3 数据加载及存储 37
4.3.1 图像数据加载及存储 37
4.3.2 文本数据加载及存储 38
项目实施 加载、操作并存储Excel表格文件 39
4.4 实施思路 39
4.5 实施步骤 39
知识拓展 40
课后实训 41
第 2篇 数据处理 42
项目5 了解数据处理 43
项目描述 43
知识准备 43
5.1 数据处理工具 43
5.2 数据处理步骤 44
5.2.1 数据清洗 44
5.2.2 数据分析 45
5.2.3 数据可视化 45
5.3 数据处理行业应用 46
5.3.1 人脸识别 46
5.3.2 工业自动化 46
5.3.3 机器翻译 46
5.3.4 医疗健康分析 47
项目实施 EasyData处理文本数据 47
5.4 实施思路 47
5.5 实施步骤 47
知识拓展 52
课后实训 53
项目6 图像数据处理 54
项目描述 54
知识准备 54
6.1 图像基础知识 54
6.1.1 图像的概念 55
6.1.2 图像的存储方式 55
6.2 图像数据处理方法 55
6.2.1 图像数据清洗 55
6.2.2 图像数据分析 56
6.2.3 图像数据可视化 56
6.3 Python库介绍 56
6.3.1 OpenCV库 56
6.3.2 Matplotlib库 57
6.3.3 os库 57
项目实施 “石头剪刀布”图像处理 58
6.4 实施思路 58
6.5 实施步骤 58
知识拓展 64
6.6 图像水平翻转 64
6.7 图像垂直翻转 66
6.8 图像对角翻转 66
课后实训 67
项目7 文本数据处理 68
项目描述 68
知识准备 68
7.1 文本数据处理的应用 68
7.2 文本数据处理方法 69
7.2.1 文本数据清洗 69
7.2.2 文本数据分析与可视化 72
项目实施 对话情感倾向分析 73
7.3 实施思路 73
7.4 实施步骤 74
知识拓展 80
7.5 正态分布图法 80
7.6 聚类算法 80
课后实训 80
第3篇 数据标注 82
项目8 了解数据标注 83
项目描述 83
知识准备 83
8.1 数据标注的概念 83
8.2 数据标注的类型 84
8.3 数据标注的意义 84
8.4 数据标注在行业中的应用 84
8.4.1 智能交通 84
8.4.2 智能语音 85
8.4.3 智能金融 85
8.4.4 智能家居 86
8.4.5 电子商务 86
项目实施 标注“花卉识别”数据集 87
8.5 实施思路 87
8.6 实施步骤 87
知识拓展 92
8.7 数据标注的难题 92
8.8 数据标注的角色 93
课后实训 93
项目9 图像数据标注 94
项目描述 94
知识准备 94
9.1 常见的图像数据标注工具 94
9.2 常用的数据标注数据集 95
9.3 图像数据标注质量标准 96
9.4 图像数据标注的应用领域 96
9.4.1 自动驾驶领域 96
9.4.2 工业质检领域 98
9.4.3 智能安防领域 98
项目实施 标注“垃圾分类”数据集 99
9.5 实施思路 99
9.6 实施步骤 99
知识拓展 102
课后实训 103
项目10 文本数据标注 104
项目描述 104
知识准备 104
10.1 文本实体标注 104
10.2 文本情感分类标注 105
10.3 文本相似度标注 105
项目实施 标注“微博文本情感分类”数据集 105
10.4 实施思路 105
10.5 实施步骤 106
知识拓展 108
课后实训 108
第4篇 深度学习应用实战 110
项目11 深度学习图像分类应用实战 111
项目描述 111
知识准备 111
11.1 智能垃圾分类的行业背景 111
11.2 智能垃圾分类的流程 112
11.2.1 数据标注 112
11.2.2 模型训练 114
11.3 智能垃圾分类的应用 115
项目实施 垃圾分类 116
11.4 实施思路 116
11.5 实施步骤 116
知识拓展 138
课后实训 139
项目12 深度学习情感分析应用实战 140
项目描述 140
知识准备 140
12.1 情感分析的行业背景 140
12.2 智能情感分析的流程 142
12.2.1 数据准备 142
12.2.2 数据处理 142
12.2.3 数据标注 143
12.2.4 模型训练 143
项目实施 情感分析 144
12.3 实施思路 144
12.4 实施步骤 144
知识拓展 159
课后实训 160
项目1 了解数据采集 2
项目描述 2
知识准备 3
1.1 大数据 3
1.1.1 数据来源 3
1.1.2 数据类型 3
1.2 数据采集 4
1.2.1 数据采集的三大要求 4
1.2.2 数据采集方式 4
1.3 数据采集的应用行业 5
项目实施 “石头剪刀布”图像数据采集 6
1.4 实施思路 6
1.5 实施步骤 6
知识拓展 12
课后实训 12
项目2 了解网络数据采集 14
项目描述 14
知识准备 15
2.1 网络爬虫的原理及流程 15
2.2 网页结构:HTML 15
2.3 第三方库:BeautifulSoup4 16
项目实施 爬取“石头剪刀布”静态页面数据 17
2.4 实施思路 17
2.5 实施步骤 18
知识拓展 21
2.6 urllib 22
2.7 requests 22
课后实训 23
项目3 了解端侧数据采集 24
项目描述 24
知识准备 24
3.1 端侧数据采集概述 24
3.1.1 数据采集系统 25
3.1.2 数字输入 输出模块 25
3.1.3 模拟输入 输出模块 25
3.1.4 数据采集卡 25
3.2 数据采集端侧设备 25
3.2.1 图像采集设备:CCD传感器与CMOS传感器 26
3.2.2 音频采集设备:麦克风 27
3.3 端侧数据采集方式 27
3.3.1 图像采集 27
3.3.2 语音采集 28
3.4 EasyData智能数据服务平台 28
项目实施 视频抽帧数据采集 29
3.5 实施思路 29
3.6 实施步骤 29
知识拓展 31
课后实训 32
项目4 数据存储与加载 33
项目描述 33
知识准备 34
4.1 数据编码 34
4.1.1 图像编码 34
4.1.2 文本编码 34
4.2 数据存储格式 35
4.2.1 图像数据存储格式 35
4.2.2 文本数据存储格式 36
4.3 数据加载及存储 37
4.3.1 图像数据加载及存储 37
4.3.2 文本数据加载及存储 38
项目实施 加载、操作并存储Excel表格文件 39
4.4 实施思路 39
4.5 实施步骤 39
知识拓展 40
课后实训 41
第 2篇 数据处理 42
项目5 了解数据处理 43
项目描述 43
知识准备 43
5.1 数据处理工具 43
5.2 数据处理步骤 44
5.2.1 数据清洗 44
5.2.2 数据分析 45
5.2.3 数据可视化 45
5.3 数据处理行业应用 46
5.3.1 人脸识别 46
5.3.2 工业自动化 46
5.3.3 机器翻译 46
5.3.4 医疗健康分析 47
项目实施 EasyData处理文本数据 47
5.4 实施思路 47
5.5 实施步骤 47
知识拓展 52
课后实训 53
项目6 图像数据处理 54
项目描述 54
知识准备 54
6.1 图像基础知识 54
6.1.1 图像的概念 55
6.1.2 图像的存储方式 55
6.2 图像数据处理方法 55
6.2.1 图像数据清洗 55
6.2.2 图像数据分析 56
6.2.3 图像数据可视化 56
6.3 Python库介绍 56
6.3.1 OpenCV库 56
6.3.2 Matplotlib库 57
6.3.3 os库 57
项目实施 “石头剪刀布”图像处理 58
6.4 实施思路 58
6.5 实施步骤 58
知识拓展 64
6.6 图像水平翻转 64
6.7 图像垂直翻转 66
6.8 图像对角翻转 66
课后实训 67
项目7 文本数据处理 68
项目描述 68
知识准备 68
7.1 文本数据处理的应用 68
7.2 文本数据处理方法 69
7.2.1 文本数据清洗 69
7.2.2 文本数据分析与可视化 72
项目实施 对话情感倾向分析 73
7.3 实施思路 73
7.4 实施步骤 74
知识拓展 80
7.5 正态分布图法 80
7.6 聚类算法 80
课后实训 80
第3篇 数据标注 82
项目8 了解数据标注 83
项目描述 83
知识准备 83
8.1 数据标注的概念 83
8.2 数据标注的类型 84
8.3 数据标注的意义 84
8.4 数据标注在行业中的应用 84
8.4.1 智能交通 84
8.4.2 智能语音 85
8.4.3 智能金融 85
8.4.4 智能家居 86
8.4.5 电子商务 86
项目实施 标注“花卉识别”数据集 87
8.5 实施思路 87
8.6 实施步骤 87
知识拓展 92
8.7 数据标注的难题 92
8.8 数据标注的角色 93
课后实训 93
项目9 图像数据标注 94
项目描述 94
知识准备 94
9.1 常见的图像数据标注工具 94
9.2 常用的数据标注数据集 95
9.3 图像数据标注质量标准 96
9.4 图像数据标注的应用领域 96
9.4.1 自动驾驶领域 96
9.4.2 工业质检领域 98
9.4.3 智能安防领域 98
项目实施 标注“垃圾分类”数据集 99
9.5 实施思路 99
9.6 实施步骤 99
知识拓展 102
课后实训 103
项目10 文本数据标注 104
项目描述 104
知识准备 104
10.1 文本实体标注 104
10.2 文本情感分类标注 105
10.3 文本相似度标注 105
项目实施 标注“微博文本情感分类”数据集 105
10.4 实施思路 105
10.5 实施步骤 106
知识拓展 108
课后实训 108
第4篇 深度学习应用实战 110
项目11 深度学习图像分类应用实战 111
项目描述 111
知识准备 111
11.1 智能垃圾分类的行业背景 111
11.2 智能垃圾分类的流程 112
11.2.1 数据标注 112
11.2.2 模型训练 114
11.3 智能垃圾分类的应用 115
项目实施 垃圾分类 116
11.4 实施思路 116
11.5 实施步骤 116
知识拓展 138
课后实训 139
项目12 深度学习情感分析应用实战 140
项目描述 140
知识准备 140
12.1 情感分析的行业背景 140
12.2 智能情感分析的流程 142
12.2.1 数据准备 142
12.2.2 数据处理 142
12.2.3 数据标注 143
12.2.4 模型训练 143
项目实施 情感分析 144
12.3 实施思路 144
12.4 实施步骤 144
知识拓展 159
课后实训 160
人工智能应用实战
光盘服务联系方式: 020-38250260 客服QQ:4006604884
云图客服:
用户发送的提问,这种方式就需要有位在线客服来回答用户的问题,这种 就属于对话式的,问题是这种提问是否需要用户登录才能提问
Video Player
×
Audio Player
×
pdf Player
×
亲爱的云图用户,
光盘内的文件都可以直接点击浏览哦
无需下载,在线查阅资料!