嵌入式人工智能

本书作为国内第一部全面介绍嵌入式人工智能这一新兴领域的著作，内容丰富详实、结构清晰合理、兼顾原理分析和实践应用，具有较高的参考价值。可作为有志于研究和实现嵌入式人工智能的学生、工程师及相关人员的入门读物和参考书。

本书将近距离观察嵌入式人工智能的**进展，总结嵌入式人工智能的原理、实现方法和途径，介绍嵌入式人工智能芯片及开发平台，并针对典型应用进行深入研究和详细介绍。

李斌，北京理工大学模式识别与人工智能专业硕士，曾在多家著名IT/互联网企业担任关键技术岗位。是20余篇国内外发明专利的第一发明人，研究领域涵盖网络通信、人工智能、智能硬件等。

第一篇原理

第1章人工智能与人工神经网络3

1.1什么是人工智能3

1.2什么是人工神经网络4

1.3人类大脑5

1.4人工神经网络的基本构成7

1.4.1人工神经元7

1.4.2人工神经网络的结构8

1.5人工神经网络的学习机制9

1.6人工神经网络的类型10

1.7人工神经网络的优势24

1.8深度神经网络25

1.8.1什么是深度神经网络25

1.8.2常见的深度神经网络27

1.8.3卷积神经网络27

1.9神经网络架构搜索31

1.9.1搜索空间31

1.9.2强化学习搜索32

1.9.3渐进式搜索33

1.9.4离散搜索35

1.10迁移学习37

1.10.1什么是迁移学习37

1.10.2迁移学习的类型38

1.10.3迁移学习的优势39

1.10.4迁移学习的方式40

1.10.5迁移学习与嵌入式人工智能40第2章嵌入式人工智能41

2.1什么是嵌入式人工智能41

2.2为什么需要嵌入式人工智能42

2.3最初的尝试: 云计算模式45

2.4从云端到设备: 本地模式47

2.5嵌入式人工智能的技术挑战50

2.6嵌入式人工智能的实现途径53

目录2.7嵌入式人工智能的实现组件54第3章嵌入式AI芯片原理56

3.1并行计算56

3.2脉动阵列57

3.3多级缓存59

3.4数据流60第4章轻量级神经网络64

4.1降低计算复杂度64

4.1.1分组卷积65

4.1.2深度方向卷积65

4.1.3点向卷积66

4.1.4深度可分离卷积66

4.1.5通道乱序混合67

4.2SqueezeNet67

4.2.1核心思想67

4.2.2网络结构68

4.2.3性能70

4.3Xception70

4.3.1核心思想70

4.3.2网络结构71

4.3.3性能71

4.4MobileNet v172

4.4.1核心思想73

4.4.2网络结构73

4.4.3性能74

4.5MobileNet v275

4.5.1核心思想75

4.5.2网络结构75

4.5.3性能77

4.6MnasNet77

4.6.1核心思想78

4.6.2网络结构78

4.6.3性能80

4.7MobileNet v381

4.7.1核心思想81

4.7.2网络结构81

4.7.3性能83

4.8轻量级神经网络的应用84第5章深度神经网络压缩86

5.1神经网络压缩的一般方法86

5.1.1剪枝86

5.1.2权重共享88

5.1.3量化90

5.1.4二值/三值化92

5.1.5Winograd卷积93

5.2压缩编译协同设计94

5.2.1压缩编译协同设计的概念94

5.2.2压缩器95

5.2.3编译器98

5.2.4压缩编译协同设计的优势99第6章嵌入式神经网络应用程序框架101

6.1分层级联系统的构成102

6.2分层级联系统的效率103

6.3基于CNN的分层人脸识别系统104

6.4本地云协同模式107第7章终生深度学习109

7.1传统深度学习的缺陷及原因109

7.2终生深度学习的目标111

7.3终生深度学习的特性112

7.4神经生物学的启示112

7.5终生深度神经网络的实现113

7.5.1双重学习系统113

7.5.2实时更新114

7.5.3记忆合并115

7.5.4适应真实场景115

7.6终生深度学习与嵌入式神经网络117

第二篇平台

第8章嵌入式神经网络硬件加速器121

8.1概述121

8.2NVIDIA Jetson122

8.2.1Jetson模块简介122

8.2.2Jetson模块内部结构124

8.2.3Jetson性能133

8.3Intel Movidius136

8.3.1Movidius Myriad X VPU芯片137

8.3.2Intel Movidius神经计算棒141

8.4Google Edge TPU142

8.4.1Google Edge TPU简介142

8.4.2Google Edge TPU工作原理144

8.5XILINX DPU151

8.6ARM Ethos NPU157

8.6.1ARM机器学习处理器157

8.6.2EthosN系列159

8.6.3EthosU系列161

8.7小结163第9章嵌入式神经网络软件框架166

9.1TensorFlow Lite166

9.1.1TensorFlow Lite简介166

9.1.2TensorFlow Lite工作原理168

9.2TensorRT170

9.2.1TensorRT简介170

9.2.2TensorRT如何应用174

9.3OpenVINO176

9.3.1OpenVINO简介176

9.3.2OpenVINO的构成177

9.3.3OpenVINO应用开发178

9.4XILINX Vitis180

9.5uTensor184

9.6Apache TVM186

9.7小结188

第三篇实现

第10章搭建嵌入式神经网络开发环境193

10.1嵌入式AI开发流程193

10.2NVIDIA JetSon开发流程 194第11章优化嵌入式神经网络模型197

11.1TensorFlow 模型优化197

11.1.1训练后优化197

11.1.2训练时优化198

11.2TensorRT模型优化215

11.2.1与主流深度学习框架集成215

11.2.2部署到嵌入式系统220

11.2.3TensorRT API221

11.2.4TensorRT应用示例232

11.2.5模型转换器249

11.3两种模型优化技术的对比261第12章在嵌入式设备上执行推理262

12.1从源代码构建项目262

12.2使用ImageNet实现图像分类267

12.2.1静态图像分类267

12.2.2摄像机实时视频分类277

12.3使用DetectNet实现目标检测284

12.3.1静态图像目标检测284

12.3.2摄像机实时视频目标检测286

12.4使用SegNet实现语义分割294

12.4.1静态图像语义分割294

12.4.2视频语义分割304

12.5使用PyTorch实现迁移学习313

12.6使用转换的模型335第13章嵌入式神经网络应用示例337

13.1应用场景337

13.2硬件选型338

13.3模型开发338结束语万物智能344参考文献346

装　　帧：平装

版　　次：1

开　　本：16开

纸　　张：胶版纸