多模态人工智能：大模型核心原理与关键技术

本书是一本人工智能通 识课程教材，它系统地介绍 了多模态人工智能的基础理 论、关键技术及应用场景， 深入分析了多模态学习、多 模态训练、多模态大模型、 多模态理解、多模态检索、 多模态生成、多模态推理、 多模态交互、多模态模型安 全与可信等核心技术，旨在 为读者提供一个清晰、全面 的多模态人工智能的知识框 架，从而帮助读者 好地理 解和应用多模态人工智能技 术。本书的出版有助于培养 人工智能领域的科技人才， 推动新质生产力发展，为建 设科技强国提供支撑。 本书适合高等院校计算 机科学与技术和人工智能等 专业的本科生、研究生阅读 ，也可供对多模态人工智能 技术感兴趣的工程师和研究 人员参考。

王金桥

中国科学院自动化研究所副总工程师，紫东太初大模型研究中心常务副主任，研究员，博导，武汉人工智能研究院院长，中国科学院大学人工智能学院岗位教授，多模态人工智能产业联盟秘书长，主要从事多模态大模型、视频分析与检索、大规模目标识别等方面的研究。

在国际权威期刊和会议发表论文300余篇，其中国际期刊50余篇，国际会议220余篇。参与国家、行业、团体标准制16项，申请发明专利50余项，获得15项国际算法竞赛冠军；荣获北京市科技进步一等奖、北京市自然科学二等奖、吴文俊人工智能科技进步奖、华为天才少年桃李奖、中国发明创新银奖；获得新时代中国经济创新人物、中科院科苑名匠团队、武汉楷模、北京市高聚领军人才、广州市创新团队领军人才、山东省泰山领军人才和光谷3551领军人才等荣誉称号。

第1章 绪论
1.1 引言
1.2 基本术语
1.2.1 传感器
1.2.2 模态
1.2.3 多模态
1.2.4 算法模型
1.2.5 表征学习
1.2.6 语义理解
1.2.7 迁移学习
1.2.8 内容生成
1.2.9 模态融合
1.2.10 模态对齐
1.2.11 多模态学习
1.3 发展历程
1.4 应用现状
1.5 小结
第2章 基础知识
2.1 传统机器学习
2.1.1 模型评估与选择
2.1.2 线性模型
2.1.3 分类
2.1.4 回归
2.2 深度学习
2.2.1 卷积神经网络
2.2.2 循环神经网络
2.2.3 Transformer
2.3 优化算法
2.3.1 梯度下降算法
2.3.2 反向传播
2.4 应用领域
2.4.1 计算机视觉
2.4.2 自然语言处理
2.4.3 语音识别
2.5 小结
第3章 多模态学习
3.1 模态表示
3.1.1 文本模态表示
3.1.2 视觉模态表示
3.1.3 声音模态表示
3.1.4 其他模态表示
3.1.5 多模态联合表示
3.1.6 多模态协同表示
3.2 多模态融合
3.2.1 数据级融合
3.2.2 特征级融合
3.2.3 目标级融合
3.2.4 混合式融合
3.3 跨模态对齐
3.3.1 显式对齐：无监督对齐和有监督对齐