在这期CSDN技术公开课Plus中，爱奇艺科学家路香菊博士为大家分享了多模态人物识别的相关技术，大家可以在公开课笔记中了解、学习到爱奇艺在多模态技术领域中的主要研究工作及在爱奇艺视频中是如何应用这些技术的。

【讲师介绍】

路香菊

路香菊博士，爱奇艺科学家，身份识别（PersonAI）团队负责人，专注于人物识别、AI等技术，负责爱奇艺多模态人物识别、智能创作等相关业务。组织创办“爱奇艺多模态视频人物识别赛”，开放全球首个影视视频人物数库iQIYI-VID，创建百万人物库及四万卡通角色库，相关技术应用到爱奇艺APP“扫一扫”及AI雷达等产品中。

首先，请大家思考一个问题：人物识别只是等同于人脸识别吗？其实，人物识别我们现在的工作中不仅仅是人脸识别，为什么是这样呢？因为在视频中，特别是在一些综艺节目、或者动作片中，完全通过个人的人脸是无法满足所有情况的，知道一个人的身份还需要其他属性，像下图中右边这个图人物，大家一看就知道他是郭德纲，但是如我我们用人脸识别绝对是没有办法识别出来的，因为他的人脸没有露出来，只有一个后脑勺，所以，我们现在基于人物识别的技术还涉及人体的识别，也就是我们监控上的 RE-ID。除此之外，在视频中，还需要识别服饰、发型、声纹和指纹、虹膜等生物特征。所以，现在基于视频场景中的人物识别已经成为一个综合需求的识别。

第二，如何识别虚拟人物？我们之所以叫虚拟人物，是因为它不是真实的一个人物，它包括卡通人物、二次元、动漫以及与游戏人物等形象，现在这部分角色也越来越多，已经成为娱乐行业一个非常重要的需求。在这些现实需求下，我们的研究工作也基本上在实际中落地应用。基于这些实际应用，接下来就与大家分享我们在人物识别与虚拟人物识别工作中的主要算法。

这部分内容将主要为大家介绍真人人物识别的多模态基础技术。基于爱奇艺视频内容的需求，我们不仅要做人脸识别，在人脸信息不足或不清晰的情况下，还需要其他信息来辅助进行人物定位，在所有的信息中，我们首先想到的是声音信息；其次，在无声情境中，我们需要结合场景（如打斗、行走中、监控）利用人物的一些动作信息、背影等姿态信息以及服饰等信息来进行人物身份判断。如下图所示，是我们在业务中需要处理的主要信息类别。