你问啥是多模态识别？

简单说，就是基于人脸、声纹、姿态、场景等综合识别，这样一来，即使在暗光下、化浓妆、侧脸等等，都能准确识别，它对提升人物识别的精准度非常重要，属于AI领域中前沿的技术。

开头提到“扫一扫”能识别半张脸的虫仔，核心能力就来自于这儿。所以这些应用看着好像没什么，但没点硬核技术还真不行。

比如爱奇艺办的这两场大赛，就让它的人物识别精确度大幅提升。不然你以为一家娱乐公司为什么要天天搞技术研发。

当AI系统“识别”了视频内容，那就算是“正式认识”了。在之后，更多的应用可能性，就可以展开了。

“认识”之后，事儿了就好办了

如何利用AI已经“识别”好的视频数据呢？

这时，就要想下流媒体平台的位置了：链接「创作者」和「观众」。

对于「观众」们，就是要想办法提高用户观影体验，而对「创作者」，就可以帮助他们更快更方便的做出好内容。

先看「观众」端。

有了识别的信息以后，最简单的应用就是…直接把结果显示给用户呗。比如，文章开头提到的“扫一扫”。

TV端也有类似的，比如奇异果AI雷达—— 显示明星信息，进入泡泡社区等。

其他相关的应用还有——「只看TA」，腾讯视频和爱奇艺也都支持。

点了之后，用户就可以只看自己爱豆的cut了，比如看一万遍“坤坤唱跳篮球Rap”合集。这背后，就是利用了各种识别技术，人脸、表情、场景等等。

诶？于此推演，我有一个脑洞。

那就是，“只-不看TA”。想一下，是不是对于某些剧啊，综艺啊，你老觉得有些地方比较多余？比如，《亲爱的》里面的回忆画面，还有《破冰》里面的陈珂。是不是感觉，你需要这个功能。

其他的，还有对特定人群的使用优化，比如腾讯视频的儿童模式保护，爱奇艺的AI手语主播片段生成，B站等弹幕网站的智能防挡脸功能等等。

好，那再来看看对「创作者」的应用。

上面提到的预告片自动剪辑，就是一个高级的例子。

国内方面，AI也已经被主要用到两个方面：智能选角色，还有，智能剪辑。

AI选角，可以根据剧情需要和演员信息智能匹配，大大提升选人效率和成功率。爱奇艺的“艺汇”和优酷的“鱼脑”系统，都已经正式商用。

选角的结果，就有《泡沫之夏》的张雪迎、《最好的我们》的刘昊然，还有《长安十二时辰》的雷佳音等等。

剪辑方面，目前已经商用的，更多的，是一个“助手”角色。比如，拍真人秀的时候，需要FollowPD时刻记录，还要后期各种人工打标签，剪辑的时候超级费劲。

有了AI的加持，系统可以快速扫描内容，然后按照明星角色分类，还可以识别各类场景，甚至人物的语言和情绪，给各个片段都打上有用的标签。

比如，在《中国新说唱》后期制作的时候，AI就帮助剪辑师通过特定标签，精准找到需要片段内容，数秒内就可以调出特定人物素材，大大缩短制作时间。

类似的系统和功能，国内各大产都有投入，爱奇艺的智能剪辑，腾讯智能云剪辑，优酷的鲸观剪辑等等。

当然，AI的能力不仅在于提升体验，最重要的，还是帮平台赚钱。

“识别”与流媒体平台的“赚钱引擎”

AI怎么帮流媒体平台赚钱？这里有两个重点应用：视频推荐，以及，广告投放。

当然，这背后都有统一的关键词“匹配”——内容和人，广告和人。

当用户能更快的看到自己想看的内容，会员就会不退订。当用户能发现自己喜欢的商品，广告主就不会停止花钱，这样整个机器就会运转。

根据Netflix，其平台80%的观看量都来自于推荐引擎。他们希望用户能在1分钟之内开始观看节目，否则用户很有可能会有关掉整个App。