上交大马利庄教授：可视媒体大数据的智能处理技术与应用

原创让创新获得认可将门创投

以下内容为由5月4日由将门主办的“计算机视觉”主题技术专家微信群分享发言嘉宾实录。

分享嘉宾：上海交通大学马利庄教授

近400位来自谷歌、Facebook、微软、Nvidia、滴滴等公司的技术人士、以及MIT、Stanford、CMU、清华、北大等高校的计算机系优秀学生听取了本次分享。

期待你的加入！参与方法请见文章末尾的介绍。

今天和大家分享的是可视媒体大数据的智能处理技术，以及其应用方面的产学研究协同创新成果，主要分为以下四个部分：

大数据的背景与应用需求
领先技术研发
产学研合作的成果示范
研究展望

大数据的背景与应用需求

全球互联网用户如今已飞速增长到了超过20亿，其中中国用户位于全球第一。以腾讯为例，QQ的月活跃用户已超过了8亿，微信月活跃账户数达4.3亿，每天用户上传超过10亿的可视媒体素材。下图是QQ用户的全国分布图，可以看到超过2亿多的用户同时在线。还有一个有趣的事实，分布密度最高的地方就是经济最发达的地区，这也正好体现了大数据的应用。

互联网用户的爆炸性增长自然汇聚了可视媒体大数据，媒体数据占据了互联网资源的60%以上，成为了重要的信息资产。可视媒体大数据的特点体现在以下四个方面：

体量大：种类繁多，细节丰富
多样性与广泛性：很多的数据是多源、异构的
价值：数据是稀疏、低密度的，需要我们去发现、探索
速度：用户往往需要在短时间内非常快的处理速度，因此LOD技术（Levels of Detail，多细节层次），自适应、并行的GPU/CPU集群计算得到了应用和发展。

信息与网络用户爆炸式增长改变了人们的生活方式，大数据的应用诞生也促进了超算中心、服务器集群、云平台的兴起。但与此同时，社会网络的兴起为网络带宽资源和数据的表达都带来了巨大的负担和挑战；大数据的“大”也体现在现有的体量超越了现有的处理能力，包括存储空间、硬件设备、计算资源的不足等。除此之外，大数据的科学问题还包括以下几点：

各种海量数据的高效表达形式
智能处理与结构化：人脸识别、深度学习、感知理论等都是当下研究的重点
基于视觉感知的失真度量

以城镇化、城市化大数据为例，它的基本框架包括了城市的感知及数据捕获，其次还有数据的管理以及城市化的数据分析等。在服务提供方面可以高效地改进城市规划，缓建交通堵塞，保护自然环境、节约能耗，这些在上海、北京这样的一线大都市中都有深刻的体会。

另一个例子是金融大数据的应用。互联网有多种形式的数据共享与服务，包括像阿里巴巴、腾讯、百度等互联网巨头都是基于互联网大数据的技术来提升金融服务。第一类应用是金融交易形式的电子化和数字化，具体表现为支付电子化、渠道网络化、信用数字化，这是运营效率的提升。第二类则是金融交易结构的变化，其中一个重要表现便是交易中介“脱媒化”，即服务中介功能弱化，这是结构效率的提升。互联网金融中没有分行，也没有柜台，更无需要现场核身，这样对用户来说是非常好的体验。

2015年1月4日，李克强总理在深圳前海微众银行敲下了电脑的回车键，一个卡车司机就拿到了3.5万元的贷款，这是微众银行作为国内首家开业的互联网民营银行完成的第一笔放贷业务。这个银行没有营业网点，也没有营业柜台，更无需财产担保，而是通过人脸识别技术和大数据信用评级来发放贷款的，这是一种革命性、跨越式的一步。随后新闻联播介绍了微众银行的人脸识别方案，这也是我们共同参与的腾讯人脸识别技术的应用例子。大数据技术在处理网络间安全问题上具有先天的优势，能够将主机恶意软件作为实体对象，通过对恶意软件行为进行分析来识别相应的危险。

相比于金融核实与人脸识别，传统金融业务的核实当然有其无法替代的优点，如准确率较高、风险较低等。但它的缺点同样不可忽视——人工成本高、用户体验差以及整体效益低等。因为它需要无数的网点、场地，现在随着人工成本的提高，效率低的特点会越来越显著。一些P2P的业务，大多数的线下业务是通过门店的销售人员来获得客户，其身份核实也基本与传统的金融机构类似——借助第三方外部渠道来进行身份核实。比将这个人的身份与银行的信用卡进行绑定，从而体现相应的征信，但这个还不是真正的互联网金融。

领先技术开发

人脸识别是基于人脸脸部特征信息进行身份识别的一种生物识别技术（指纹识别、掌纹识别、声纹识别、虹膜识别、静脉识别等），金融核实中可能应用的业务场景包括了远程的开户、身份核实、反欺诈等。用摄像机或者摄象头采集含有人物的图象或者视频流，并自动在图象中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列识别。

作为一种非监督学习，深度学习技术首先要解决从无标签大数据人脸当中提取有用的信息。其次是要研究深度模型当中神经元响应的性质，并与认知科学的研究成果相结合，相互印证和启发。因此采用了深度学习技术之后，人脸识别技术具有了自动、迅速且准确性超过人眼这样的一系列优点。但目前人脸核实技术还有以下几大挑战：

图象采集质量。人脸识别来自于视觉信息，图形采集的分辨率太小，图象压缩过大会产生图象噪音、模糊等情况，严重地影响人脸识别的精度。
光照环境。人脸在不同的光照条件下会形成差异很大的图象，比如左右逆光、过暗、过分曝光都会对五人脸识别系统造成很大的影响。
年龄的跨度。随着人的生长、面部的五官比例、皮肤都会发生变化，这些变化使得人脸识别特别困难。
安全性。我们需要抵御很多的恶意攻击，比如说纸片、伪造的视频等。

人脸技术简单的框架可以概括为从数据采集到人脸识别，通过五官定位再对人脸进行对比，其中人脸的特征提取是其中的一个关键。目前在人脸物理性质的推理方面，仍有四个有待研究的问题：基于图像或视频的三维人脸重建；光照与反射率估计、光照归一化处理；人脸姿态的估计与矫正以及基于颜色变化分析的心跳频率估计。

在人脸语意上的推理方面，同样有四个热门研究方向：基于视频中时空一致性的人脸检测与人物跟踪，基于视频的三维人脸特征点定位与跟踪于在唇语识别上的应用，跨年龄与三维的人脸识别，以及将基于图像视频等可视媒体信号的人脸验证和与基于语音信号的声纹识别相结合。一般的恶意攻击者也可以采用假的视频来骗取远程登录，但是这与人脸的脸部表情、声纹等是不匹配的。因此，这些相关因素的共同探讨能够大大地提升声纹验证的正确率。

对人脸各个因素间的相互关系分析，利用带隐变量的深度模型对人脸各个因素进行统一建模，再通过人脸各因素间的相互促进关系实现人脸的完全表达，构建人脸表示统一模型，这也是人脸识别科学问题中的一个内容。

另一个非常重要的方面是活体的检测，当有恶意攻击欺骗系统时，需要研究基于深度学习的活体检测，将语音识别与基于视频的唇语识别相结合，确保远程核身的安全性。

最后是研究人脸技术在互联网金融、视频监控以及安防当中的应用。比如构建针对网上银行在线人脸验证的系统平台，以及人体跟踪和监控的平台，这部分已经在微众银行应用单位得到了应用示范。

产学研合作的成果示范

上海交通大学拥有国家一级重点学科和教育部重点实验室，在可视媒体编辑、计算机视觉、计算机动画等方面具有坚实的研究基础。腾讯公司具有8亿活跃用户，在互联网大数据业务和云计算平台方面都有独到的优势，当然它也是IT领域技术领先的巨头。上海大学在视听新媒体创意实验中心、在信息智能处理、图像/视频编辑、虚拟现实等方向同样具有扎实的工作基础。

我们与腾讯已经有了很长的合作创新历史，五六年前腾讯社交平台部上海团队已与上海交通大学成功合作“优图”项目共五期，取得了显著的成绩：人脸检测技术在全球最具权威的人脸检测评测平台FDDB上排名第一（2014年11月），人脸验证技术在最接近实际数据的人脸识别库LFW上刷新世界纪录（2015年6月）；合作开发的人脸验证技术已经成功应用于互联网银行，目前我们正开展“优图”第五期“优图-人脸技术研究”的合作研究。

下图是一个产学研系统的合作框架，最右边是腾讯公司的大数据云平台，中间是高校的技术，如智能生成与处理，包括了数据的重建、动画生成、编辑处理等。左边的大数据智能服务系统与应用这部分，则包括了视觉无损压缩技术服务平台、人脸的智能服务平台等，可以广泛地应用于影视、动画、门户、社交、电商、搜索、娱乐等。

这个框图也体现了产学研究的过程，我们在人脸识别的这个过程当中也取得了很好的成绩——在公测数据集1、2、3上面检测率都超过了91%，第二个达到了96.15%，这些明显地优于业界的最新方法。在性别方面准确率可以超过95%，年龄误差不超过5岁，是目前已经公开的方法当中最好的。

在人脸检测方面，我们项目组与苹果、安卓的系统相比，准确率上均超过了他们相应的技术指标。在人脸配准方面，与2D-ASM、Texture-AS技术相比，我们的平均误差也是显著低于他们相关的技术，处于世界领先的水平。

目前人脸检测、配准和识别的理论成果，已经应用于海量人脸服务平台开发。智能服务平台就是所谓的海量人脸服务平台，这样的算法与腾讯原有的算法，还有Face++这样的算法比较有明显的提高。

它能够处理高达百亿规模的数据，发展了国内首创的基于人脸图象分析、推荐、挖掘的大数据整体闭环体系。其中涉及到1300台的服务器，每天有1亿人次，目前累计处理已超过了500亿人，服务了超过8亿的QQ用户，有11项腾讯业务的接入，产生了巨大的经济效益。

根据海量人脸智能服务平台，我们还孵化出相关的智能人脸分析技术的应用。比如根据人脸识别派生出了人脸推荐、相册圈人、一键美化、人像风格化等人脸识别技术的应用，以及水印相机、创意相机、天天P图等移动平台的应用。在天天P图等多项腾讯的业务中，用户的数量超过了2000万，其媒体传播效应带来了巨大的商业价值，这点也是非常可喜的。

总体来看我们实现了基于互联网大数据的人脸核身系统，它的功能包括了人脸的检测、配准、验证与活体识别。在可视媒体大数据处理关键技术方面也是取得了相应的成果，提出网络可视媒大数据的智能化压缩技术，基于视觉感知的可视媒体大数据质量评价方法，基于深度学习的结构化理解、识别与检索技术等等。这些智能服务可以广泛地应用于互联网金融、视频监控及安防中。比如可以构建针对网上银行的在线人脸验证系统平台，也可以面向安防监控的人体跟踪和监控平台。

研究展望

最后介绍一下我们的国际合作团队。斯坦福大学在基于图象的重建、计算机图形方面也有非常强的基础。香港中文大学在图象处理、计算机视觉方面也是取得了国际一流的先进技术和成果。

我希望通过国际国内的深入合作，特别是跟腾讯公司深度融入的产学研合作，来提升我们人脸智能设备技术和大数据智能处理方面的成果。需要特别强调的是，我们与腾讯公司合作的优图团队是一种深度地融合模式。在这个模式中，我们交大和上海大学的学生或教师，和腾讯公司的优图团队一起合作，共同针对相应地现实产品需求进行研发，这样的成果一方面是技术上面领先，另一方面在应用上无缝对接，是一种特别好的合作模式。

-END-

4月20日至5月11日，每周三晚8点-9点，将门隆重推出4期以“计算机视觉”为主题的微信群分享活动。活动邀请到了来自创业圈、大公司以及学术界的4位权威技术专家，全方位解读计算机视觉将如何颠覆我们的世界，共同探讨人工智能发展的未来。

第四期分享嘉宾为阿里巴巴iDST研究员华先胜博士，他将与我们分享“图像搜索的前世今生”。

长按或扫描以下二维码，注明姓名-公司或学校，即可申请加入活动微信群。