探花 白虎

近期，国外贪图机视觉与口头识别会议CVPR 2022在好意思国新奥尔良举行，并同步进行线上会议。由王君乐博士率领的腾讯Turing Lab履行室提交的论文《High-resolution Face Swapping via Latent Semantics Disentanglement》（基于隐语义解耦的高分辨率换脸）成功入选。

论文由腾讯Turing Lab与华南理工大学、卡迪夫大学及中国香港大学合营完成。接下来，咱们将为大众解读论文的中枢遵循，全部来学习贪图机视觉边界的最前沿筹商吧！

基于隐语义解耦的高分辨率换脸

High-resolution Face Swapping via Latent Semantics Disentanglement

在换脸任务中，咱们需要针对给定的源脸和计算脸，将源脸的身份信息迁徙至计算脸上，并同期保捏计算脸的属性信息。该时刻频年来获取多量温和的，并在互动文娱、广电、安全与心事保护等边界均展现出较大的应用后劲。

这篇论文建议了一种新的、基于预考试GAN模子中内在先验学问的换脸法式，完结了高分辨率（1024X1024）换脸。该法式除了能保捏计算脸的常见属性信息，如激情、姿态、光照、布景等除外，还不错更好地保捏计算脸的妆容信息。

在这个责任中，咱们诈欺生成抵挡模子隐空间的解耦特色，将不同性质的属性鉴别迁徙。具体来说探花 白虎，激情、姿态等是与结构有关的属性，而光照、作风等是与外不雅有关的属性。这两类属性由隐编码的不同层鉴别法例：一张图片隐编码的前半部分法例结构信息，尔后半部分法例外不雅信息。

咱们先鉴别将源脸和计算脸回转到StyleGAN的隐空间内。同期将源脸和计算脸要津点的热图送入要津点编码器，得到一个结构属性改换向量，这个向量作用在源脸的隐编码上，即可完结结构属性的迁徙。

同期，咱们用计算脸隐编码的后半部分代替源脸隐编码的后半部分，这么即可完结外不雅属性的迁徙。将搞定之后的隐编码送入预考试好的StyleGAN中，即可得到初步的换脸收尾。

此外，为了完结计算脸布景的迁徙，咱们将计算脸径直送入计算编码器，得到不同分辨率的特征，并和StyleGAN中间进程中产生的特征在解码器中进行和会。这么咱们就获取了最终的收尾y。履行收尾标明，咱们的法式在图片和视频换脸任务中，很多方面的效果均提升了多SOTA法式。

注：图片只用作学术筹商，无谓于贸易用途。

对于CVPR

CVPR 全称 IEEE 国外贪图机视觉与口头识别会议（IEEE Conference on Computer Vision and Pattern Recognition），该会议始于 1983 年，是贪图机视觉和口头识别边界的顶级会议。本年大会共收到来自全球各大高校、科研机构与科技公司共8186篇投稿，最终摄取的论文险些王人代表了年度贪图机视觉边界最新、最高科研水平以及改日发展趋势。

这次论文入选，亦然对腾讯Turing Lab履行室现阶段科研及翻新才略的招供。改日，腾讯Turing Lab将络续用功，为大众在贪图机视觉边界带来更多可能。

腾讯Turing Lab履行室发扬东说念主

王君乐博士

腾讯众人筹商员

领有十余年贪图机视觉、多媒体、机器学习边界筹商劝诫，在东说念主体姿态猜想与重建、图像质地评价、贪图照相学、千里浸式多媒体等边界有较深的了解及实战劝诫，并在这些边界率领团队进行探索与落地的责任。

村上里沙兽皇

曾主导腾讯CenseoQoE画质评价有计算的配置与社区开源，主导腾讯前卫云游戏云霄虚实互动时刻的研发。此外，在包括CVPR、NeurIPS、TIP、TMM等顶级会议及期刊上发表多篇论文探花 白虎，并为多个会议及期刊担任审稿东说念主及组织者。