[设为首页] [加入收藏]

永德县新闻出版

您现在的位置:主页 > 体育新闻 >

先融合再填充,上海交大提出少样本图像生成新方法F2GA

[时间:2020-08-16 05:23来源:未知作者:admin浏览:]

原标题:先融合再填充,上海交大提出少样本图像生成新方法F2GAN

机器之心专栏

作者:牛力(上海交通大学仿脑计算与机器智能研究中心)

少样本图像生成是很有挑战性的任务,可用的方法也很少。近日,上海交大和 Versa-AI 的研究人员合作发表论文,提出了先融合后填充(fusing-and-filling)的思想,以便更合理地融合条件图片并完善生成图片的细节信息。目前,这篇论文已被 ACM MM2020 会议接收。

少样本图像生成(few-shot image generation)任务是指用已知类别(seen category)的大量图片训练出一个生成模型,然后给定某个未知类别(unseen category)的少量图片,即可为该未知类别生成大量真实且多样的图片。少样本图像生成属于图像数据增广的范畴,可用来辅助很多下游任务,如少样本图像分类等。

在少样本任务系列中,相比少样本分类(few-shot classification)、少样本物体检测(few-shot object detection)、少样本语义分割(few-shot semantic segmentation)等任务,少样本图像生成任务受到的关注较少,可做的空间较大。

虽然在少样本分类方法中,有一类方法是用数据增广的方式提升分类性能,但大多数方法都是做少样本特征生成(few-shot feature generation),即生成图像特征,或者少样本伪图像生成,即生成一些看起来不真实但仍然可以提升分类性能的图像。

而本文关注的少样本图像生成任务和上述任务不同,它致力于生成真实且多样的图片。因此,少样本图像生成任务比少样本特征生成和少样本伪图像生成更具有挑战性。

现有的少样本图像生成方法很少,可以大致归纳为三类:基于优化的方法(optimization-based):这类方法和少样本分类中基于优化的方法类似,只不过它把同样的策略从分类模型转移到了生成模型。比如,FIGR [1] 把 Reptile 应用到生成模型,DAWSON [2] 把 MAML 应用到生成模型。基于变换的方法(transformation-based):输入单张图片,对这张图片进行变换,得到另一张属于同一类别的图片。比如 DAGAN [3] 输入单张图片和一个随机向量,对输入图片进行微调得到新的同类图片。基于融合的方法(fusion-based):输入多张图片,对这些图片进行信息融合,得到新的属于同一类别的图片,该图片包含输入的多张图片的信息。比如 GMN [4] 把 VAE 和 Matching Network 相结合。我们实验室之前的一项工作 MatchingGAN [5] 把 GAN 和 Matching Network 相结合,另外一项工作 F2GAN [6] 提出了融合填充的思想。

网站首页娱乐新闻科技前沿大咖名流热透新闻时尚新闻财经资讯汽车资讯社会新闻女性生活教育新闻社会文化星声星语历史咨询法律在线体育新闻旅游新闻健康新闻军事新闻金融新闻

Power by DedeCms