网页游戏技术

联系方式

网页游戏技术主页 > 网页游戏技术 >

开源人工智能图像超分辨率算法通过增量残差学习改进超分辨率方法

发布时间:2018-10-05 编辑:admin
导读:原标题:开源人工智能ag官方网站图像超分辨率算法通过增量残差学习改进超分辨率方法 开源人工智能图像超分辨率算法通过增量残差学习改进超分辨率方法(特约点评:开源人工智能图像超分辨率算

原标题:开源人工智能图像超分辨率算法通过增量残差学习改进超分辨率方法

开源人工智能图像超分辨率算法通过增量残差学习改进超分辨率方法(特约点评:开源人工智能图像超分辨率算法通过增量残差学习改进超分辨率方法对于图像超分辨率算法提供了新的思路,这个创新点趣说人工智能必须推荐。来自网友笑笑的推荐!)

开源人工智能图像超分辨率算法通过增量残差学习改进超分辨率方法摘要:最近,深度卷积神经网络(CNNs)在高分辨率(HR)图像的精确重建中表现出了良好的性能,因为它具有低分辨率(LR)对应部分。然而,最近最先进的方法主要用于LR图像以提高存储效率,但我们表明它是以性能为代价的。此外,由于这种网络的输入和输出的空间维度不匹配,因此不可能学习图像空间中的残差;我们表明,学习图像空间中的剩余部分可以提高性能。为此,我们提出了一种新颖的增量残留学习(IRL)框架来解决上述问题。在IRL中,一组分支,即任意图像到图像网络被顺序训练,其中每个分支采用空间上采样的高维特征图作为输入,并预测所有先前分支的残差。我们将最新的最先进的方法作为基础网络插入IRL框架中,并通过对公共基准数据集的广泛实验证明了一致的性能增强,从而为超分辨率设置了新的技术水平。与基本网络相比,我们的方法不会产生额外的内存开销,因为一次只训练一个分支。此外,由于我们的方法被训练为学习残差,因此相对于基础网络仅在20%的时间内训练完整的分支集合。

开源人工智能图像超分辨率算法通过增量残差学习改进超分辨率方法介绍:单图像超分辨率(SR)旨在从低分辨率(LR)图像ILR生成高分辨率(HR)图像ISR,使得其类似于原始HR图像IHR。从形式上讲,目标是学习映射函数f(x),使得IHR ISR,其中ISR = f(ILR)。 SR最近引起了研究人员的极大兴趣,因为它是:(i)由于多种可能的结果而固有的反常问题; (ii)一个重要的低级计算机视觉问题,在许多领域都有应用,例如监视或医学成像等。

随着卷积神经网络(CNN)成功应用于图像传输任务,许多研究人员最近将基于CNN的技术应用于SR问题[3,9,10,18,19,13,14,22,12,31]并且发现它优于较老的手工制作方法,如插值[30],基于重建的方法[4,27,29]或dictio-

基于nary的方法[26,25,20,21]。具体来说,董等人。 [3](SRCNN)首次提出了使用CNN进行SR的想法,并显示出优于先前方法的显着改进。他们的网络采用插值的HR版本的图像作为输入,并应用3个卷积层来重新插入插值图像。 Kim等人。 VDSR [9]通过对图像空间中的残差进行明确建模来解决SRCNN [3]中遇到的训练困难。这种改进不仅使培训更容易,而且还使深度网络的培训变得可行。在VDSR之后,后来的方法[10,18,19]侧重于改进网络架构并显示出增强的性能。但是,由于这些网络采用插值的HR版本的图像作为输入,因此它们具有高内存和计算要求。

为了解决这个问题,Ledig等人。 [13]引入了SRRes-Net,它将ILR作为输入并主要在LR空间中应用卷积运算,然后在最后对层进行上采样以产生ISR。这个框架已经变得非常流行,因为几乎所有最近的方法[14,22,12,31]最终都使用了上采样层。虽然这些网络不会受到高内存要求和昂贵的计算成本的影响,但它们有两个设计限制。首先,这些网络过于迅速地对特征映射进行上采样,因此无法可靠地了解LR空间和HR空间之间的内容差距。其次,由于输入和输出的空间维度不匹配,这些网络无法明确地学习图像空间中的残差。

开源人工智能图像超分辨率算法通过增量残差学习改进超分辨率方法贡献:我们假设:(i)LR特征图和期望的HR输出图像之间存在大的内容差距,并且使用卷积层在单个转换步骤中无法可靠地学习这个间隙; (ii)不是直接对HR图像建模,而是应该明确地对图像空间中的残差进行建模,以更好地模拟精细水平细节。

因此,为此,我们提出了IRL框架:一种新的SR任务学习设置,可以提高现有网络的性能。 IRL使用现有的预训练网络(称为主分支)并逐步添加剩余学习分支。每个添加的残差分支是主分支的标识副本,除了它(i)与主分支相比深一半,(ii)用于上采样特征映射,(iii)训练学习所有残差以前的分支合并。在每个分支的培训期间,所有以前的分支都保持冷冻。在测试时,将添加所有分支的输出以形成最终输出。在计算方面,使用IRL改进网络只会增加20%的额外训练时间,并且不会因残差的顺序训练而产生额外的内存开销。我们提出的架构可以使所有现有的最先进的SR网络始终如一地提高性能。

总的来说,我们做出以下贡献:(i)从LR到HR图像的平滑映射的新学习策略; (ii)学习图像空间残差的剩余学习框架; (iii)SR任务的最新技术。

开源人工智能图像超分辨率算法通过增量残差学习改进超分辨率方法相关工作:我们将讨论分为两个单独的主题,并在以下各节中单独进行讨论。2.1。超高分辨率CNNs最近,基于CNN的方法已经显示出对SR任务的显着改进,因此已经证明了用于学习从LR到HR空间的复杂非线性映射的强大潜力。具体来说,SRCNN [3]首先引入了使用CNN以端到端的方式学习SR任务的想法,并且显示出优于现有方法的显着改进。然后VDSR [9]通过明确地模拟图像空间中的残差学习来解决SRCNN [3]中遇到的训练困难,并提出了从VGGnet [17]启发的非常深的20层CNN。同样,DRCN [10]引入了使用非常深的递归层在网络中共享的参数。之后,DRRN [18]和MemNet [19]专注于改进网络架构。具体而言,DRRN [18]递归地应用卷积层以迭代地细化图像,并且MemNet [19]采用存储块来考虑分层信息。然而,由于所有这些方法都在图像空间中使用残差学习,因此输入图像和目标图像的空间维度必须相同,因为这些网络将图像的内插HR版本作为输入作为输入。因此,这些方法具有高内存要求和高计算成本。

为了解决这个问题,最近的方法是输入LR图像并主要在LR空间中应用卷积运算,然后对图层进行上采样以产生HR图像。由于这些方法适用于LR空间中的大多数操作,因此它们不会遇到高内存要求和更高的计算成本。例如,SRRes-Net [13]为SR调整ResNet架构[5],然后采用ESPCNN [16]进行高效上采样。 Lim等人。 [14]通过在上采样后删除不必要的模块(例如批量归一化和激活函数)来改进SRResNet [13],并提出EDSR基线(EDSRb)和EDSR,它们显示出增强的性能。 SRDenseNet[22]采用DenseNet [6]架构与跳过连接相结合,明确建模低级特征。 LapSRN[12]在处理每个尺度上的特征图并预测图像空间中的残差之后,采用拉普拉斯AAA型CNN迭代地上采样特征图。然后,最近,RDN [31]合并了EDSR的残余块[14]和SRDenseNet [22]的密集跳过连接形成残差密集块,以改善低级特征监督,从而产生更好的性能。

目标函数:尽管神经网络的性能主要由目标函数驱动,但除了少数[8,32,13]之外,还没有广泛的研究调查损失函数在SR背景下的作用。但通常情况下,网络要么在更简单的像素差异上进行优化,要么在更复杂的感知激励目标函数上进行优化。因为我们的工作主要集中在优化PSNR,所以这里不讨论感知动机的SR工作。早期的网络主要采用L2 Loss,因为(i)它直接优化PSNR,(ii)它有很好的优化属性[23]。但是,赵等人。 [32]已经定量和定性地对目标函数对SR性能的影响进行了广泛的调查。具体来说,它(边缘)优于L1,但它在平原区域留下了斑点伪影,因为它过度惩罚大错误并忽略了小错误。另一方面,L1损失以更清晰的边缘恢复为代价去除了斑点伪影。 Fol-than L2损失。

开源人工智能图像超分辨率算法通过增量残差学习改进超分辨率方法结论和未来的工作:在这项工作中,我们认为完全处理LR空间 - 正如最近的艺术状态所做的那样 - 是次优的。此外,由于最近的方法将LR图像作为输入,因此不可能学习图像空间中的残差。我们通过引入残差分支来解决上述问题,残差分支将主分支的较高维度特征图(即任意预训练SR网络)作为输入,并预测其残差。我们凭经验证明,这样做始终如一地提高了现有技术网络的性能。此外,我们发现剩余分支上的L2损失优于L1损失,因为残余分支明确地模拟高频信息而不是主分支,其直接模拟HR图像作为整体。

我们通过对基准数据集的大量实验表明,在现有技术水平上添加剩余分支始终优于其原始性能。话虽这么说,训练剩余分支需要(i)相对于主分支开销没有任何存储器内存,因为一次仅训练一个分支,以及(ii)仅需要20%的训练时间,因为只需要学习残差。

最后,值得强调的是,由于简单性,残留分支中使用的网络体系结构与主分支中使用的网络体系结构相同。然而,由于主分支中的学习目标的性质不同于剩余分支中的学习目标的性质,因此优化残余分支中的网络架构可能导致优越的性能。因此,交叉验证剩余分支的网络架构可以证明是有希望的方向。

开源关键词:muneebaadil/sisr-irl

原文标题:Improving Super-Resolution Methods via Incremental Residual Learning返回搜狐,查看更多

责任编辑:

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。 阅读 ()
更多行业资讯,请关注玩手机游戏或添加微信号:http://www.chinaz.com/news/2018/0730/919786.shtml

本文源自: 环亚国际

Copyright © 2005-2017 http://www.makilaro.com 环亚国际_环亚国际娱乐_环亚国际娱乐平台_腾讯财经版权所有 环亚国际_环亚国际娱乐_环亚国际娱乐平台_腾讯财经