广告

广告

广告

广告

广告

我的位置: 主页 > 红包文章 > 抢红包技巧 > ICLR 2018 | 彩云科技提出结合组合子抽象的神经编程器-解释器,提升通用性和可学习性

ICLR 2018 | 彩云科技提出结合组合子抽象的神经编程器-解释器,提升通用性和可学习性

发布人:红包群 发时间:2018-02-13 04:37 热度:
原题目:ICLR 2018 | 彩云科技提出结合组合子抽象的神经编程器-解释器,提升通用性和可学习性

参预:李舒阳、刘晓坤

近日,ICLR 2018 接收论文发布,国内人工智能公司彩云科技的一篇论文被此大会接收。在此论文中,作者们通过引入组合子抽象的要领,谁有红包群拉我进去,可以成立一种新的架构 CNPI,使得核心控制器需要解释的措施显著减少且措施庞大度显著降低,从而克服神经编程器-解释器(NPI)在通用性和可学习性存在局限性的问题。

论文:IMPROVING THE UNIVERSALITY AND LEARNABILITY OF NEURAL PROGRAMMER-INTERPRETERS WITH COMBINATOR ABSTRACTION



论文地点:https://openreview.net/pdf?id=rJlMAAeC-


摘要:为了克服神经编程器-解释器(NPI)在通用性和可学习性方面的局限,本文提出在神经编程中引入组合子抽象(combinator abstraction)要领,并为此提出了 NPI 的一种新架构——组合神经编程器-解释器(CNPI)。有了组合子抽象,CNPI 的核心控制器需要解释的措施显著减少且措施庞大度显著降低,同时在核心控制器与其他组件的协同感化下,CNPI 仍然可以暗示和解释任意庞大度的措施。本文提出用四个组合子来表征最常见的四种编程模式。由于组合子数量有限,形式简单,并且减少了核心控制器的解释事情量,我们可以结构出一个 CNPI,使之适用于所有可「组合子化」(即可用组合子描述)的措施,这样足以解决大大都算法任务。别的,通过得当地设计课程,可能直接用计谋梯度增强学习来训练 CNPI,无需供给措施执行轨迹。


1 引言


教机器学措施是个有挑战的任务。研究者提出了很多模型,例如神经图灵机(Graves et al., 2014)、可微分神经计算机(Graves et al., 2016)、神经 GPU(Kaiser & Sutskever, 2015)、神经编程器(Neelakantan et al., 2015)、神经随机存取机(Kurach et al., 2015),还有神经编程器-解释器(Reed & de Freitas, 2016)。这些模型凡是含有可微分存取的存储组件。大大都模型以措施输入-输出对作为训练数据,2015红包群头像,训练后的神经网络可以成为特定的方针措施,仿照一种特定的图灵机。


这些模型中的一个特例是神经编程器-解释器(NPI)(Reed & de Freitas, 2016)及其撑持递归的扩展形式(Cai et al., 2017,在该论文中被称为 RNPI)。NPI 包罗三个组件:一个核心控制器,凡是由递归神经网络(RNN)实现;一个措施存储器,用于存储已学得措施的嵌入向量;还有多个特定域编码器,微信红包群号码大全,让单个 NPI 在多种环境中均可运行。核心控制器不学习任何特定的措施,而是学习解释任何一个用向量暗示的措施,即仿照一个通用图灵机。核心控制器(即解释器)与已学得措施的存储器(即编程器)相结合,使 NPI 能够通过合子措施来学习新的措施,其架构更灵活也更具可组合性。然而,NPI 在理论和实际应用方面依然存在一些局限。


NPI 模型之所以可能适用于多任务学习、迁移学习和终身学习,是因为研究者假设 NPI 理论上具有通用性,即能够表达和解释任何措施。由于 NPI 仅靠核心控制器来解释措施,通用性意味着一个固定的核能够解释潜在的大量措施。想要连续地学习新措施并复用已学得的措施,一个普适且固定的核至关重要,因为一旦核的权重转变,学习了新措施就可能没法解释学过的旧措施了。尽管最早提出 NPI 的论文(Reed & de Freitas, 2016)尝试显示单个共享的核可以解释 21 个措施,涵盖五种任务,并且训练过的固定核 NPI 还可以学习一个简单的新措施 MAX,但尚不清楚普适的 NPI 是否存在、究竟能够多普适。具体而言,考虑到所有可能的措施是个无限集,能够被一个固定核解释的措施子集并没有被显式界说。就算存在普适的 NPI,用 Cai et al. (2017) 论文中提出的验证要领也很难保证其通用性,因为需要验证无穷个措施。


实际应用时,Reed & de Freitas (2016) 的 NPI 模型需要强监督训练,也就是以措施的示例执行轨迹为训练数据。获取这种形式的训练数据,其本钱往往高于获取措施输入-输出示例。对比之下,弱监督训练才是丰裕阐扬 NPI 潜力的抱负选择。


为了克服 NPI 的上述局限,本文提出将组合子抽象要领引入 NPI 模型,并为此设计了须要的组件和机制来增强原有的 NPI 架构。新架构被称为组合神经编程器-解释器(CNPI)。组合子,即高阶函数,是函数式编程中一种重要的抽象技巧,本文借用组合子的观点来暗示差别措施共有的一些编程模式。


2 组合子抽象概述


2.1 综述 NPI 及其局限


分享给朋友: