AI日报:我们该用什么方式去解读神经网络的思想?

来源:戒与缷 2018-07-09 10:57:15

欢迎阅读由“戒与缷”编写的文章。

神经网络它通过分析大量的训练数据来学习执行计算任务,负责人工智能领域最令人印象深刻的最新进展,包括语音识别和自动翻译系统。然而,在训练过程中,神经网络不断地调整其内部设置,即使是其创作者也无法理解。计算机科学方面的许多最新工作都集中在聪明方面。

在最近的几篇论文中,麻省理工学院计算机科学和人工智能实验室(CSAIL)和卡塔尔计算机研究所的研究人员使用了一种最近发展起来的解释技术,该技术已应用于其他领域,用于分析经过训练的神经网络,以便进行机器翻译和语音识别。他们发现了一些关于网络可能如何运作的共同直觉的经验支持。例如,系统似乎集中在较低级别的任务上,例如声音识别或部分语音识别,然后再转移到更高级别的任务,如转录或语义解释。但是研究人员也发现翻译网络所考虑的数据类型中有一个令人惊讶的遗漏,他们表明纠正这种遗漏会提高网络的性能。这种改进是有限的,但它指出了神经网络分析有助于提高人工智能系统的准确性的可能性。

“在机器翻译方面,历史上存在着一种不同层次的金字塔,”CSAIL高级研究科学家吉姆·格拉斯(Jim Glass)说。他曾与麻省理工学院(MIT)电气工程和计算机科学专业的研究生Yonatan Belinkov合作该项目。“在最低层,有单词,表面形式,金字塔的顶端是某种语言间的表示,你会有不同的层次,在那里你在做语法,语义。这是一个非常抽象的概念,但这个想法是,越高的金字塔,越容易翻译成一种新的语言,然后你会再次下降。因此,Yonatan正在做的部分工作就是试图找出网络中编码这一概念的哪些方面。“

机器翻译方面的工作最近在自然语言处理国际联席会议上发表了两篇论文。在一个问题上,Belinkov是第一作者,格拉斯是高级作者,而Belinkov是一个合著者。卡塔尔计算机研究所(QCRI)的研究人员也加入了这两项研究,其中包括Lluís Màrquez、Hassan Sajjad、Nadir Durrani、Fahim Dalvi和Stephan Vogel。Belinkov和Glass是分析语音识别系统的唯一作者,Belinkov在上周的神经信息处理研讨会上介绍了这篇论文。

调平

神经网络之所以如此命名,是因为它们大致接近人类大脑的结构。通常,它们被排列成层,每一层由许多简单的处理单元-节点-组成,每个处理单元都连接到上下层中的多个节点。数据被输入最底层,其节点处理它并将其传递到下一层。层间的连接有不同的“权重”,这决定了任何一个节点的输出在下一个节点执行的计算中所占的比例。

在训练过程中,节点间的权重不断调整。在对网络进行训练之后,它的创建者可以确定所有连接的权重,但是有数千个甚至几百万个节点,甚至有更多的节点之间的连接,推断出这些权重编码的算法几乎是不可能的。麻省理工学院和QCRI的研究人员的技术是利用一个经过训练的网络,利用每个层次的输出来响应个别的训练实例,训练另一个神经网络来执行特定的任务。这使他们能够确定每个层的优化目标是什么任务。

在语音识别网络中,Belinkov和Glass使用各个层次的输出来训练一个识别“电话”的系统,这是一种特定于口语的不同的语音单位。例如,“茶”、“树”和“但是”等词中的“t”可能被归类为单独的电话,但语音识别系统必须使用字母“t”来转录它们。事实上,Belinkov和Glass发现,网络中较低层次的人比更高层次的人更能识别手机,在那里,这种区别大概就不那么重要了。同样,在去年夏天在计算语言学协会年会上发表的一篇论文中,格拉斯、Belinkov和他们的QCRI同事表明,机器翻译网络的较低层次特别擅长识别语音和词法的某些部分,例如时态、数字和共轭。

创造意义

但在新的论文中,他们发现更高层次的网络在语义标记方面更好。正如Belinkov所解释的,一个词性标记者会认识到“她自己”是一个代词,但是这个代词的意思-它的语义-在“她自己买书”和“她自己买这本书”这两个句子中有很大的不同。语义标记者会为这两个“她”实例分配不同的标记,就像机器翻译系统可能在给定的目标语言中为它们找到不同的翻译一样。

性能最好的机器翻译网络使用所谓的编解码模型,因此麻省理工学院和qcri研究人员的网络也使用它。在这样的系统中,输入,在源语言中,通过网络的几个层-称为编码器-生成一个向量,一串数字,以某种方式表示输入的语义内容。该向量通过网络的多个层-译码器-生成目标语言的翻译。

虽然编解码器是一起训练的,但它们可以看作是独立的网络。研究人员发现,奇怪的是,编码器的下层善于区分形态学,而解码器的较高层则不然。因此,Belinkov和QCRI研究人员对网络进行了再培训,不仅根据翻译的准确性,而且根据对目标语言中的形态学的分析,对网络的性能进行了评估。从本质上讲,它们迫使解码器更好地区分形态学。使用这一技术,他们对网络进行了再培训,将英语翻译成德语,并发现其准确性提高了3%。这并不是一个压倒性的进步,但这表明,在神经网络的遮挡下观察可能不仅仅是一项学术练习。

以上就是今天的文章了,有什么不足的地方可以在下方评论区吐槽哦,你们的支持就是我的动力!

点击查看原文

相关链接