怪圈是一种循环系统，横贯不同等级的各个层次。通过这种循环，一个人可以追溯他的本源。

　　无独有偶，被YannLeCun称为“机器学习在过去的二十年间最酷的想法”背后，最根本的实际上正是这种“怪圈”。

　　循环在机器学习系统中并不典型，按照惯例，这些系统由不同计算层的无环图构成。然而，我们现在开始发现，采用”反馈循环”能衍生出一种令人难以置信的、新的自动操作。

　　这可不是夸张，这是今天正在发生的事实。研究者们正在训练“精确的”的智能系统，以期创造出在同领域内能力远超于人类的专业自动化。

　　我第一次知道深度学习系统中使用反馈回路是有效的，是在“梯形网络”里。梯形网络在很早之前就被采用了，可以追溯到2015年7月！下图为其结构示意。

　　

　　梯形网络是上下穿梭计算层的单循环回路，后边跟了一个终极单向通道。这套系统从回路部分搜集信息，它被采用之后展示了非常不错的收敛数。这在2016年中的一篇论文中有原始研究人员的进一步讨论：

　　

　　标记：无监督深度学习感知分组

　　如果你将好几个梯形网络串在一起就能形成一个大的网络，它能够将图像中的物件分组。

　　对抗生成网络（GAN）也有它自己的循环回路，但是在结构中看不出来，而是隐藏在它的训练当中。GAN的训练过程中包含了对合作和对抗网络的训练，这涉及了一个生成网络和一个辨别网络。辨别网络想方设法将生成网络生成的数据进行分级；生成网络则是想方设法寻找欺骗辨别网络的数据，最终生成器和辨别器的鲁棒性都得到了提升。GAN可以说在某种程度上达到了图灵测试的要求，是当前最好的图片生成模型。

　　我们基本可以肯定有一种反馈机制，以生成器利用神经网络（辨别器）生成更智能的结果（例如，更真实的图形）这一形式而存在。有很多GANs生成真实图形的案例。无论如何，由于梯形网络，现在有更新的结构在促使GANs改变。

　　

　　这些利用了循环的系统也与关于“增量学习”的新研究有关。深度学习系统的缺点之一就是在微调网络时，用新数据来训练会摧毁之前它掌握的技能。就是说，网络会“忘记”过去的学习。由斯坦福开发的一个称为“反馈网络”模型结构里，研究人员开发了一种特殊的网络，可以自我反馈，还能内部迭代显示。

　　

　　在一篇更近的发表研究成果（2017年3月）中，加州伯克利大学通过GANs和一种新的正则化方法创造出了图形之间的转换，效果惊人。他们把这个系统叫做循环对抗生成网络（CycleGAN），并且有了一些了不起的成果：

　　

　　CycleGAN能够实现优异的图形转换。如上图所示，向它输入绘画作品可以生成真实的照片。它还可以实现类似语义转换的功能，如将马变成斑马、或将某个季节的图片变成另外一种季节的样子。

　　这种方法的关键在于，利用“循环一致的损失”。这种损失确保了这种网络能够实现一种单向转换，之后又能够通过最小损失实现相反的转换。也就是说，网络不仅仅必须学会转换原始图片，还得学会反向转换。

　　训练深度学习系统最大的难题在于缺乏标记数据。标记数据是控制深度学习模型精确性的源头。不过，这些开始采用循环回路的新型系统正在解决缺乏监督的问题。这就像有一个永动机在自动凭空造出一些新的标记数据变量，最后反过来用更多数据来训练自己。这种自动化机制让他们自己和自己进行模拟游戏，“玩”得多了，就能成为这方面的专家。

　　这就类似于阿尔法狗（AlphaGo），它也能够通过自我训练发展出新的策略。当自动化嵌入了反馈回路，而且能够模拟（一些人称之为“想象”）很多不同的情景，还能自测这些情景下的正确性，那么我们就进入了超级科技爆发的临界点。

　　而这种井喷式的快速发展所将带来的科技能量，我们人类文明远未做好掌握它的准备。所以下次如果你看见一些难以置信的深度学习成果，可以尝试寻找嵌在算法里的怪圈。

　　没有任何准备的人们，祝你好运。

第三十五届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。