清华大学毕业证高清发生器衍生式和清华大学毕业证照片发生器

本文讨论清华大学毕业证高清版生成器诱导式研究。清华大学：我还会详细说明毕业证照片生成器！
1.清华院士专刊文章：第三代人工智能(包括专刊)
2、什么是python生成器派生？
3.博士后姐姐升级了“二次元妻子生成器”。这次可以指定“画风1”、“清华”院士专刊文章：面向第三代人工智能(包括专业)的机器之心。
这篇评论文章中，清华大学人工智能研究院院长、中国科学院院士张卫英教授发表了自己对“第三代人工智能”的看法。他说第三代AI
发展的想法是将第一代的知识动态与第二代的数据动态结合起来，利用知识、数据、算法、算力等4个要素构建更强大的东西。
AI，目前有双重空间模型和单一空间模型两种方案。这篇文章对这篇评论发表了全文。
人工智能(ArtificialIntelligence，AI)在60
在多年的发展历史中，一直有两种相互竞争的范式：符号主义和连接主义(或婴儿澳大利亚)。象征主义(即第一代人工智能)直到20世纪80年代一直主导着AI
的发展，连接主义(即第二代人工智能)从20世纪90年代到本世纪初进入高潮，替代符号主义的势头很大。但是今天看来，这两种范式只是从不同的方面模仿人类的心灵
(或者说大脑)，有各自的片面性，无法触及人类真正的智力。
清华大学人工智能研究院院长、中国科学院院士张英教授发表《纪念《中国科学》创刊70
在《周年专刊》上发表署名文章，首次全面阐述第三代人工智能的理念，第三代人工智能的发展路径是融合了第一代知识驱动和第二代数据驱动的人工智能。
同时利用知识、数据、算法、算术能力等四个要素，构建新的可解释、坚实的AI理论和方法，开发安全、可靠、可靠、可扩展的AI技术，这是发展AI
年成立以来，清华大学人工智能研究院凭借“一个核心、两种融合”的发展战略，大力推进人工智能基础理论和基本方法的源泉性和颠覆性创新，在人工智能基础理论、核心技术、产学研合作等方面取得了创新成果。人工智能的序幕刚刚拉开，正剧正在上演。基础研究是科技创新的源泉。特别是在当前复杂多变的国际环境下，要提高我国的原始创新能力，长期下功夫实现人工智能领域，需要付出更多的努力。
以下全文载有张元院士的文章《迈向第三代人工智能》。
人类智能行为是如何产生的，纽韦尔、西蒙等[1 ~ 4]提出了模拟人脑的以下符号模型：物理符号系统假设。该系统包括：
(一)任意符号集集、操作符号的规则集；
(2)这些操作是纯语法(syntax)。也就是说，仅包含符号的格式不包含含义，工作内容包含符号的组合和重组。
(3)这些语法有系统的语义解释，即它所指的对象和描述的事态。
在1955年麦卡锡和明斯基等学者[5]达特茅斯人工智能夏季研究项目(theDartmouthSummerResearch)上，
在projectonartificialintelligence(projectonartificialintelligence)的建议中，明确建议符号AI(artificialintelligence)
基本想法：“人类思维的很大一部分是根据推理和推测规则操作单词(Words)构成的。”根据这个想法，他们提出了基于知识和经验的推理模型，所以我们又加了符号。
开拓者最初的推理(如“手段-目的分析(meanendanalysis)”、“分割(divideandconquer)”、“试错(divideandconquer)”)。例如，机器人放置积木，简单的精子器(tic-
Tac-toe)等与解决复杂的现实问题相去甚远。寻找通用汽车AI的努力失败了，奇虎AI在20世纪70年代初跌入谷底。
幸运的是，斯坦福大学教授费根伯格(e.a .)。
Feigenbaum等认为知识，特别是特定领域的知识是人类智能的基础，并提出了知识工程(knowledgeengineering)和专家系统(expertsystems)等一系列长处。
AI方法给奇虎AI带来了希望。他们开发了专家系统DENDRAL(有机化学结构分析系统，1965 ~ 1975) [6]，之后其他学者相继开发。
MYCIN(血液传染病诊断和抗菌药物处方，1971 ~ 1977) [7]、XCON(计算机硬件组合系统)等。但是早期的专家系统规模小，很难实用。
到1997年5月为止，IBM的深蓝(deepblue)国际象棋计划击败了世界冠军卡斯帕罗夫(Kasparov)、奇虎AI。
能够真正解决大规模复杂系统开发问题。佩根堡和莱蒂(R.Raddy)作为设计和构建大型人工智能系统的先驱，1994年共同获得了ACM图灵奖。
也可以应用于机器学习，可以将“机器学习”视为基于知识的推理。以下是以ILP(IDUCTIVELOGICPROGRAMMING)[8]为例的符号说明
中间正负样本(具体例子)、背景知识和学习结果(假设)都以第一逻辑子句(程序)的形式表示。学习过程是在假设空间中寻找假设。这个假设应该包括尽可能多的定例，尽量不包括负例，与背景知识一致。一般来说，家庭空间很大，学习很困难，但有背景知识可以大大限制家庭空间，使学习成为可能。显然，背景知识越多，学习速度越快，效果也越好。
为了解决不确定问题，近年来开发了概率摘要逻辑编程方法(probabilisticinductivelogicprogramming，PILP)[9]。基于知识的学习由于背景知识，可以实现小样本学习，并且很容易扩展到其他领域，学习的鲁棒性也很强。以“迁移学习”(transferlearning)[10]为例，您可以将学习的模型从一个场景更新或迁移到另一个场景，从而进行跨领域和跨任务的宣传。
首先，在学习培训环境(包括培训数据和方法)中，利用可以跨域或跨任务迁移的知识(即通用性)、单个域或单个任务的特定知识以及有助于提高大象域或目标任务性能的一般知识。这些一般知识主要通过以下内容实现
通道迁移到大象域。也就是说，源域中可用的实例、源域和大象域中可共享的特征、源域模型中可用的部分以及源域中图元之间的特定规则。知识在迁移学习中起着重要的作用，因此是符号。
在为创造符号AI做出巨大贡献的学者中，除了费根堡和莱蒂(1994年)外，明斯基(1969年)、麦卡锡(1971年)、纽威尔和西蒙(1975年)都是6
获得图灵奖(括号中的数字表示获奖的年份)。总之，第一代AI的成功来自以下三个基本要素。以深蓝色程序为例1
是知识和经验。“深蓝”是国际象棋大师已经下的70万盘围棋和大量的5-6。
总结了在围棋比赛中下棋的规则。此外，在象棋大师和深蓝上传的过程中，调试了“评价函数”的6000个参数，将大师的经验引入程序中。第二
是算法。深蓝色使用阿尔法吗？修剪算法有效地提高了搜索效率。第三种是计算力(计算力)，为了满足实时要求，深蓝色使用IBMRS/6000SP2，11.38G
FLOPS(浮点运算/秒)、每秒2亿步或3分钟可执行5000万次游戏(positions)。
具有坚实的认知心理学基础，将符号系统作为人类高级精神活动的模型的优点是符号具有组合性(compositionality)，因此可以从简单的原子符号组合成复杂的符号字符串。每个符号对应一个特定的含义，客观地反映了语义对象的组合性。例如，用简单的部件将整个组合在一起等，组合性是推理的基础，所以是符号。
AI就像人类的理性智能一样，可以解释，也容易理解。符号AI
也有明显的局限性。目前存在的方法只能解决完整的信息和结构化环境中的确定性问题，其中最具代表性的成果是
IBM的“深蓝”国际象棋程序只是在完整的信息游戏(决策)中战胜人类，这是游戏中最简单的情况。人类的认知行为(cognitivebehavior)，例如决策，是在不完整的信息和非结构化的环境中进行的。
用自然语言形式(离散符号)表达的人类知识，计算机很难处理，需要找到计算机容易处理的表达，这就是知识表达问题。传统的知识表达方法，如生产规则(productionrules)、逻辑程序(logicprogram)等，计算机很容易处理(如推理等)，但都比较简单，表达能力有限，难以描述复杂和不确定的知识，推理也很难进行更复杂的知识表达和推理形式。符号
AI缺乏数学基础，除了数学逻辑外，很难使用其他数学工具。这是符号AI难以在计算机上高效执行的重要原因。
以知识为中心的强大AI只能作为事项解决特定问题，没有广泛应用的薄弱方法，即通用。
AI，这还是一个值得讨论的问题。另外，从文本、图像、语音、视频等原始数据获取知识，目前主要是手工，需要探索效率低下、有效的自动获取方法。另外，真正的智能系统需要常识，常识如何获得、表达和推断仍然是需要解决的问题。常识量巨大，制作实用常识库无异于一件事。
AI的“曼哈顿项目”既费时又劳动密集型。
感觉信息(视觉、听觉、触觉等)如何存储在记忆中，影响人类的行为？有两种基本观点，一种观点是这个信息用某种编码表示。(记忆)神经网络中的符号AI
属于这个学派。另一种观点是，感官的刺激没有存储在记忆中，而是在神经网络中建立“刺激-反应”连接(通道)，以保证智力行为的发生，这是连接主义的主张，连接主义。
罗森布拉特根据连接主义的思维方式，建立了人工神经网络(artificialneuralnetwork，ANN)的原型——感觉器(Perceptron) [13，14]。感知机器的灵感来自两个方面。
1943年McCulloch和Pitts提出的神经元数学模型3354“临界逻辑”线路将神经元的输入转换为离散值(通常称为M-P)。
模型[15]。第二个来自1949年Hebb(D . o . HEBB)提出的HEBB学习率，即“同时释放的神经元连接”[16]。识别器如图1所示。
AI的创始人从一开始就关注连接主义的想法。1955年麦卡锡等人在达特茅斯ai
研究建议中的“如何安排(虚拟的)神经元形成概念？”写着。
虽然出现了一些结果，但问题是需要更多的理论工作。"[5]将其列为会议的讨论内容之一。由识别器组成的ANN只有一个隐蔽层，太简单了。明斯基等人[17]
根据年出版的书《感知机》，识别器只能解决线性可分离问题，即使增加隐层数，也没有有效的学习算法，所以识别器不实用。明斯基对识别器的批评是致命的，因此造就了刚刚开始的连接主义
AI已经跌到谷底超过10年了。在困难时期，在很多学者的共同努力下，30
多年来，神经网络模型和学习算法都取得了很大的进步，逐渐形成了深度学习的成熟理论和技术。
其中，重要进展排在第一位，是GRADIENTDESCENT(GRADIENTDESCENT)。这是原来法国数学家Cauchy (Cauchy)[18]早在1847年就有的老算法。
那一年已经提出来了。到1983年，俄罗斯数学家尤里涅斯特诺夫(YuriiNesterov)[19]得到了改进，提出了加强版，使其更加有用。第一个
2、反向传播(backpropagation，BP)算法，这是根据ANN调整的，1970年芬兰学生SeppoLinnainmaa
首先在他的硕士论文中提出。1986年，鲁梅哈特、辛顿等人进行了系统的分析和肯定。梯度下降和BP算法都是ANN
的学习训练与“阈值逻辑”、“Hebb学习率”一起，为构成ANN四大支柱注入了新的动力。
除了四大支柱外，还有一系列重要的工作，包括更好的损失函数，如交叉熵损失函数(cross-entropycostfunction)[21]。
改进算法的新网络形式，如防止过度拟合的“正则化方法”(regularization)[22](例如1980年)
日本福岛亲情的卷积神经网络(CNN) [23，24]、财鬼警网(recurrentneuralnetworks、recurrentneuralnetworks
Termmemoryneuralnetworks，LSTM)[26]，深度信念网络(deepbeliefnets，DBN)[27]
等等。这些工作共同开创了基于深度学习的第二代AI的新时代[28]。
第二代AI的学习理论有坚实的数学基础，为了说明这一基础，下面以简单的监督学习为例，监督学习可以形式化为以下函数回归问题：数据库D
从中提取样品，估计样品中反映的输入-输出关系f:XY。也就是说，在替换函数族(假设空间)F=中，函数F？选择。使平均值接近实际。
F.在深度学习中，这个替代函数族用深度神经网络表示。
参数学习有三个基本假设。(1)独立性假设：损失函数和替换函数族F(或神经网络结构)的选择与数据无关。(2)高容量家庭：
样本(x_i、y_i)的数量巨大(n)。(3)完整性假设：训练样本完整且无噪音。
如果上述假设都得到满足，f？随着样本数的增加，最后收敛到实际函数中
F.因此，如果存在特定质量的大数据，由于深度神经网络的共性(universality)，可以接触到所有函数，因此通过深度学习找到数据背后的函数在理论上是有保证的。这个论断在许多实际应用中得到了证实。例如，在标准图像库(standard image library)中，
Imagenet (20，000个类别，1400万张照片)的机器识别性能，2011年误认率高达50%至2015年
微软利用深度学习方法，将误食率大大降低到3.57%，比人类的误食率低5.1%[29]。低噪声背景下的语音识别率，2001年
年前基本停留在80%左右，2017年识别率达到95%以上，满足了商品化的要求。
2016年3月，Google围棋节目Alpha GO击败世界冠军李世石(WHA GO)，这是第二代AI巅峰之作。因为2015年
年前电脑围棋节目最多业余5段！更令人惊讶的是，这些超越人类性能成果的成果不需要领域知识的帮助，只需输入图像原件即可。像素、语音原始波形和围棋棋盘的布局（图像）！
深度学习的成功来自于以下3个要素：一是数据，以AlphaGo为例，其中AlphaGo-Zero
通过强化学习自学了亿级的棋局，而人类在千年的围棋史中，下过的有效棋局只不过3000万盘。二是算法，包括蒙特卡洛树搜索（Monte-
Carlotreesearch）[30]、深度学习和强化学习（reinforcementlearning）[31]等。三是算力，运行AlphaGo
的机器是由1920个CPU和280个GPU组成的分布系统。因此第二代AI又称数据驱动方法。
在创建第二代AI中做出重大贡献的学者中，有以下5位获得图灵奖。他们是菲丽恩特（L.G.Valiant，2010）、珀尔（J.
Pearl，2011）、本杰奥（Y.Bengio，2018）、辛顿（G.Hinton，2018）、杨立昆（Y.LeCun，2018）等。
年，深度学习的诸多缺陷不断地被发现，预示着这条道路遇到了瓶颈。下面仅以基于深度学习的图像识别的一个例子说明这个问题（材料引自本团队的工作）。文献[32]
表示利用基于动量的迭代快速梯度符号法（momentumiterativefastgradientsignmethod，MI-FGSM）对
Inceptionv3深度网络模型实施攻击的结果。无噪声的原始图像——阿尔卑斯山（Alps），模型以94.39%的置信度得到正确的分类。利用MI-
次迭代之后生成攻击噪声，将此攻击噪声加进原图像后得到攻击样本。由于加入的噪声很小，生成的攻击样本与原始图几乎没有差异，人类无法察觉，但
Inceptionv3模型却以99.99%的置信度识别为「狗」。
深度学习为何如此脆弱，这样容易受攻击，被欺骗和不安全，原因只能从机器学习理论本身去寻找。机器学习的成功与否与3
项假设密切相关，由于观察与测量数据的不确定性，所获取的数据一定不完备和含有噪声，这种情况下，神经网络结构（备选函数族）的选择极为重要，如果网络过于简单，则存在欠拟合（under-
fitting）风险，如果网络结构过于复杂，则出现过拟合（overfitting）现象。虽然通过各种正则化的手段，一定程度上可以降低过拟合的风险，但是如果数据的质量差，则必然会导致推广能力的严重下降。
此外，深度学习的「黑箱」性质是造成深度学习推广能力差的另一个原因，以图像识别为例，通过深度学习只能发现重复出现的局部片段（模式），很难发现具有语义的部件。文献
[33]描述了利用深度网络模型VGG-16对「鸟」原始图像进行分类，从该模型pool5层147
号神经元的响应可以看出，该神经元最强烈的响应是「鸟」头部的某个局部特征，机器正利用这个局部特征作为区分「鸟」的主要依据，显然它不是「鸟」的不变语义特征。因此对于语义完全不同的对抗样本（人物、啤酒瓶和马等），由于具有与「鸟」头部相似的片段，VGG-16
模型pool5层147号神经元同样产生强烈的响应，于是机器就把这些对抗样本错误地判断为「鸟」。
第一代知识驱动的AI，利用知识、算法和算力3个要素构造AI，第二代数据驱动的AI，利用数据、算法与算力3个要素构造AI。由于第一、二代AI
只是从一个侧面模拟人类的智能行为，因此存在各自的局限性。为了建立一个全面反映人类智能的AI，需要建立鲁棒与可解释的AI
理论与方法，发展安全、可信、可靠与可扩展的AI技术，即第三代
AI。其发展的思路是，把第一代的知识驱动和第二代的数据驱动结合起来，通过同时利用知识、数据、算法和算力等4个要素，构造更强大的
AI。目前存在双空间模型与单一空间模型两个方案。
所示，它是一种类脑模型，符号空间模拟大脑的认知行为，亚符号（向量）空间模拟大脑的感知行为。这两层处理在大脑中是无缝融合的，如果能在计算机上实现这种融合，AI
就有可能达到与人类相似的智能，从根本上解决目前AI存在的不可解释和鲁棒性差的问题。为了实现这种目标，需要解决以下3个问题。
知识（包括常识）与推理是理性智能的基础,在第一代AI中,以物理符号系统模拟人类的理性智能,取得显著的进展,
但无论在知识表示还是推理方法上都有大量的问题需要进一步探讨。下面以IBMDeepQA项目[34]为例说明最近的进展,之所以选择这个例子是因为基于
DeepQA构成的Watson对话系统,在2011年2月美国电视「危险边缘」智力竞赛节目中,以压倒优势战胜全美冠军K.詹宁斯
(KenJennings)和B.拉特(BradRutter),表明Watson是一个成功的AI系统。Watson关于知识
表示和推理方法的以下经验值得借鉴:（1）从大量非结构化的文本自动生成结构化知识表示的方法,（2）基于知识质量的评分表示知识不确定性的方法,（3）
基于多种推理的融合实现不确定性推理的方法。
Watson系统将「问答」(question-answer)看成是基于知识的从「问题」到「答案」的推理，为了达到人类的答题水平，
计算机需要拥有与人类冠军一样甚至更多的知识。其中包括百科全书、主题词表、词典、专线新闻报道、文学作品等互联网上数量巨大（相当于2亿页的纸质材料）
的文本，这些文本是非结构化的，而且质量参差不齐，需要把这些非结构化的文本自动转换为结构化且易于处理的表达形式。Watson系统使用的表达形式为
「扩展语料库」(expendedcorpus),它的生成步骤如下。首先给出基线语料库(baselinecorpus)判别种子文件
(seeddocuments),根据种子文件从网上收集相关文件并并从中挖掘「文本核」(textnuggets),对文本核做评分按
按照评分结果集成为最后的「扩展语料库」。
除自动生成的扩展语料库之外，Watson的知识库中还包括已有的语料库，如dbPedia，WordNet，Yago等，
以及人工编制的部分库。Watson采用多种推理机制（多达百种）将「问题」转换为「答案」(见图3）。先对「问题」做分析、分类和分解，
根据分解的结果从答案源（语料库）中搜索假设与候选答案，经初步过滤之后，筛选出100个左右候选答案。再从证据源中收集证据，对候选答案进行评分，
评估过程同时考虑数据源的可靠性，依据评分结果合成出几种候选答案，按照置信度大小进行排序，最后输出排序后的答案。
此外，Watson还通过155场与人类现场对决和8000次的实验，学习对「问题」（自然语言）的理解。
符号主义用符号系统作为人类心智的模型，以实现与人类相似的推理能力。但从认知的角度看，二者却有本质上的不同，即存在
「符号基础问题」(symbolgroundingproblem)[35]。在物理符号系统中，客观世界的「对象」和「关系」等用符号表示，
但符号本身并无语义，我们只好人为地给它们规定语义，也就是说是外部强加的「寄生语义」(parasiticsemantics),
机器本身并不知道。这与人类大脑中存在的「内在语义」(intrinsicsemantics)完全不同，人类大脑中的「内在语义」，特别是
「原子概念」和「常识」，除极少数先天之外，主要是通过感官（视听等）或者感官与动作的结合自我习得的，即将感官图符式（iconic）
表示或反映语义不变性的分类（categorical）表示转化为符号表示。这本来是深度学习要完成的任务，但很可惜，
目前深度学习的模型并不能完成这项使命。因为深度学习所处理的空间是特征空间，与语义空间差别很大，它只能学到没有明确语义的「局部片段」，
这些片段不具备可组合性，因此不能用来作为「物体」的「内在语义」表示。换句话讲，目前的深度学习只能做到「感觉」(sensation),
达不到感知为为达到感知的水平，机器必须通过自我学习获取「物体」的语义部件(semanticparts),如「狗」
的腿、头、尾等，才有可能通过这些部件的组合形成「狗」的不变
「内在语义」。解决这个问题的基本思路是利用知识为引导，将感觉的信息从向量特征空间提升到符号语义空间，如图2所示。这方面已经有不少的研究工作
[36～39]，下面以本团队的工作阐述这方面工作的初步进展。
文献[40]描述如何利用一个三元生成对抗网络(triplegenerativeadversarialnetworks,Triple-GAN)
提高图像分类性能的方法。三元生成对抗网络由3部分组成:
分类器、生成器和鉴别器，分别用于条件化图像生成和半监督学习中的分类。生成器在给定真实标签的情况下生成伪数据，分类器在给定真实数据的情况下生成伪标签，鉴别器的作用是区分数据标签对是否来自真实标记的数据集。如果设计好合适的效用函数，利用三元生成对抗网络，可以通过无监督（或弱监督）学习，让生成器（网络）学到样本中「物体」的表示（即先验知识），同时利用这个先验知识改善分类器的性能。
的无监督学习可以学到「物体」的先验知识，这就是「物体」（符号）的「内在语义」。利用这个具有「内在语义」的先验知识提高分类器的识别率，从根本上解决计算机视觉中存在的「检测」（where）与「识别」（what）之间的矛盾，实现小样本学习，提高鲁棒性和推广能力。
还可以从另外的角度思考，先回到深度学习所使用的人工神经网络（图
4），以视觉为例，它与人类的视觉神经网络相比过于简单了，既没有反馈连接，同层之间的横向连接和抑制连接，也没有稀疏放电、记忆和注意等机制。如果我们能够将这些机制引进
ANN，将会逐步提高计算机视觉的感知能力。由于我们对大脑视神经网络的工作原理了解得很少，目前只能沿着「脑启发计算」（brianinspiredcomputing）的道路一步一步地往前探索。
目前有一些试探性的工作，有些效果但都不够显著。下面介绍本团队的一项研究。如文献[41]所述，将稀疏放电的原理运用到ANN各层的计算中。网络共6
层，包括Gabor滤波和Max池化等，在各层的优化计算中加上「稀疏」正则约束项，稀疏性的要求迫使ANN
选择最具代表性的特征。如果用背景简单的「人类」「小汽车」「大象」和「鸟」等图像作为训练样本训练网络，那么神经网络的输出层就会出现代表这些「类别」的神经元，分别对人脸、小汽车、大象和鸟的轮廓做出响应，即提取了「整个物体」的语义信息，形成部分的「内在语义」。
这种方法也只能提取部分的语义信息，还不能做到提取不同层面上的语义信息，如「整体」、「部件」和「子部件」等，达到符号化的水平，因此仍有许多工作有待研究。
上面说过通过感官信息有可能学到一些基本知识（概念），不过仅仅依靠感官信息还不够，比如「常识概念」，如「吃饭」「睡觉」等仅依靠感官难以获取，只有通过与环境的交互，即亲身经验之后才能获得，这是人类最基本的学习行为，也是通往真正
的重要道路。强化学习（reinforcementlearning）就是用来模拟人类的这种学习行为，它通过「交互–试错」机制，与环境不断进行交互进而学习到有效的策略，很大程度上反映了人脑做出决定的反馈系统运行机理，成为当前人工智能突破的重要方法，在视频游戏[42，43]、棋牌游戏[44，45]、机器人导航与控制[46，47]、人机交互等领域取得了诸多成果，并在一些任务上接近甚至超越了人类的水平[48，49]。
强化学习通常看成是离散时间的随机控制过程，即智能体与环境的交互过程。智能体从起始状态出发，取得起始观察值，在t
时刻，智能体根据其内部的推理机制采取行动之后，获得回报，并转移到下一个状态，得到新的观察。强化学习的目标是，选择策略π（s，a）使累计回报预期
V^π（s）:S→R最优。如果我们考虑简单的马尔可夫（Markov）决策过程，即后一个状态仅取决于前一个状态，并且环境完全可观察，即观察值o等于状态值
s，即O=S;并假设策略稳定不变。如图5所示。以AlphaZero
为例，智能体不依赖人类的标注数据，仅仅通过自我博弈式的环境交互积累数据，实现自身策略的不断改进，最终在围棋任务上达到了超越人类顶级大师的水平，代表强化学习算法的一个巨大进步[45]。
强化学习算法在选择行为策略的过程中，需要考虑环境模型的不确定性和目标的长远性。具体的，通过值函数也就是未来累积奖励的期望衡量不同策略的性能，即
其中γ∈[0，1]是折扣因子。值函数可以写成贝尔曼方程（Bellmanequation）的形式。该方程表示了相邻状态之间的关系，可以利用其将决策过程划分成多个不同的阶段，其中某一阶段的最优决策问题可以利用贝尔曼方程转化为下一阶段最优决策的子问题。
强化学习的核心目标就是选择最优的策略，使得预期的累计奖励最大，即值函数取得最优值
需要指出的是，尽管强化学习在围棋、视频游戏等任务上获得了极大的成功，但是这些任务从本质上是相对「简单」的，其任务的环境是完全可观察的、反馈是确定的、状态主要是离散的、规则是明确的，同时可以相对比较廉价地得到大量的数据，这些都是目前人工智能算法所擅长的。但是在不确定性、不完全信息、数据或者知识匮乏的场景下，目前强化学习算法的性能往往会出现大幅度的下降，这也是目前强化学习所面临的重要挑战。其中的典型问题如下所述。
（1）部分观测马氏决策过程中强化学习:
在真实的问题中，系统往往无法感知环境状态的全部信息，因此不仅需要考虑动作的不确定性，同时也需要考虑状态的不确定性。这就导致了部分感知的强化学习往往不满足马尔可夫环境假设。尽管相关的研究者近年来进行了大量的探索，但是部分观测马氏决策（partiallyobservableMarkovdecisionprocess，POMDP）仍然是强化学习中比较有挑战的问题。
（2）领域知识在强化学习中的融合机制:
如何实现领域知识的融合在强化学习中同样是重要科学问题。对提高收敛速度、降低采样复杂度、改善模型迁移性和算法鲁棒性等具有重要意义。本团队针对这一问题，在领域知识指导的动作空间抽象压缩
[50]、结构设计[51]等方面进行了初步探索，但是如何实现领域知识和强化学习框架的高效融合仍然是亟待解决的问题。
（3）强化学习和博弈论的结合:
博弈论和强化学习的结合是近年来领域内研究的热点问题。二者的结合可以让多智能体之间的竞争和合作关系的建模变得更加直观和清晰，这其中包含了多智能体之间的零和/
非完全信息等多种不同的任务类型，尤其是在对抗性的任务中更具有研究和应用价值[43]。本团队前期在这方面也进行了探索性的研究，将智能体对环境的探索建模成智能体和环境之间的博弈过程[52]，也是目前第一个在扩展型博弈、参数未知的场景下能够从理论上保证收敛的算法。
除此之外，强化学习所面临的难题还包括仿真环境和真实环境的差异、探索和利用的矛盾、基于模型的强化学习算法等诸多难点的问题，相比于监督学习所获得的成功而言，强化学习的研究还处于相对较为初级的阶段。
单一空间模型是以深度学习为基础，将所有的处理都放在亚符号（向量）空间，这显然是为了利用计算机的计算能力，提高处理速度。问题在于深度学习与大脑的学习机制不同，在许多方面表现不佳，如可解释性和鲁棒性等。关键是要克服深度学习所带来的缺陷，如图
6所示。下面讨论几个关键问题。
知识通常以自然语言的离散符号形式表示，为了实现单一空间模型，首先要将符号表示的词、短语、句子和篇章等转换为向量，或者将知识图谱转换为向量表示。关键是「词」的变换，即词嵌入（wordembedding）。目前「词嵌入」已有各种方法，如
Word2Vec[53]和GloVe[54]等。
下面介绍Word2Vec中采用的Skip-gram[55]策略，用来说明词是如何由符号转换为向量的。
其中w是给定的目标词，c是从其上下文中任选的一个词，p（c|w;θ）是给定词w下，词c出现的概率。D是从语料库中提取的所有w?c
对，θ是模型参数，式（5）进一步参数化后，得到
其中是词c和词w的向量表示，C是所有可用文本。参数
,i=1,2,d，共|C|×|W|×d个。调整这些参数使式（5）最大化，最后得到所有词w∈W的向量表示。
这些词向量具有以下良好的性质，即「语义相似的词，其词向量也很相似」（见图
7）。变换后的词向量之所以具有上述良好的性质，出自嵌入过程的以下假设，两个词在上下文中同现的频率越高，这两个词的语义越可能接近，或者越可能存在语义上的某种关联。嵌入词向量的这些特性，表明它带有语义信息，因此称嵌入空间为准语义空间。式（5）是难计算的，可以采用深度神经网络等做近似计算。利用类似的嵌入法也可以把「短语」「句子」和「篇章」或者知识图谱等转换到具有准语义的向量空间中去[56]。
向量形式的知识表示具有上述良好的性质，且可以与数据一样，使用大量的数学工具，包括深度学习方法，因此被大量应用于文本处理，如机器翻译等，取得明显的效果。下面以神经机器翻译（neuralmachinetranslation）为例予以说明[57，58]。
神经机器翻译的基本思路是，给定源句子（比如中文），寻找目标句（比如英文）。神经翻译的任务是，计算词一级翻译概率的乘积，
其中θ是一组模型参数，是部分翻译结果。词一级的翻译概率可用softmax函数f（·）定义:
其中是目标句中第j个词的向量表示，v_x是源句子的向量表示，是部分翻译句的向量表示，y=y_j，j=1，2.J是要找的目标句。
神经翻译模型的构造:给定训练样本为一组「源句–目标句」对，模型训练的目标是最大化log似然:
即选择一组模型参数θ，使目标函数最大化。利用这个模型，通过式（7）计算（翻译）目标句子。这种翻译方法尽管可以得到比传统方法错误率还低的翻译结果，但它具有深度学习方法的共性缺陷，如不可解释、会发生重大错误、鲁棒性差等。为克服这些缺陷，需要加入知识，通过先验知识或后验正则化等方式引入语言知识等。
基于深度学习的AI具有不可解释和鲁棒性差等缺陷，目前有许多改进工作。下面介绍本团队的一些工作。
（1）可解释性问题。可解释人工智能算法的研究近年来引起众多研究人员的关注。而人类理解机器决策过程的核心难点是跨越数据特征空间和人类语义空间之间的鸿沟[59]。无论是早期的以手工特征为基础的算法，还是当前以特征学习为代表的深度学习，其核心思想都是将观测样本映射到特征空间中，进而在特征空间进行分析，发现样本在特征空间不同区域内的规律，从而达到算法要实现的任务目标（如分类、回归等）。与之不同的是，人类的分析和决策是利用自身的背景知识，在语义空间当中完成。但是数据特征空间和人类的语义空间在结构和内涵上存在显著的区别，而可解释人工智能的最终就是要在二者之间架起一座桥梁，进而跨越二者之间的鸿沟。
总体而言，相关的研究主要分为（i）模型的后解释技术（post-
hocexplanation），也就是给定了人工智能的模型，通过可视化、交互技术等方式，分析给定模型的工作机理，为其决策结果寻找解释途径;（ii）可解释模型，即通过发展新的网络架构、损失函数、训练方式等，发展具有内在可解释性的新型人工智能模型。从整体来说，两类方法目前都在发展过程中，在可解释性的研究中具有重要作用。
可视分析是人工智能算法可解释的一种直观的思路。既然深度学习是「黑箱」学习法，内部的工作机理是不透明的，「不可解释」，如果利用可视化，打开「黑箱」，一切不就清楚了吗?
为了帮助机器学习专家更加理解卷积神经网络的工作机理，我们开发了CNNVis这一可视分析工具[60]。CNNVis
旨在帮助专家更好地理解与诊断深度卷积神经网络，作为一种混合可视化方法，综合应用了基于双聚类技术的边绑定方法，以及矩形布局算法、矩阵重排算法和有向无环图布局算法等。作为可视化领域的首批深度学习可视分析工作，该工作在工业界和学术界都引起了广泛关注。在此基础上，为了分析复杂神经网络的训练过程，我们以深度生成模型（对抗生成网络（generativeadversarialnetworks，GAN）和变分自编码器（variationalauto-
encoder，VAE））为例，研究了如何帮助机器学习专家诊断训练过程中出现的常见问题。
解释模型的另外一个思路是利用部分统计分析的技巧，针对神经网络决策过程中的参数冗余性，对神经网络内部最后决策起到关键作用的子成分进行分析，得到复杂模型内部对决策起到最关键作用的核心部分。为了更高效发掘子网络，我们借鉴了网络剪枝（networkpruning）思路，提出一种普适的提取子网络的方法，而无需对模型从头进行训练[61]。具体来说，我们对网络中每一层都附加一组控制门（controlgate）变量，在知识蒸馏[62]（knowledgedistillation）准则下优化该组变量控制各层输出通道，用以确定关键子网络。具体来说，令
p（y|x;θ）为具有权重参数θ的原始模型对于单个样本X所做出的预测概率。而我们想要提取参数为θ_s的关键子网络，其预测输出应为q（y|
x;θ_s），应该与原模型输出结果在Kullback-Leibler散度度量下接近。因此总体最小化目标函数为
其中?（θ_s）为稀疏正则项，即鼓励模型通过尽量少的激活神经元达到和原网络相似的性能。通过对关键子网络可视化分析，我们观察到对于样本特定子网络，各层控制门值表征形式随着层级增高而展现出类别区分特性。实验结果表明，对于类别特定子网络，其整体表征形式与类别语义之间有着密切联系。
以上方法更多的关注是模型的后解释，也就是给定一个深度学习模型「强行」寻求对其决策过程的解释，而这种解释是否符合神经网络的内在机理仍然是需要讨论的问题。由于深度学习模型的不可解释性是由于机器推理的特征空间和人类可理解的空间存在着本质的区别，因此深度学习要想实现可解释性就需要把机器特征空间和人类的语义空间联系起来。本团队也在此方面进行了探索性研究[63]，主要针对如何将人类的先验知识融入到深度学习模型的训练中，使特征具有更加明确的语义内涵，从而能够做到决策的追溯。具体的，在图文的联合分析中，我们利用文本信息中抽取出来的人类可理解的主题信息指导神经网络的训练过程，并对文本和图像
/视频数据进行协同训练，引导神经网络训练得到人类可以理解的语义特征。具体的，我们通过在神经网络的目标函数中引入可解释的正则约束:
其中第1项是相关任务的损失函数，第2
项是可解释正则约束。通过这种方法，可以在文本数据引导下，通过不同模态数据之间的信息互补性，利用可解释正则约束，提升深度学习模型的可解释性。
（2）鲁棒性问题。由于对抗攻击给深度学习模型带来的潜在的恶意风险，其攻击不但精准且带有很强的传递性，给深度学习模型的实际应用带来了严重的安全隐患，迫切需要增强深度学习模型自身的安全性，发展相应的深度学习防御算法，降低恶意攻击带来的潜在威胁[64]。具体来说，目前的深度学习防御算法主要有两类思路。
模型输入控制的对抗防御。这类方法的核心是在模型的训练或者使用阶段，通过对训练样本的去噪、增广、对抗检测等方法，降低对抗攻击造成的危害。其中去噪器由于不改变模型自身的结构和性质，具有「即插即用」的性质，引起了广泛的关注。但是由于对抗噪声的特殊属性，其形成的干扰效应往往可以随着神经网络的加深逐步放大，因此在普通的高斯噪声（Gaussiannoise）上具有良好滤除效果的自编码器往往不能很好地滤除对抗噪声。
针对这一问题，本团队提出了基于高层表示引导的去噪器（HGD）[65]，通过高层特征的约束使得对抗样本与正常样本引起目标模型的上层神经元响应尽可能一致。将传统像素级去噪网络
DAE（denoisingautoencoder）与U-net
网络结构进行结合，到负噪声输出，用对抗样本加上负噪声可以得到去噪图片，即。研究表明该方法不仅去掉了一部分对抗扰动，还增加了一部分「反对抗扰动」，取得了非常好的防御效果，获得「NIPS2017
对抗性攻防竞赛」中对抗防御任务冠军，以及2018年在拉斯维加斯（LasVegas）举办的CAADCTF对抗样本邀请赛冠军。
是基于模型增强的对抗防御。这类方法的核心是通过修改网络的结构、模型的激活函数、损失函数等，训练更加鲁棒的深度学习模型，从而提高对对抗攻击的防御能力。其中集成模型（ensemble）是近年来出现的一类典型的防御方法。针对经典集成防御由于各个子模型的相似性导致防御性能下降的问题，本团队提出自适应多样性增强训练方法（adaptivediversitypromotingtraining，ADP）[66]。相比于经典集成模型，ADP
方法在训练函数中额外引入了多样性正则项，鼓励每个子模型在正确类别上决策一致，而在其他类别上预测不一致。由于其他类别包括所有潜在的对抗样本的目标类别，所以这种不一致性可以使得各个子模型难以被同时欺骗，从而增强集成模型的鲁棒性。具体来讲，在
方法中，为了保证每个子模型的最大预测都对应于正确的类别，这种多样性定义在每个子模型输出的非最大预测上，当不同子模型的非最大预测向量相互正交时，这种多样性取得最大值。具体的，其训练的目标函数为
其中，为每个子模型k的交叉熵（cross-
entropy）损失函数。ADP_α，β（x，y）=α·H（F）+β·log（ED）是模型集成多样性的度量，鼓励不同的子模型形成尽量差异化的决策边界。实验结果表明，通过鼓励不同子模型的差异化决策性质，有效地提升了模型的对抗鲁棒性。但是，总体而言，目前多数的对抗防御方法是基于经验主义的，研究表明很多防御对抗样本的方法在很短的时间就会被后来的攻击算法攻破。其重要原因之一是深度学习只是在做简单的函数拟合，缺乏像人一样对问题的理解能力[67]。因此通过理解机器学习模型的内部工作机理，发展数据驱动和知识驱动融合的第三代人工智能理论框架，将成为提高人工智能算法鲁棒性的重要途径。
但是，总体而言，目前多数的对抗防御方法是基于经验主义的，研究表明很多防御对抗样本的方法在很短的时间就会被后来的攻击算法攻破。其重要原因之一是深度学习只是在做简单的函数拟合，缺乏像人一样对问题的理解能力[67]。因此通过理解机器学习模型的内部工作机理，发展数据驱动和知识驱动融合的第三代人工智能理论框架，将成为提高人工智能算法鲁棒性的重要途径。
所示，图像和语音等信息是在特征空间中处理的，这些特征语义信息很少，需要提取含有更多语义的特征，其中的一种解决办法是将知识引入深度学习。下面以贝叶斯深度学习为例，说明这一思路。
我们前面说过深度神经网络没有考虑数据观测的不确定性，这种不确定性的存在，以及对于数据背后物理背景的无知，使我们对深度学习结果的正确性难以判断。同时，在数据量有限但模型逐渐变大（如包括十亿甚至千亿参数）的过程中，模型的不确定性也变得更严重——存在很多模型在训练集上表现都很好，但在测试集上的表现差别很大。贝叶斯学习充分考虑了先验知识以及模型和数据的不确定性，而且还能从不断提供的数据（证据）中，加深对数据的了解，即根据新的证据实现增量式的学习，充分发挥知识在学习中的作用。不仅可以对学习结果的可信度做出判断，也因此提高了学习的效率和准确度。
贝叶斯学习（Bayesianlearning）定义:给定观测数据d∈D，按贝叶斯规则计算每个假设的概率，
其中D是所有数据[12，68]。给定d
是对未知量X的预测，即通过观测数据确定各个假设的概率，再从各个假设确定未知量X的分布。其中的关键是假设先验p（h_i）和给定假设h_i下数据
p（d|h_i）。贝叶斯预测（式（13））不管样本量大小，均可达到最优，但当假设空间很大时，式（13）的加法计算量太大（在连续情况下为积分），难以实际应用。通常需要采用近似算法，主要有两类近似方法——变分推断和蒙特卡洛采样[69]。另外，还有一些常见的简化有，（1）对
X的预测不是利用所有的假设，而只利用其中让p（h_i|d）最大化的一个
h_i，称为最大化后验（maximumaposteriori，MAP）假设。（2）假定p（h_i）是均匀分布，问题就简化为，选择一个让
p（d|h_i）最大化的hi，称为最大化似然（maximumlikelihood，ML）假设。（3）如果不是所有数据都可以观测，即存在隐变量，通常采用
EM（expectationmaximization）算法[70]。该算法分为两步（式（14）），E步:利用观测的数据x和θ^（i），计算
p（Z=z|x;θ^（i））;M步:利用计算出来的z和x，计算模型参数θ^（i+1）。两个步骤交替进行，找到最终的模型参数θ:
贝叶斯准则(式(12))是一个从先验分布和似然函数推断后验分布的过程,为了更灵活地考虑知识,我们团队提出了正则化贝叶斯(regularized
Bayesianinference,RegBayes)[71],它基于贝叶斯定理的信息论描述[72],通过引入后验正则化,
在变分优化的框架下可以灵活地考虑领域知识(如基于逻辑表达式的知识[73])或者学习任务优化的目标(如最大间隔损失[74])等.
更进一步的,贝叶斯深度学习是将贝叶斯学习的基本原理与深度神经网络的表示学习有机融合的一类方法,融合主要体现在两个方面,(1)
用贝叶斯方法更好地学习深度神经网络(如贝叶斯神经网络、高斯过程等),包括计算预测的不确定性、避免过拟合等;(2)用深度神经网络作为非线性函数变换定
义更加丰富灵活的贝叶斯模型,如图8所示,包括深度生成模型(如GAN,VAE,基于可逆变换的流模型等).其中第1种融合早在20世纪
90年代就被霍普菲尔德(J.Hopfield)和辛顿指导博士生系统研究过[75,76],当时的算力和数据都很有限,
稍微大一点的神经网络都面临着严重的过拟合,因此,那时候就开始研究用贝叶斯方法保护神经网络,并且选择合适的网络结构.随着神经网络的加深,贝叶斯
方法又引起了很多研究兴趣,主要进展包括对深度贝叶斯神经网络进行高效的(近似)计算,需要克服的主要困难是深度网络过参数化(over-
parametrization)带来的维数灾难.在这方面,我们团队进行了深入研究,先后提出了隐式变分推断(implicit
variationalinference)算法[77,78],在泛函空间进行粒子优化的推断算法(functionalvariational
inference)[79]等.
对于第2种融合,我们知道一个简单分布的随机变量z经过函数f变化之后,得到的变量x=f(z),具有更复杂的分布,当f
是一个双射变换时,我们可以得到x分布的解析形式
但是,在处理复杂数据时,f是未知的,因此,我们希望从数据中进行学习.利用深度神经网络的强大拟合能力,我们将f定义成一个深度神经网络,
通过一定的准则学习最优的f_θ.如图8所示,这种想法被证明是非常有效的,已经发展了包括VAE,GAN以及基于流的模型(flow-
basedmodels),即使在完全无监督训练下,这些模型都可以产生高质量的自然图片或人脸等.
具体的,这几种模型的区别在于定义x的变化函数,在VAE中,
其中?是一个噪声变量(如白噪声对应的标准高斯分布);在GAN和基于流的模型中,没有显式的噪声变量。这种区别带来了参数估计上的不同,VAE
和基于流的模型采用最大似然估计,而GAN定义了对抗学习的目标——「最大最小博弈」。同样的,这些模型虽然功能强大,
但是给推断和学习也带来了很多挑战。例如,GAN网络的训练过程经常是不稳定的,会遇到梯度消失或梯度爆炸等问题,
我们团队最新的成果利用控制论对这一问题进行了分析研究,提出了有效的反馈机制,能够让GAN的训练更平稳[80]。此外,
基于可逆变换的流模型往往受限于维数的约束,为此,我们提出了自适应数据增广的流模型[81],显著提升这类模型的表达能力。
基于上述介绍,能够看出贝叶斯深度学习提供了一种强大的建模语言,将不确定性建模和推断与深度表示学习有机融合,其关键挑战在于推断和学习算法。幸运的是,
近年来,在算法方面取得了很多突破进展(如上所述)。同时,也发展了性能良好的概率编程库,支持贝叶斯深度学习模型的开发和部署。例如,
我们团队研制的「珠算」[82]1),是最早的系统支持贝叶斯深度学习的开源库之一。在应用方面,
贝叶斯深度学习的方法已经在时间序列预测、半监督学习、无监督学习、小样本学习、持续学习等复杂场景下,取得良好的效果.
如图6所示,我们要在单一的向量空间中,对来自文本的嵌入向量和来自视听觉的特征向量进行计算,存在一定的难度.因为文本中以符号表示的词,
经嵌入之后变成向量时损失了大量语义,从视听觉中提取的特征,虽然我们尽量获取更多的语义,但一般情况多属底层特征,语义含量很少.
我们将以视觉问答[83～85]为例介绍这方面的初步尝试.在视觉问答中既有图像又有文本,需要在单一的向量空间中同时处理,
涉及单一空间模型的使用。以本团队关于「篇章级图文问答」研究工作为例予以说明[85]。如图9所示,根据给定的图片,回答以下问题,
「在大陆地壳下面有多少层(类型)?」,除问题以文本形式表示之外,还有一个与图片相关的篇章「板块运动」。
首先通过词嵌入(采用Word2Vec中的Skip-gram策略),将「问题」与「篇章」中的以离散符号表示的词转换为向量.图片经
ResNet网络处理后,取res5c层的特征作为输出[55],
它是一组高维空间的特征向量。然后将「问题」和「篇章」中的词向量与「图片」输出的特征向量做融合,以预测「答案」。为了更好地融合,通过注意机制,
先找出「问题」和「篇章」中的「关键词」,这些关键词能够更好地反映「问题」的主题(语义)。再依据关键词通过「空间注意机制」找出图片中关键区域的特征,
因为这些特征更符合关键词向量所表达的主题,因此融合效果会更好。这里采用的融合方法是双线性池化(multimodalbilinearpooling)
方法。「图文问答」是选择题,备选方案有「1」,「2」,「3」三种,将融合后的向量与备选方案的向量相比较,取最接近的一个向量作为输出,这里是
图文问答目前达到的水平与人类相比相差很远,以「选择题」为例,目前达到的水平只比随机猜测略好。
为了实现第三代AI的目标,我们采用三空间融合的模型，即融合双空间与单空间两种模型，如图10
所示。双空间模型采用类脑的工作机制，如果实现的话，机器就会像人类大脑的行为一样，具有可解释性与鲁棒性。此外，当把感觉（视觉、听觉等）信号提升为感知（符号）时,
机器就具备一定的理解能力，因此也解决了可解释和鲁棒的问题。当机器中的基本概念（符号）可由感知产生时，符号就有了基础
(根基)，符号与符号推理就有了内在的语义，从根本上解决了机器行为的可解释与鲁棒性的问题。单空间模型以深度学习为基础，存在不可解释与不鲁棒的缺陷，如果经过改进提高了其可解释性与鲁棒性，就从另外一个方向迈向第三代
双空间模型模仿了大脑的工作机制，但由于我们对大脑的工作机制了解得很少，这条道路存在某些不确定性，比如，机器通过与环境的交互学习(强化学习)
所建立的「内在语义」,与人类通过感知所获取的「内在语义」是否一样，机器是否也能具有意识?
等，目前还不能肯定。尽管存在这些困难，但我们相信机器只要朝这个方向迈出一步，就会更接近于真正的
AI。单一空间模型是以深度学习为基础，优点是充分利用计算机的算力，在一些方面会表现出比人类优越的性能。但深度学习存在一些根本性的缺点，通过算法的改进究竟能得到多大程度的进步，也存在不确定性，需要进一步探索。但是，我们也相信对于深度学习的每一步改进，都将推动
考虑以上这些不确定性，为了实现第三代AI的目标，最好的策略是同时沿着这两条路线前进，即三空间的融合，如图10
所示。这种策略的好处是，既最大限度地借鉴大脑的工作机制，又充分利用计算机的算力，二者的结合，有望建造更加强大的AI。二、什么是Python中的生成器推导式Python中有一种紧凑的语法，可以通过一个循环和条件构建一个列表，这种语法叫做列表推导式（listcomprehension）：my_list=[
f(x)forxinsequenceifcond(x)]类似地，我们可以通过字典推导式
Python中有一种紧凑的语法，可以通过一个循环和条件构建一个列表，这种语法叫做列表推导式（listcomprehension）：
my_list=[f(x)forxinsequenceifcond(x)]
类似地，我们可以通过字典推导式（dictionarycomprehension）创建字典，通过集合推导式（setcomprehension）创建集合：
my_dict={k(x):v(x)forxinsequenceifcond(x)}
my_set={f(x)forxinsequenceifcond(x)}
（这一语法支持更加复杂的操作，但这里仅作示例）
最后，你还可以使用类似的语法创建一个生成器：
my_generator=(f(x)forxinsequenceifcond(x))
不过，这并不叫做生成器推导式，而是叫做生成器表达式（generator
expression）。为什么不叫前者呢？如果前三个语法都被称为“推导式”，为什么生成器这个不叫呢？
PEP289——生成器表达式的最后给出了详细的备注，其中指出RaymondHettinger起初提议使用“生成器推导式（generator
comprehension）”一词，后来PeterNorvig提出了“累计显示（accumulationdisplays）”，后来Tim
Peters推荐了“生成器表达式”这个
名词。但是它并没有名词出现了这样的变化。
EarlGrey：上面提到的这几位都是大牛啊！具体大家可以谷歌一下。
所以我在Twitter上提出了这个问题：
python有个我不懂的问题：为什么它们被称为“生成器表达式”，而不是“生成器推导式”？
Guido的回答指出了核心原因：
推导式一开始属于“字面量显示（literaldisplay）”这一概念。而生成器表达式不是一种显示（display）。
MattBoehm后来找到了TimPeters提出“生成器表达式”一词的邮件，其中讲述了一些细节：
读完邮件后，我对这个问题的理解更深了。首先，为什么会使用“推导式”（comprehension）一词？Tim在邮件中指出，这个词来源于集合论中的推导公理（Axiom
ofComprehension），它指的是通过对另一个集合的元素应用某个谓词（predicate，即条
件）而组成新的集合。这和向另一个序列中的元素应用某个条件从而生成列表的做法非常类似。
EarlGrey：我之前看到很多翻译为“解析”，看到这里才觉得“推导式”才是更准确的说法。
正如Guido所指出的，Python的设计者当时更注重的是显示，而不是条件。“显示”一词在这里意味着代码的语法看上和它将创建的数据结构很像。列表显示（列表推导式）看上去像一个列表。对于集合和字典显示来说，也是一样的道理。但是由于没有生成器
字面量语法，因此根本就没有一个生成器显示可以进行对比，也就不存在生成器显示了。
在设计该功能的那封邮件中，“推导式”一次是“显示”的同义词，由于生成器没有显示，所以也不可能有推导式。
不过Time在他的邮件中也说到，推导式的奇妙之处在于条件。推导公理的核心则是谓语。也许是因为Python推导式中的条件是可选的，关注的焦点被转移到了显示方面。
但是我认为，我们应该叫它们“生成器推导式”。我们在描述这类语法时，并没有使用“显示”一词。我们没有理由将“推导式”与“显示”和字面量语法联系在一起。
列表推导式、字典推导式、集合推导式和生成器表达式，这四个表达式各自之间有着许多相似之处。如果将四者之间的类似点总结为“推导式”，将极大地简化相关概念。它们之间的相似点远大于不同之处，我建议大家对这四个表达式使用同样的概念三、博士后小姐姐把“二次元老婆生成器”升级了：这一次可以指定画风
用GAN（生成对抗网络）制作卡通人物形象的研究，相信大家已见过不少。
但这一次新出炉的AniGAN，可以让你指定任意画风！
只需一张真实人物照片，加上一张你喜欢的画师作品做为参考，就能在保留原照片发型、五官等形状特征的同时，迁移成相应的画风。
又双叒叕一款GAN？这次更强！
AniGAN团队认为，之前的二次元人物生成算法有两大问题。
要么不能很好模仿参考图的画风，要么会过于强调保留原始照片的形状，却并不适合二次元人物的风格，造成不符合审美的扭曲与瑕疵。
通过对比可以看出，AniGAN生成的结果在模仿参考图颜色、材质，以及将原始特征转换成适合二次元方面都更出色。
下图使用了更大的数据集，包含更多样的色彩、线条、材质、发型及五官特征。
为了在转换形状特征的同时进行风格迁移，AniGAN团队提出了新的生成器架构。
不同于以往使用残差块（ResidualBlocks）在生成器的瓶颈层注入风格信息的方法。
AniGAN提出了自适应堆栈卷积块（AdaptiveStackConvolutionalBlock）和细粒度风格转移块（Fine-grained
StyleTransferBlock），以下简称为ASC块和FST块。
ASC块由卷积层、激活层和归一化层组成。
在以往使用残差块时，可能会忽略一些风格信息，如在下面例子中将右眼都错误地生成为棕色。
FST块由上采样层，卷积层和归一化层组成。
风格数据会在上采样层之后而不是瓶颈层注入，负责把局部形状特征也处理成一种风格数据，并转换成对应的二次元形状。
去掉FST块的情况下，生成图像的面部特征并不适应二次元风格。
以往的AdaLIN归一化函数会将实例归一化（IN）和层归一化（LN）按channel结合在一起，而忽略了channel间的相互关系。因此不能胜任迁移风格同时转换特征的任务。
AniGAN团队提出了点状层实例归一化（point-wiselayerinstancenormalization）和适应性点状层实例归一化（
adaptivepoint-wiselayerinstancenormalization），以下简称PoLIN和
PoLIN和AdaPoLIN会将所有channel的IN与LN结合在一起。
从左至右为(a)参考图像，(b)原始照片，(c)-(f)为去掉PoLin或AdaPolin的各种组合的消融实验，(g)为正式效果
双分支鉴别器（Double-branchDiscriminator）
二次元人脸与真实人脸既有很大不同，又都是关于人脸。在研究中称作领域X和领域Y。
双分支鉴别器不仅可以通过卷积层的两个分支处理特定领域的数据分布，还可以处理跨领域共享的数据分布。
双分支鉴别器使生成的二次元人脸减少瑕疵，更加赏心悦目。
另外，该鉴别器也可以在后续研究中轻松扩展成多分支鉴别器（Multi-BranchDiscriminator）。
研究团队使用了FrechetInceptionDistance指标来评估生成图像的质量，数值越低代表生成图像越接近参考的二次元图像。
并使用LearnedPerceptualImagePatchSimilarity来评估生成图像之间的风格差异性，数值越高
另外还选取了20位20-35岁的测试者进行A/B测试，询问他们不同算法生成的图像中哪张最符合真实照片的特征以及参考图像的风格，统计结果也是AniGAN得分最高。
本论文第一作者李冰，2016年中国科学院博士毕业，现在阿卜杜拉国王科技大学可视计算中心做博士后研究员。
团队其他成员分别来自字节跳动、中国台湾国立清华大学与深圳大学。
量子位QbitAI·头条号签约
，第一时间获知前沿科技动态清华大学毕业证高清版生成器推导式的分析就聊到这里吧，感谢你花时间阅读本站内容，更多关于清华大学毕业证图片生成器的信息别忘了在本站进行查找。

你可能还喜欢下面这些文章