原标题:院士称|杨强:迁移学习最后一公里——人工智能
2019年11月30日上午，第九届吴文俊人工智能科技奖励仪式暨2019中国人工智能产业年会在苏州广电大厦演播室隆重举行。这次会议的主题是“突破关键技术，使工业能够着陆”。国家部委专家、中科院两院院士和行业领袖应邀围绕77个专题报告、17个核心议题和10个高峰对话，就人工智能在核心关键技术中的落地问题进行了观点碰撞。通过权威学者、顶级专家和企业精英的讨论，解读行业痛点，分析发展瓶颈，讨论场景障碍，探索现实问题。本届行业大会重点关注知识智能及其应用、智能芯片、智能无人机、智能互联汽车、智能机器人、智能金融和智能医疗等优势行业。在这次人工智能产业年会上，深圳钱海伟忠银行股份有限公司首席人工智能官、中国人工智能学会名誉副主席杨强教授应邀发表了题为“通过迁移学习——人工智能的最后一公里”的精彩报告。
以下是杨强院士的报告。
大家下午好。我今天的主题是“人工智能的最后一公里”，这也是我一直在研究的主要方向。让我们先看看深度学习的一些局限性。每个人都在大数据领域取得了巨大突破。一个有代表性的突破是阿尔法围棋(AlphaGo)，在19乘19的棋盘上，可以说是世界上无与伦比的。但是，只要棋盘的大小改变或者棋盘的类型改变，原来的模型就完全无能为力，我们必须再做一次训练。这个例子引起了我们的深思。
当前人工智能领域需要大数据的推广。如果将此促销活动更改为新字段，可能只会有少量数据。小数据的场景能通过深入学习解决吗？我们认为这非常困难，因为根据目前深入学习的进展，没有多少算法可以处理小数据。
我们面临小数据状态的原因有很多。例如，由于行业的性质，无法在不同部门之间交换数据。此外，考虑到用户隐私、商业利益、监管要求等。我们面临着小数据和孤立的数据孤岛。将小数据转化为大数据需要大量的数据标注。例如，在医疗或金融领域，时间不允许我们将小数据快速转化为大数据。
对于小数据的问题，我和我的团队一直在做一项关于迁移学习的长期研究。迁移学习和人类一样，能够将模型从一个场景转移到另一个场景。目标是突破大数据是传统机器学习先决条件的要求。人类是如何做到的？当我们解决一个新问题时，我们会利用联想能力去思考它:我们在过去遇到过类似的场景吗？一个模型可以通过微小的改变在当前场景中使用吗？这种联想能力是我们从一个例子转移到另一个例子的关键。
能够迁移意味着什么？以这两条曲线为例，在一定的数据量下，学习效果就像一条红线。如果有迁移学习，学习效果会更好，成长会更快。这是迁移学习带来的两个好处。因此，我们说，一个地区的移徙效率是由多个指标衡量的。这两条曲线表明，在一定的数据和一定的效果下，迁移学习的指标是好的。
我们针对这种情况提出了迁移学习的理论算法框架。该算法框架的目标是模拟人类小样本的快速学习能力。我们可以通过样本和样本的分布进行迁移，也可以基于特征进行迁移。只要有语义交流，甚至两个领域，如计算机视觉和自然语言处理，都可以迁移。这是基于特征的迁移。
我们也可以基于模型进行迁移。例如，我们可以制作一个预培训模型。在新的领域
在此基础上，我们还可以在时间维度上扩展迁移学习，这样我们就可以形成一种过渡性的迁移学习，就像我们踩着石头过河，一步一步走。我们还可以将一个域的模型移动到第二个域，然后从第二个域移动到第三个域，依此类推。
我们也可以依靠深入的研究和一系列的中间场来进行传递性迁移。转移移民的一个很好的例子是斯坦福大学和世界银行合作使用卫星图像获得经济条件，特别是在像这样的贫困地区。通过将ImageNet数据传输到夜空图像，然后通过夜空图像传输到白天图像，经过这两个步骤的迁移，我们可以自动获得卫星图像二维地图的经济状况估计，这也是非常准确的。
迁移学习也可以用于舆论分析。例如，我们已经获得了一个非常好的自然语言分类器。只要我们对一本书进行回顾或评论，我们就可以估计它的正面和负面方向。然后在有了这样一个模型之后，我们假设我们将给出一个新的领域，并且我们还没有看到这个新领域中的一些数据。然而，通过两个领域之间的相似性和一般性，我们可以快速获得迁移学习模型，这将使我们能够快速建立第二个领域的舆论模型。
那你是怎么意识到的？最近的一种方法是通过多层注意力网络机制。注意力机制网络有两个任务。第一个任务是在这个领域获得越来越高的精度。第二是在跨域任务中区分至少两个域，以便混淆这两个域中采用的特征词。这些特征词不仅能告诉我们舆论的特征，还能告诉我们与领域无关的共性。这个特色词的效果相当好。
同步转移学习也可用于具有巨大商业价值的领域，即对话系统。我们知道对话系统需要大量的对话标签。如果我们换到另一个领域，例如，从咖啡销售领域到股票销售领域，虽然在这个领域有很多具体的商业知识，但它的逻辑结构仍然很常见。在这种情况下，我们可以通过加强学习的迁移机制来区分一个领域的策略:它是一个领域的特殊策略还是一个一般的对话策略。通过区分两种策略并学习一般策略，我们可以很快得到一个基于RNN的迁移学习模型。
另一个有趣的例子是智慧城市，这也是我们与一些公司合作的结果。例如，有许多车辆在一个城市里行驶。根据车辆的状态，我们可以区分它是一辆净车还是一辆私家车。这种分类器可以根据两个城市之间的相似性将其移动到一个新的领域。还有城市的PM2.5预测，这种迁移也是可以做到的，所以这是一个非常普遍的做法。
总之，在千千有一万种迁移学习，但是我们能不能制定一个通用的算法并把它应用到许多领域？这是我们的最终目标。现在这个目标终于有了希望。现在有许多迹象表明，如果我们在源域中有足够的数据来形成一个非常大的预训练模型，那么当我们遇到一个新的域时，我们通常可以快速成功地进行迁移。因此，迁移学习的成功取决于我们是否能够挖掘出相同类型的问题，并构建一个巨大的预培训模型来迁移到小数据域和新的域。
的例子已经在最近的一项脸书工作中得到证实，这项工作是在ImageNet数据的基础上逐字增加源域中的数据100倍。这样，可以发现在数据较少的情况下，迁移仍然可以取得很好的结果。同时，NLP的领域也得到了类似的确认，还有像BERT这样的领域，这让机器学习工作者非常兴奋。
我们知道，自动化学习是用人工智能来设计人工智能，用人工智能来自动设计一些人工智能步骤。然后我们也可以通过迁移学习达到这一效果。我们可以使用人工智能模型来设计迁移学习模型。这是我们最新的作品。这项工作被称为“学习迁移”，也是一个非常有希望实现迁移学习过程自动化的例子。这就是我们在从大数据到许多小数据领域的迁移学习中所做的努力。
我最近的工作类似于迁移学习，但仍有一些不同。它更多的是关于解决“数据岛”的问题。我们知道，如果我们有许多部门和传感器，但每个传感器只能收集部分数据。如果我们不能通过这些传感数据，那么每个地方的数据都不足以训练出一个好的模型。为什么会这样？因为社会对隐私和安全的要求越来越高，我们可以看到国外、欧洲都有这样的法律，国内也有很多非常严格的个人隐私保护法，这些法律往往更加严格和全面。
例如，如果我们养了一只羊，而这只羊是一个模型，我们如何建立这个模型？我们过去的方法是从每个家庭买草喂羊。这相当于去任何地方购买数据、购买数据和收集数据。然而，这种方法现在不起作用。数据要求草不能离开这个地方，也就是说，草不能离开牧场。农民的羊会饿死吗？不，农民将采用另一种方法。他会让羊在牧场到处走动。如果草不是从牧场出来的，那么羊就可以走了。就像数据没有移动一样，模型在数据库之间移动。
这导致了一个叫做联邦学习的新领域。我们有不同的组织，每个组织都有自己的数据。它们是一个完整的大型数据库，可以用来训练大数据模型。但是现在，由于隐私和兴趣，每个组织都不想或不能与其他人共享数据。然后，我们可以让他们组成一个联盟，让他们一起遵循一个规则，这样这个模型的参数就可以在他们之间进行交流。在通信过程中，这个参数也被加密，使得组织不可能通过它获得的参数包来分解彼此的数据和模型。最后，每个地方的一些模型已经长大，这就构成了一个完整的模型。联邦学习就是这样一个概念。
所以联邦学习有很多优势。例如，如果数据隐私得到保护，参数得到保护，建模效果会非常好。我们建立了联邦学习的理论，并建立了数学基础。这一数学基础是基于一个假设，即拥有这一数据的所有各方的特征有足够的重叠，那么我们称之为“纵向联邦学习”。如果他们的特征重叠，但他们的样本不重叠，这被称为“横向联邦学习”如果双方不重叠，我们也可以使用转移学习将他们转移到另一个州空间，在那个空间找到他们的共同点，并使用联邦学习来解决他们。
因此，联邦学习迁移学习已经形成了一种保护隐私和共同建模的机制。这一机制在业界得到了强烈反响。我们发现这种机制在不同领域的不同企业/机构中特别有用。例如，银行和监管机构(机构)可以联合起来，更好地建立反洗钱模式。互联网(公司)和银行可以为小型和微型企业建立风力控制模型。互联网公司和零售公司可以建立更好的新零售模式等等。这种建立依赖于数学基础，一种非常有效和高效的可计算加密机制，其中数学、硬件和分布式安全算法的进化应该一起进行。
另一个非常特殊的领域是城市管理。我在此想举的例子是建筑地盘的安全监管。每个建筑工地都有许多监控工人安全的摄像机，比如戴安全帽和救火。因此，如果不同建筑工地之间的数据可以开放，这样的模型将会非常有效，我们在这里只使用联邦学习。
联邦学习和转移学习也用于许多领域。我想在此明确指出，建立这一系列联盟不能脱离一个标准。因为这是多个企业之间的沟通，企业必须遵循相同的标准。因此，我们一直在建立一个IEEE联邦学习国际标准。同时，通过与经济学教授的合作，我们建立了一个公平的利益分配机制，帮助每个人在这个联盟中自愿使用联邦学习。此外，我们还发布了世界上第一套联邦开源学习软件。
总而言之，迁移学习是对人类从一个事例中得出推论和从另一个事例中得出推论的能力的模仿。它有一套完整的理论和工业应用算法，已经在各个方面得到很好的证明。联邦学习是一项持续的研究工作。在合作和建模的基础上引入隐私保护的概念。我们也期望它在工业上有很大的应用发展。谢谢大家。
来源:智能系统杂志
