原标题:7篇不容错过的深度学习评论
translator | Cain
product |人工智能技术基础(ID:rgznai100)
随着各个领域深度学习的爆炸性进展，一些学术领域显得有些混乱。所以调查非常重要。一个好的调查可以提供这一领域的全面视角，帮助其他领域的学者更好地理解这一方向，并收集和总结这一领域存在的问题。
这里收集了近年来机器学习各个领域的七项调查，希望能对您有所帮助。
1、联邦 学习相关进展以及显存问题 Advances and Open Problems in Federated Learning (Peter Kairouz, H. Brendan McMahan, et al. arxiv, 2019)
联邦学习是一种多用户协作的培训方法。通过这种方法，多个最终用户(例如，移动设备用户或整个组织)可以在中央服务器(例如，服务器提供商)的协作调度下共同训练相同的模型，同时确保训练数据(来自每个用户)的去集中化。
联邦学习体现了专注于数据收集和成本最小化的原则，从而降低了传统集中式机器学习和数据科学方法中的系统隐私风险和成本。在联邦研究相关研究爆炸式增长的推动下，本文讨论了过去一年该领域的相关进展，并提出了大量开放式问题和挑战。
2、基于深度学习的时间序列分类综述 Deep learning for time series classification: a review (Hassan Ismail Fawaz et al. DATA MIN KNOWL DISC, 2018)
时间序列分类(TSC)是数据挖掘中一项重要且具有挑战性的任务。随着时间序列数据可用性的提高，大量的旅行商算法被提出。然而，这些方法中只有一小部分是由深层神经网络(DNN)完成的。与DNN近年来的大量成功应用相比，实在令人惊讶。DNN确实彻底改变了计算机视觉领域，特别是随着一些新的更深层次结构的出现，如残差网络和卷积神经网络。除了图像，序列结构数据，如文本和音频，也可以通过DNN处理，从而在文本分类和语音识别任务中达到最佳。
本文对基于最新DNN结构的教学任务方法进行了实证研究，以探索深度学习相关方法在教学任务中的最佳效果。通过同样的DNN分类，我们对深度学习在时间序列相关领域的应用进行了综述。同时，我们还为构建TSC生态提供了一个开源和深度学习的框架，包括所有参与比较的方法的实现，以及它们在TSC基准数据集和其他12个时间序列数据集上的验证结果。通过对97个时间序列数据的8，730个模型进行培训，我们提供了迄今为止对DNN在贸易支助中心任务方面最详细的研究。
3、深度学习最优化理论及算法Optimization for deep learning: theory and algorithms (Ruoyu Sun, arxiv, 2019)
本文主要讨论在什么条件下以及为什么神经网络可以成功地训练。本文综述了与神经网络训练相关的优化算法和理论。
首先，我们首先讨论了梯度爆炸/消失的问题，以及更普遍的意外情况。然后我们讨论了一些实用的解决方案，包括仔细的初始化和规范化方法。其次，综述了一些常用的优化方法，如梯度下降法、自适应梯度下降法和分布法，以及这些方法已有的理论结果。第三，回顾了现有的求解训练过程全局优化问题的方法，包括局部极值法、模式连接法、彩票假设法和无限宽结果分析法。
4、标准化流相关方法的介绍与综述 Normalizing Flows: An Introduction and Review of Current Methods(Ivan Kobyzev, Simon Prince, Marcus A. Brubaker. arxiv, 2019)
批注流是一个生成模型，它可以生成可处理的数据分布，并有效地执行采样和概率密度评估。本文的目的是对分布式学习中标准化流程的建立和使用进行一个连贯和全面的回顾。
我们希望提供相关模型的上下文理解和解释，回顾当前的优化工作，并提出一些有待解决的问题和未来的研究方向。
5、标准化流：概率建模与推理 Normalizing Flows for Probabilistic Modeling and Inference (George Papamakarios, Eric Nalisnick, et al. arxiv, 2019)
normalized flow提供了一种生成机制来定义具有表现力的概率分布，并且只需要指定一个(通常非常简单的)基本分布和一系列双射变换。标准化流程的研究很多，包括提高模型表达能力和扩大应用范围。因此，我们认为这一领域的研究已经逐渐成熟，需要一个统一的视角。
在本文中，我们试图通过概率建模和推理来描述标准化流程，从而提供一个全局视角。此外，我们特别强调了流程设计的基本原则，并讨论了一些基本问题，如模型表达能力和计算开销之间的平衡。我们还通过将标准流与更一般的概率变换联系起来，扩展了流的概念框架。最后，总结了流程在各种任务中的应用，包括生成模型、近似推理和监督学习。
6、流行的泛化方法以及如何寻找他们 Fantastic Generalization Measures and Where to Find Them (Yiding Jiang, Behnam Neyshabur, Hossein Mobahi, Dilip Krishnan, Samy Bengio. arXiv, 2019)
深度网络的泛化近年来非常流行，导致许多复杂的方法受到理论或经验的驱动。然而，大多数文章中提供的方法仅在少数模型上进行了测试，并且仍然不知道在其他模型或环境设置下是否可以得出相同的结论。因此，我们首次对深层网络的泛化能力进行了大规模的研究。
我们调查了40多种复杂的方法，包括理论范围和实证研究。我们训练了10，000多个卷积网络，并系统地改变了它们常用的超参数。为了探索每种方法和一般化之间潜在的因果关系，我们仔细分析了控制变量实验，从而揭示了一些方法和其他方法的无效性，这些方法可能对未来的研究有用。
7、神经风格转换综述 Neural Style Transfer: A Review (Yongcheng Jing, Yezhou Yang, Zunlei Feng, Jingwen Ye, Yizhou Yu, Mingli Song. 2017)
Gatys等人最近的研究证明，有线电视新闻网有能力创作艺术作品，能够分离和重组图像内容和风格。使用有线电视新闻网将图片的语义内容与不同的图像风格相结合的过程称为神经风格转换(Neural Style Transfer)。从那时起，NST已经成为学术研究和工业应用中的一个热门研究课题。同时，在变异系数研究者的密切关注下，提出了一些改进和扩展算法的方法。
本文的目的是全面总结NST方向的研究进展。我们首先对该领域的算法进行了分类，然后提供了多种评价方法来定性和定量地比较不同的NST算法。最后，本文讨论了NST的各种应用以及未来的一些有待解决的问题。参与讨论的相关文件和代码、预训练模型和结果可在: http://github.com/ycjing/Neural-Style-Transfer-Papers.
source:
http://www.reddit.com/r/machinelearning/comments/ehptx3/d _ 7 _ real _ near _ survey _ papers _ in _ deep/
人工智能数学基础系列公开课中找到，从人工智能的热点问题开始，引出其中包含的数学原理，然后构建数学模型和方法来解决既有趣又实用的实际问题。
1月16日晚8中找到，从人工智能的热点问题开始，引出其中包含的数学原理，然后构建数学模型和方法来解决既有趣又实用的实际问题。
:00免费哈尔滨工业大学曲教授教授教授在线直播课程“可视化”数学，帮助每个人破译计算机视觉背后的数学！
报名加入公开课福利群 ，每周还有精选学习资料、技术图书等福利发送、 60+公开课免费学习
010-59000
010-59000
