短期课程：Microsoft AI and Research，成宇研究员到访我院并讲授短期课程

2019年4月22日至2019年4月27日，来自Microsoft AI and Research的成宇研究员在我校明德楼405教室为我院及相关院系的师生们讲授了以“Introduction to deep learning”为主题的系列课程。

首先，成老师为大家简要介绍了本门深度学习课程的体系结构，包括多层神经网络（multiple layer perception）、卷积神经网络（convolutional neural network）和递归神经网络（recurrent neural network）。其中，多层神经网络即即多层感知器，是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量，作为对传统感知器的革新，克服了后者无法实现对线性不可分数据识别的缺点；卷积神经网络作为当前深度学习（deep learning）的代表算法之一，是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），被大量应用于计算机视觉、自然语言处理等领域；递归神经网络是具有树状阶层结构且网络节点按其连接顺序对输入信息进行递归的人工神经网络（Artificial Neural Network, ANN），具有灵活的拓扑结构且权重共享，适用于包含结构关系的机器学习任务，在自然语言处理（Natural Language Processing, NLP）领域有重要应用。

接着，成老师为同学们讲授了深度学习、深度学习平台与实践的优化问题（Optimization of deep learning, deep learning platform and practice），系统介绍了常用的几类优化方法，如梯度下降算法（Gradient Descent Optimization）、动量梯度下降算法和NAG算法（Nesterov Accelerated Gradient）等。理想的梯度下降算法在尽可能加速收敛速度的前提下，最好还能做到全局收敛

随后，成老师为我们介绍了目前深度学习的常用领域，包括语言、视觉和自然语言处理等领域。深度学习的基本思想源于联结主义，即尽管机器学习模型中单个生物性的神经元或者说是单个特征不是智能的，但是大量的神经元或者特征作用在一起往往能够表现出智能。从计算机视觉到自然语言处理，在过去的几年里，深度学习技术被应用到了数以百计的实际问题中。诸多案例也已经证明，深度学习能让工作比之前做得更好。

最后，成老师为大家进一步深入讲解了深度强化学习（Deep reinforcement learning）、深度生成模型（Deep generative model）等进阶内容。深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法，为复杂系统的感知决策问题提供了解决思路。生成模型不但能够把数据根据标签结果进行区分，还可以给定标签结果，生成数据样本的模型。深度生成模型可以分为有监督与无监督，主要还是在于无监督地应用，用于在没有目标类标签信息的情况下捕捉观测到或可见数据的高阶相关性。

最后，参与此次课程的各位老师同学也和成老师就课程的内容、问题以及在现实中的应用等方面展开了热烈的讨论，课程取得了圆满成功。

附：成宇研究员简介

Dr Yu is a researcher at Microsoft AI & Research. Before that, he spent three years as a research staff member at IBM T.J. Watson Research Center and got Ph.D. from Northwestern University in 2015. His research is about deep learning in general, with specific interests in the deep generative model, model compression, and reinforcement learning. He is also interested in solving real-world problems of computer vision and natural language processing.

Email: chengyu05@gmail.com

Homepage: https://sites.google.com/site/chengyu05/