点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

12月16日晚7:30-9:00

AI TIME特别邀请了3位优秀的讲者跟大家共同开启NeurIPS 2020专场三！

哔哩哔哩直播通道

扫码关注AITIME哔哩哔哩官方账号

观看直播

链接：https://live.bilibili.com/21813994

★ 邀请嘉宾 ★

王振楠：深圳大学在读博士研究生（即将毕业），导师为徐晨教授，指导老师为邹文斌副教授。研究兴趣聚焦于深度学习的基础研究，如正则化、归一化等。

报告题目：

MMA正则化：神经网络去相关性的正则化

摘要：

神经元或卷积核之间的强相关性会大幅削弱神经网络的泛化能力。本文提出使归一化后的权重向量在单位超球面上尽可能分布均匀，从而减弱其相关性。而著名的Tammes Problem是均匀分布的评判标准之一。

本文从分析Tammes Problem出发，提出一种针对任意维度d和任意点数n的Tammes Problem的数值求解方法。进而将该方法应用到神经网络中，提出了一种新颖的神经网络正则化方法，减弱神经元或卷积核之间的相关性。

由于该方法使同层中的权重向量之间的最小夹角最大化（Maximizing the MinimalAngle），因此简称为MMA。MMA正则化形式简单、计算复杂度低、效果明显，因此，可以作为神经网络模型的基本正则化策略。本文通过大量的实验，证实了MMA正则化的有效性和广泛适用性。

谢雨佳：本科毕业于中国科学技术大学少年班学院，现为佐治亚理工学院CSE系第五年博士生，导师为查宏远教授和赵拓教授。她的研究方向主要为最优传输理论和端到端学习。

报告题目：

当Top-k遇到深度学习

摘要：

top-k操作（即从分数集合中找到k个最大或最小元素）是一个重要的机器学习模型组件，被广泛用于信息检索和数据挖掘中。但是，如果top-k操作是通过算法方式（例如使用冒泡算法）实施的，则无法使用流行的梯度下降算法以端到端的方式训练所得模型。这是因为这些实现通常涉及交换索引，无法计算其梯度。此外，从输入数据到该元素是否属于前k个集合的指标向量的对应映射是不连续的。

为了解决这个问题，我们提出了一个平滑的近似操作，即SOFT top-k运算符。具体来说，我们的SOFT top-k运算符将top-k运算的输出近似为最优传输（OT）问题的解。然后，我们基于OT问题的KKT条件快速地估算SOFT运算符的梯度。我们将提出的算子应用于k最近邻分类和波束搜索算法，并通过实验展示了性能的提高。

白绍杰：本科毕业于美国卡内基梅隆大学（CMU）计算机系和应用数学系（双学士），目前是CMU机器学习系四年级博士生，导师为J.Zico Kolter教授。他的研究方向主要集中在深度时间序列模型，以及融合数学优化模型和深度学习结构，并从而构建稳定、低内存、易于分析的隐性深度学习（implicit deep learning）方法。

报告题目：

多尺度的（隐性）深度平衡模型

摘要：

尽管绝大多数深度网络都是基于一个核心的概念---神经“层”的叠加，我们提出一种只有一层、但是却可以代表无限层叠加的隐性深度模型（implicit-depth model)：深度平衡模型（DEQ）。

这类模型有三大特征：

1）任何传统的神经网络都可以被表示成一层DEQ；

2）DEQ只定义、也只使用一个层；

3）其正向和反向传播是两个互相独立的不动点（fixed-point)优化过程。

基于这一设计，我们进一步提出了*多尺度的*深度平衡模型（multiscale DEQ，或MDEQ），并讨论MDEQ是如何同步驱动多个特征流来达到并行的特征平衡点（synchronized feature equilibria）。MDEQ的设计修正了诸如DEQ和Neural ODEs等隐性深度模型一个核心的问题：对特征结构的不充分解析；并使得我们能够在隐性深度模型上进行比以往灵活得多的训练模式，比如多任务学习，亦或是在不同性质任务上的预训练和微调。通过实验，我们发现在依然保有隐性深度模型O(1)内存消耗的优势的情况下，MDEQ拥有极高的可扩展性，可以用于极高维度的数据特征；比如，同一个MDEQ可以同时训练于ImageNet分类问题和Cityscapes的高分辨率图像分割问题，并且在表现上媲美最先进的传统深度网络。

直播结束后我们会邀请讲者在微信群中与大家答疑交流，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“nips”，将拉您进“NeurIPS 2020 交流群”！

AI TIME微信小助手

主       办：AI TIME 、AMiner

联合支持：智源社区

合作伙伴：智谱·AI、中国工程院知领直播、学堂在线、CSDN、学术头条、biendata、大数据文摘、数据派、 Ever链动、机器学习算法与自然语言处理

AMiner是学术搜索和社会网络挖掘研究的重要数据和实验平台，由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万。        

1）AMiner平台：https://www.aminer.cn

2）会议专题页面：https://www.aminer.cn/conf/emnlp2020

清华情怀·AITIME基地

1911主题餐厅

AI TIME期待与你线下相聚！

AI TIME欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，顶级的平台需要顶级的你！

请将简历等信息发至yun.he@aminer.cn！

微信联系:AITIME_HY

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造一个知识分享的聚集地。

更多资讯请扫码关注