_

清华大学类脑计算研究中心博士生吴双在ICLR2018上做口头报告——全离散化训练/推理的深度神经网络

清华大学类脑计算研究中心博士生吴双的论文被ICLR2018收录并在会上做口头报告。迄今为止,这是中国作为第一署名单位里唯一一篇被ICLR会议收录的口头报告文章。

ICLR是深度学习领域的顶会,更被誉为深度学习的 “无冕之王”,得到了google, Facebook, deepmind, Amazon,IBM等众多高科技公司的高度关注和参与。ICLR2018于当地时间2018年4月30日在加拿大温哥华会展中心召开,为期4天。本次大会的主席是深度学习领域三巨头中的Yoshua Bengio(蒙特利尔大学)和Yann LeCun (纽约大学&Facebook),本次大会收到一千多篇投稿文章,其中仅有23篇被收录为本次会议的口头报告文章。

图1 吴双(左侧)和李国齐(右侧)——被收录文章的两位作者

吴双同学的报告安排在5月2日,作为第15场口头报告,题目为“Training and Inference with Integers in Deep Neural Networks” 。

该报告主要探讨如何实现对全离散化深度神经网络进行训练和推理,便于部署到嵌入式设备中。在深度学习领域,高精度意味着大面积、高功耗,从而导致高成本,这背离了嵌入式设备的需求,因此硬件加速器和神经形态芯片往往采用低精度的硬件实现方式。在低精度的算法研究方面,之前的工作主要集中在对前向推理网络的权重值和激活值的缩减,使之可以部署在硬件加速器和神经形态芯片上;而网络的训练还是借助于高精度浮点实现(GPU)。这种训练和推理的分离模式往往导致需要耗费大量的额外精力,对训练好的浮点网络进行低精度转换,这不仅严重影响了神经网络的应用部署,更限制了在应用端的在线改善。为应对这种情况,本文提出了一种联合的离散化架构WAGE,首次实现了将离散化神经网络的反向训练过程和前向推理合二为一。具体来说就是将网络权重、激活值、反向误差、权重梯度用全用低精度整形数表达,在网络训练时去掉难以量化的操作及操作数(比如批归一化等),从而实现整个训练流程全部用整数完成。在数据集实测中,WAGE的离散化方法能够有效的提高测试精度。由于该方法能够同时满足深度学习加速器和神经形态芯片的低功耗和反向训练需求,更使之具备高效地在线学习的能力,对未来多场景、多目标的可迁移、可持续学习的人工智能应用将大有裨益。

图2 吴双同学在ICLR2018大会上做口头报告

附录:

ICLR2018大会主席

Yoshua Bengio,蒙特利尔大学

Yann LeCun,纽约大学&Facebook

高级程序主席

Tara Sainath,Google

程序主席

Iain Murray,爱丁堡大学

Marc’Aurelio Ranzato,Facebook

Oriol Vinyals,Google DeepMind

指导委员会

Aaron Courville,蒙特利尔大学

Hugo Larochelle,Google

领域主席(Area Chairs)

  


• 2018年5月3日编辑

<< 返回首页