Skip to content

Latest commit

 

History

History
83 lines (64 loc) · 11.1 KB

2017-11-14.md

File metadata and controls

83 lines (64 loc) · 11.1 KB
layout
default

嵌入式AI 双周简报 (2017-11-14)

业界新闻

论文

  • A Berkeley View of Systems Challenges for AI
    简评:这个survey主要介绍了下一代的人工智能系统(包含系统、架构、安全性等),整体较短。主要关注点在未知环境中做出安全可信的决策,个性化智能以及在日益增长的数据这一挑战下的应对方法。相信可以给在做嵌入式人工智能的同学们一些启发。
  • [1711.01243] ResBinNet: Residual Binary Neural Network
    简评:近来二值网络提供了内存和执行效率上的优势。本文提出的ResBinNet通过将residual binarization和temperature adjustment的策略结合,前者是可以在一层上学到多级别的binary特征表达,后者可以逐渐对特定层的权重进行binarize。两种策略结合得到一系列的soft-binarized参数,提高原始binary net的收敛率和精度。而且该方法可以在infer时间和准确率之间权衡。
  • [1711.02613] Moonshine: Distilling with Cheap Convolutions
    简评:大家知道distillation策略通过小的student net来学习teacher net,小网络相比teacher网络结构和层数等更精简,方便部署在资源有限设备上。本文在原本student-teacher的基础上将,通过attention tansfer的策略让student网络相比直接在原始数据上训练有了更好的性能。
  • [1711.03386] Performance Evaluation of Deep Learning Tools in Docker Containers
    简评:Docker的使用已经非常广泛,甚至有一些小伙伴在嵌入式上部署Docker来简化部署环境。先不考虑内存占用量,单就在实际使用中在磁盘IO、CPU和GPU上的性能损失又是怎么样的呢?本文将对这些角度进行深入的分析。
  • [1711.03016] DLVM: A modern compiler infrastructure for deep learning systems
    简评:作者借鉴LLVM的思想提出DLVM,认为现在深度学习环境性能和可靠性不能兼顾。已有的深度学习框架在算法描述上使用Python不安全的DSL。DLVM作为一个基础组件,可以自动生成GPU代码,并作domain-specific的优化。相比已有的深度学习编译器IRs来说,DLVM更具有模块化和通用性。
  • [1711.02213] Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks
    简评:尽管32-bit的float类型是当前最为常用的数据类型,但现在也有不少人在较低的bit上尝试训练网络也发现在可接受的精度损失下,速度有提升。作者提出一种Flexpoint数据格式,在不需要做任何修改下,就可以替代原本inference中的32bit float。作者在AlexNet、ResNet还有生成对抗网络上做了实验,在没有做超参数调优下,性能接近32-bit浮点的性能。认为Flexpoint是一种很有潜力作为硬件设备inference的专用数据格式。

开源项目

博文


Editor: 张先轶、袁帅


知识共享许可协议
本作品采用知识共享署名-相同方式共享 2.0 通用许可协议进行许可。