谷歌大脑负责人Jeff Dean:深度学习技术及趋势报告

1464089508-7966-ed0UTlNC9BYTR6DBwJxoo33hgm5g

亮点

  • 深度学习在语音、视觉、语言和语义等方面为计算机实现理解做出极大贡献
  • 如果不考虑使用深度学习,很有可能是你的pre-trained模型或API太旧
  • TensorFlow的好处
  1. 高度扩展的设计,更快的实验速度加速研究进程
  2. 容易分享模型,开发代码应用到可重用的效果
  3. 通过同一个系统把研究工作直接用于生产环境
智能计算系统中的大规模深度学习

1464089508-8782-24eYGuQCv06OSsiaOibyru7RLD1w

打造智能产品,

必须让计算机理解——而理解不是一件简单的事情

虽然离终点还有距离,但研究人员做出了显著进展

1464089508-3226-vOQsTfowBNcTbfVrAdg2t6iaGQmQ

1464089508-5419-pPPa1mfpRjFFjGnzjsRUZd993jYQ

演讲大纲
  • 为何要使用神经网络?
  • 实际案例:运用神经网络解决真实世界问题
  • TensorFlow 全面解析
  • 应用举例

1464089508-9450-Kcm00lYTUlhYe0XXtqh29uJD2a5g

“谷歌大脑”项目始于2011年,专注于发展最先进的神经网络。初期重点是:

  • 使用大数据集,以及
  • 海量计算

尽可能拓展计算机的感知和语言理解能力

1464089508-4602-eDB5YhE2e6k7msJ24ibKOSicZ4KQ

随着时间推移,深度学习在谷歌得到越来越广泛的应用

1464089509-5511-YlKLA8EJUuFiaia17sx6WXRnr4wQ

1464089509-8756-hRgtBOG50MRrF6HA59mAiaSLUbtw

深度学习的潜力(目标)

实现跨领域通用表征

数据和简单的机器学习算法取代繁冗编码

1464089509-4975-fHic5ojoN7fIP1iaXlyQ7JPXj9cQ

1464089509-1018-alao5bd0YTCCHiaP9AqLaxdJRibg

深度学习在产业界和学术界的应用

语音识别

目标识别和检测

机器翻译

语言建模

语法分析

1464089509-8390-ExVYINmDLYYP9yg2rkI7Zgt7dR5A

神经网络是一些从数据提炼的复杂函数,从一个空间输入转化为另一个空间的输出。

1464089510-1758-soWnPhoXVL9Duu6dbEtTJqKNkSKw

深度网络模型与大脑运作原理相似,但并非直接模拟神经元如何工作,而是一种简单抽象的神经元网络。人工神经元不会产生脉冲,只会生成数值。神经元的函数就是通过非线性函数计算输入的加权乘以权重之和。

1464089510-6551-jxT3xBicWWQjpNScfs8acD4due9w

最低层的神经元会查看像素的小块,更高层的神经元会看下层神经元输出再决定是否生产。Google目前有能力快速搭建和训练基于海量数据的模型,解决真实世界中的实际问题,在不同的平台(比如移动端、GPU、云端)部署生产模型。

学习算法:重点与误区(略)

1464089561-8028-bT5qkOicU27VhHMgdnq0aGPDY90A如何构建能够真正理解这些原始数据的计算系统?

神经网络特点(略)

深度学习在谷歌的应用

1464089511-3265-aTKh9ziaVqFFHGM7GYkw6fKlHGHQ

语音识别

1464089511-7658-t7mJS7YxRMCBzeHOp5xOOsU6ia6g

图像识别

1464089510-5134-skOrG6NOICickqXu8LkXjVhWwOdg

1464089511-8059-FCnBKRSlkWfxIgENeAryzhqQBt5A

1464089511-1689-njsqtxzVVLZZqEALLOSRgwKDwVHg

1464089512-6883-6fLgrJwCkF3CSa8Qdxupiad3wK3Q

1464089512-8656-GbicfTJ9vHfnI1DdOty56zV1OpyQ

1464089512-8982-yl0Kzu2Ca0sIVJMVrxt2YlibNE6g

图像搜索与分类

1464089512-3267-icUGCmRGfG3jmvbHNAHTJpiapl4w

1464089512-1681-rFNOoo8W6FGibRHKFzys3VqWNqag

谷歌街景

1464089512-9416-zhibvou02br3qv1c3bqOoZnAKqhg

1464089513-8344-0ogkTCqvD3OxVyWDumK7iaVgibbg

描述图像

1464089632-7447-no6V5dTqT2KH0OJVEDTLCqL9OpEQ

翻译团队写了一个App,使用计算机视觉来识别镜头中文字,再翻译成文本,最后在图片上覆盖翻译好的文字。模型足够小可以在所有设备上运行。

1464089513-7600-4oGugpEocjfqib4tf6FA4wE2jDQg

机器学习系统的理想特征

  • 容易表达
  • 可扩展
  • 多平台适用
  • 可重复使用
  • 快速见效
TensorFlow:第二代深度学习系统

1464089513-2707-a80a3WlwanwRRpnCav30aYibxVEQ

概述(略)

初代历史(略)

GitHub 资源(略)

制作动机(略)

TensorFlow:表达高级机器学习计算(略)

计算可以用一张数据流图表示

我们输入数据、权重、误差以及标签,在不同节点进行不同的运算。Tensor 意味着N维数组,1 维时就是向量,2 维时就是矩阵;用图像可以可以用三维张量(行、列、颜色)表示更高维的数据流;Flow(流)意味着基于数据流图的计算。有许多运算(图中的节点)应用在数据流上。张量从图象的一端流动到另一端,这就是“TensorFlow”。“边”代表张量(数据),节点代表运算处理。

1464089513-3462-yRvdDLibIf2A0uOv08JNdopja7SA

1464089513-5245-lOQULWSyfdgFM6cse9Y8VqibibFA

使用张量计算

1464089513-7976-GeURGuPqj3eyIXriaoZ32rAs35lw

使用状态计算

1464089514-2626-j1hSWvdX9lcKgWMtvkqAqXtTB17A

使用分布式计算

1464089514-5298-qjQ1HlJN6QQjhxHuL7IVUyQ02s0g

1464089514-5055-m4LSnRcfbfhvEZrBryup1ibRFfeA

理想的移动端和嵌入式部署

  • 高效率
  • 低能耗
  • 体积适中

1464089514-5541-adE6ABKQmgJAX5Pddib8bRhpXyTg

使用低精度整数运算

补充资源

1464089514-5766-vOicR6Z6nRibAJQx9KvnNEiaG5rg

1464089514-6961-BJMeWnHibibGutA9aZ5zQ5ocmIhQ

1464089515-9889-SuSdlF9wZiatpweJX0dgib2OkzjA

1464089515-6545-CrlkmO4eaWX58NU3gJ111Gy2H7pg

TensorFlow 应用举例

1464089515-1315-MkNpLibwKKEbH3o1ZjjTfibaBnSg

1464089515-9690-3YkCV2FhZQMXCFFicSdFuu8mEmtw

1464089515-4884-0abW07oMdR1mqvTH2EA2qHxoOIgA

(1)使用云端API

1464089516-1613-MzWcmKxTPMiakXic9yaOBH86kovQ

(2)使用Pre-trained图像模型

1464089516-9570-6aev4Kkx3sbw17z2mkTSBB2Uk5ZA

(3)用你自己的图像数据训练模型

1464089516-8712-FWdO1dxKBufSNOGzibqsg63Sd8Fw

(4)开发你自己的机器学习模型

深度学习展望(略)

应用领域(略)

1464089516-1990-C7P6AADtUNYIUy553RIEMD65h5zg

与机器人视觉结合

1464089516-7016-v2RNW4RMPrjvYaA0RXEHTqDZ4iaQ

总结

  • 深度学习在语音、视觉、语言和语义等方面为计算机实现理解做出极大贡献
  • 如果不考虑使用深度学习,很有可能是你的pre-trained模型或API太旧
  • TensorFlow的好处
  1. 高度扩展的设计,更快的实验速度加速研究进程
  2. 容易分享模型,开发代码应用到可重用的效果
  3. 通过同一个系统把研究工作直接用于生产环境

1464089517-7983-oH2CQ9qoNwibST96DVa4xorQ17Kg

  • 演讲题目:Large-Scale Deep Learning for Intelligent Computing Systems
  • 资料来源:embedded-vision.com

感谢支持199IT
我们致力为中国互联网研究和咨询及IT行业数据专业人员和决策者提供一个数据共享平台。

要继续访问我们的网站,只需关闭您的广告拦截器并刷新页面。
滚动到顶部