李宏毅的课程(台大李宏毅最新深度学习课程)
新智元介绍
在新智元微信公众后台回复170410下载全部课程资料(含347PPT 、数据库、视频地址)
2017年台大李宏毅中文深度学习课程来了。课程名称是“机器学习及其深层与结构化(NTUEE Machine Learning and having it Deep and Structured)”。我们先来看一下李老师对于课程名称的解释。
可以看出,其中的“深度”描述了机器学习的方法,也就是说本门课程主要内容是关于深度学习的,而“结构化”则是深度学习的任务。
课程目录
-
课程介绍
-
作业0
-
Tensorflow 介绍
例1- Word2vector模型
例2-卷积神经网络(CNN)
-
深度学习模型的基础架构
-
用于反向传播的计算图
-
深度学习语言模型
-
作业1-语言模型
-
特殊的深度学习架构
-
RNN条件生成
-
作业2
-
自然语言对话的深度学习
-
深度学习和芯片
-
评分
在新智元微信公众后台回复170410下载全部课程资料(含347PPT 、数据库、视频地址)
视频地址:
https://www.youtube.com/playlist?list=PLJV_el3uVTsPMxPbjeX7PicgWbY7F8wW9
李宏毅老师简介
李宏毅老师于2012年从台北 National Taiwan University (NTU) 博士毕业。2012年9月—2013年8月,在 Sinica Academia 的 Research Center for Information Technology Innovation 做博士后。2013年9月—2014年7月,在 MIT Computer Science and ArtificialIntelligence Laboratory (CSAIL) 的 Spoken Language Systems Group 做访问学者。现任 Department of Electrical Engineering of National TaiwanUniversity 副教授。主要研究领域为机器学习(特别是深度学习)、口语语义理解和语音识别。
第一章 课程介绍
结构化的(输出)学习;
机器学习就是去寻找一个函数 f
回归
分类
机构化学习
输出序列:以语音到文本的转换为例
输出矩阵:以图像到图像、文字到图像的转换为例
结构化输出的挑战:
输出空间是非常稀疏的
因为输出组件有依存性,应该对他们进行全局考虑
第二章 TensorFlow介绍
流程结构
总原则
导入模块
Session1
Session2
变量和范围1
变量和范围2
变量和范围3
变量和范围4
变量和范围5
占位符 1
占位符 2
定义添加层
例1- Word2vector模型
例2-卷积神经网络(CNN)
第三章 深度学习模型的基础架构
深度学习三步走:神经网络--成本函数--优化
完整的连接层
不同层输出之间的的关系
递归神经网络
深度RNN
三角RNN
Naive RNN
LSTM
堆叠RNN
第四章 用于反向传播的计算图
反向传播:一种计算梯度的高效方法
通过计算图(computational graph)理解反向传播:Tensorflow, Theano, CNTK, etc.
计算图:一种描述函数的“语言”
-
节点:变量(标量、向量、张量……)
-
边线:操作(简单函数)
参数共享:相同的参数出现在不同的节点
前馈网络计算图
前馈网络的损失函数
损失函数的梯度
计算梯度需要:计算偏导数,使用反向模式→输出总是一个标量(scalar)
递归网络计算图
参考资料
第五章 语言建模
语言模型:预估单词序列的概率
应用:语音识别(不同的单词序列可能发音相同);句子生成
N-gram
怎样预估P(w₁, w₂ , w₃, …., wn)
收集大量文本数据作为训练数据(但单词序列 w₁,w₂,…,wn可能没有出现在训练数据中)
N-gram 语言模型: P(w₁, w₂ , w₃, …., wn ) = P(w₁ |START)P(w₂ |w₁ ) …... P(wn |wn-₁ ) ← 这是 2-gram
3-gram, 4-gram …… 也很容易生成
NN -based LM
RNN-based LM:为长期信息建模
也可以用深度 RNN 或 LSTM
N-gram 的挑战:估计的概率不一定准确(尤其当 n-gram 中 n 的数值非常大时)
原因是数据稀疏性:大的模型,不充分的数据
这叫做“语言模型平滑”(language model smoothing)
语言模型的神经图灵机
更多参考资料
第六章 特殊深度学习结构
Spatial Transformer Layer
图像转换
递归结构
应用:情感分析
-
循环结构:是递归结构的特殊形式
-
递归结构:如何堆栈函数 f 是已经确定的
递归模型
递归神经张量网络
实验:5-class 情感分类 ( -- , - , 0 , , )
矩阵-向量递归网络
Tree LSTM
第七章 RNN 条件生成
生成
句子由字符/单词组成
利用 RNN,每次生成一个字符/单词
图像由像素组成
利用 RNN,每次生成一个像素
条件生成
我们不希望只是简单生成一些随机的句子,希望根据当前条件生成句子。
应用:生成图说;聊天机器人
注意力:动态条件生成
机器翻译:基于注意力的模型
语音识别
图像说明生成
课程地址:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html
3月27日,新智元开源·生态AI技术峰会暨新智元2017创业大赛颁奖盛典隆重召开,包括“BAT”在内的中国主流 AI 公司、600多名行业精英齐聚,共同为2017中国人工智能的发展画上了浓墨重彩的一笔。
点击阅读原文,查阅文字版大会实录
访问以下链接,回顾大会盛况:
-
阿里云栖社区:http://yq.aliyun.com/webinar/play/199
-
爱奇艺:http://www.iqiyi.com/l_19rrfgal1z.html
-
腾讯科技:http://v.qq.com/live/p/topic/26417/preview.html
免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com