2018自然语言之序列模型详解教程视频(视频+源码+课件)

作者: admin 分类: 机器学习和人工智能教程合集 发布时间: 2018-09-10 08:16

课程特色:
1. 既会推理数学公式,又要有直觉上的理解。
2. 重点模型深挖: 实现细节,实现代码,实际参数调试经验,高级应用方法。
3. 多个实践项目的探讨:
a. 相似语句判断 (基本“套路”)
b. 语音拟合 (自动机)
c. 语言模型 (LSTM)
d. 机器翻译 (Seq2Seq模型)
e. 推荐系统 (LSTM)

面向人群:
1. 自然语言从业人员,尤其是需要从“传统方法”转型到“神经网络”的从业人员。

2. 有志于从事自然语言处理研究的在校学生。

3. 希望能够无障碍看懂目前大多数自然语言处理相关论文的人。

4. 对循环神经网络(Recurrent Neural Network)有浓厚兴趣的人。

5. 已经接触过自然语言处理,但是希望增强对某些问题的直觉的人。

6. 期望在人工智能相关的工作或者实习的面试中能够做到“有话可说”的人。

7. 希望用Tensorflow从头开始实现一个比复杂的项目的人。

学习收益:
1. 了解基本: 有哪些经典问题,哪些经典模型,哪些经典技巧。
2. 增强直觉:能够做到在脑子中模拟所有模型的训练和推理过程,能够将各种模型统一在尽量少的几个框架之中。
3. 有码可依:能够从0到1的建立起一份自己的Tensorflow的seq2seq模型。
4. 摸到前沿:快速推进自己的自然语言知识,能够看懂现阶段大部分的论文。
5. 转型深度:掌握seq2seq模型,深度学习在自然语言应用最广泛,最成功的模型。

课程大纲:

第一课: 自然语言处理概论

1. 自然语言处理的难点
2. 经典问题以及解决问题的经典思路
3. 本次课程覆盖的主要范围:基本分类器,经典序列模型,神经序列模型。

第二课: 经典序列模型 III:

1. 语言模型
2. OOV及平滑方法 (Modified Kneser-Ney Smoothing)
3. 神经语言模型简介
4. 实践展示:KenLM 语言模型

第三课: 神经序列模型 I:

1. 基础的神经网络回顾:
a. Forward / backward propagation;
b. 计算能力的衡量
c. Word2vec 以及 King:Man = Queen:Women的本质解释
2. RNN 基本概念以及问题:
a. Gradients Vanishing / Explosion
3. RNN 变种: LSTM
a. Gate的作用
b. 可视化: 在机器翻译以及语言模型中产生的特殊的gate

第四课: 神经序列模型 II:

1. LSTM语言模型的实现
a. Tensorflow 框架理解
b. Padding, Bucketing 以及最佳Bucket算法
c. Dropout 作用
d. 多GPU实现
e. 多种优化方法对比:SGD, Adagrad 等
f. 超参数测试策略
2. 实践展示:LSTM语言模型

第五课: 神经序列模型 III:

1. Seq2Seq模型及神经机器翻译
2. Decoding: Beam search
3. Attention 机制
4. 实践展示:英法翻译系统

第六课: 神经序列模型 IV:

1. Seq2Seq 模型的提速
a. 训练提速:NCE
b. 测试提速:利用Word Alignment / LSH
c. Knowledge Distillation
d. 最近前沿架构

第七课: 神经序列模型 V:

1. Sequence + FSA
2. 对话生成
3. 情感分类 Supervised / Unsupervised
4. 实践展示:基于LSTM的推荐系统

第八课: 基本分类器

1. Naive Bayes / Perceptron / SVM / Decision Tree / GBT
2. Quora相似问题判断:
a. 数据清理
b. “人眼”智能
c. 特征提取
d. 各个分类器的表现:速度,内存,准确率

第九课: 经典序列模型 I:

1. EM 算法
2. HMM 隐马尔科夫模型
3. Conditional Random Field (CRF)
4. 如何用Lattice来统一理解以上模型

第十课: 经典序列模型 II:

1. 自动机(WFSA, WFST)
2. 利用 EM 算法来实现WFST的参数的推倒
3. 实践展示:教中国人说外语 (语音拟合)

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

更多阅读