提起机器学习，就会提到台湾大学的李宏毅教授。李宏毅老师的机器学习课程是最具代表性的中文公开课之一，李宏毅老师说：“你可以将它作为你机器学习的第一门课！”首先我非常感谢飞桨平台。在老师的推荐下我们发现了《李宏毅机器学习特训营》课程，并一路跟着坚持学习了下来，取得了很多收获。

       小白在机器学习入门的时候总是会遇到很多难题，多走很多弯路，比如课程没有代码讲解，遇到问题缺少指导，缺少实践机会等。针对这些问题，百度飞桨官方携手台湾大学李宏毅教授精心准备了适合小白入门、系统性学习、免费的《李宏毅机器学习特训营》，课程链接如下：https://aistudio.baidu.com/aistudio/course/introduce/1978 。

       《李宏毅机器学习特训营》准备了有中文简体字幕的视频，可以先通过视频学习掌握基础的内容，助教研讨直播课可以解决学习中遇到的问题，在学习过后还可以通过提供的丰富的GPU资源来完成项目实践，也可以通过打比赛来检验自己的水平，在学习过程中有班主任督学，治疗拖延症。

       《李宏毅机器学习特训营》的基础课程有13节，可以分为6部分：

       第一部分：1、机器学习介绍；2、回归；实践：PM2.5预测。

       第二部分：1、梯度下降；2、分类；实践：年收入判断。

       第三部分：1、支持向量机；2、集成学习；3、深度学习预备；实践：Paddle2.0基础练习。

       第四部分：1、卷积神经网络；实践1：食物图片分类；实践2：语句分类。

       第五部分：1、半监督学习；2、无监督学习；3、深度生成模型；4、迁移学习；实践：迁移学习。

       第六部分：挑战赛：中文新闻文本标题分类；百度官方比赛；直播讲解赛题。

部分学习笔记内容：

1、机器学习介绍

人工智能、机器学习和深度学习三者之间的关系：人工智能：人类想要达成的目标；机器学习：人工智能达成的一个手段；深度学习：是机器学习其中的一个方法。

机器学习的三步骤：第一步：找一个function，订出一个function的set；第二步：让一个machine可以衡量一个function是好还是不好；第三步：让machine有一个自动的方法，有一个好的演算法可以挑出最好的function。

监督学习 supervised learning：如果你告诉machine function 的 input 和 output，这就是 supervised learning。

半监督学习 semi-supervised learning：举例来说，今天想要机器鉴别猫和狗的不同，你想要做一个分类器，输入一张图片让它告诉你到底是猫还是狗。你有少量的猫和狗的 labeled data，但是你同时又有大量的 unlabeled data，你有一大堆猫和狗的图片，但是，你没有力气去告诉机器说哪些是猫哪些是狗，在 semi-supervised learning 的技术里面，这些没有 labeled data，它可能也是对学习有帮助。

无监督学习 unsupervised learning：顾名思义，我们就是希望机器学到无师自通，如果在完全没有任何label的情况之下，到底机器可以学到什么样的知识？举例来说，如果我们给机器看大量的文章，机器看过大量的文章以后，它到底可以学到什么事情？它能不能够学会每个词汇的意思？要让机器学会每个词汇的意思，你可以想成是我们要找一个function，然后你把一个词汇丢进去机器输出这个词汇是什么意思，也许它用一个向量来表示这个词汇的各种不同的特性。但是，现在假如是一个 unsupervised learning 的问题，那到底要怎么解决这个问题，你现在只有一大堆的文章，也就是你只有词汇，你只有function输入没有任何的输出那到底要怎么解决这个问题？

监督学习的三大分支：回归 regression；分类 classification；结构化学习 structured learning。三者关系：回归问题机器输出几个数值；分类问题机器输出一个选项；在结构化学习问题里面，机器输出是一个复杂的物件，一个有结构性的东西。

2、回归

线性回归模型 Linear Regression Model：回归模型是根据输入特征来对连续型输出做出预测的模型。例如，人们通过构建回归模型来预测房屋售价、制定商品推荐系统、研判股票走势等。回归模型可以是线性的，即输入特征分别乘以回归系数（权重）后以加和的方式得到输出。当样本数为n，特征数为k时，线性回归模型的表达式为：y^=Xw+b。其中，线性回归模型的输出形状大小为y^∈Rn×1 ，样本特征形状大小为X∈Rn×k，权重形状大小为w∈Rk×1，偏置项为b∈R1b，设模型的参数为θ=[w,b]T，加偏置项b∈R1b采用了广播机制。模型需要添加截距项，否则估计出来的模型将一定会通过原点，即在x取值为0时，y的估计值也是0。为了消除这个模型设定偏误，我们在模型中添加截距项，这使得模型估计既有可能通过原点，也有可能不通过原点，提升了模型的适用范围。

损失函数 Loss Function

解析优化与随机梯度下降 Best Function and Gradient Descent

优化算法可以分为解析和数值两类方法。

1、解析方法适用于损失函数形式较为简单的场景，正好适用于线性回归模型。

2、数值求解方法，它的适用范围更加广泛，适用于函数形式复杂或不存在解析解的场景，该方法通过有限次迭代模型参数使损失函数值不断降低。它不像解析方法一步到位，而是迭代式地向正确方向小步迈进。以小批量随机梯度下降算法为例，该算法在深度学习领域得到了广泛应用。该算法通常有4个步骤：

1）选择模型参数值。如果是首轮迭代，可以采用随机方式选取初始值；如果是非首轮迭代，可以选择上一轮迭代更新的参数值。

2）在训练数据集中选取一批样本组成小批量集合（Batch Set），小批量中的样本个数通常是固定的，用m来代表小批量中样本的个数。

3）把模型参数初始值与小批量中的样本数据，都代入模型，n替换成m，得到损失函数值。损失函数以(w,b)为参数，把损失函数分别对(w,b)参数求偏导数。

4）用求出的三个偏导数与预先设定的一个正数（学习率）相乘作为本轮迭代中的减少量。

Bias and Variance 产生原因：模型复杂度较低的时候发生的误差叫 Bias；模型复杂度较高的时候发生的误差叫 Variance。模型最理想的状态是 Low Bias + Low Variance。

Bias and Variance 处理方法：如果你的 error 来自于 Variance 很大，这个状况就是 Overfitting（过拟合）；如果你的 error 来自于 Bias 很大，这个状况就是 Underfitting（欠拟合）。

Bias 会降低 model 的准确率，产生 Underfitting，此时如何提升模型拟合度？方法一：特征工程；方法二：减少正则化参数；方法三：提高模型复杂度。如果今天你的 model 是 Variance 是大的话，那你应该怎么办？方法一：收集更多的数据；方法二：增加正则化参数；方法三：减少模型复杂度。