在朋友推荐下，我了解到百度飞桨这个平台，百度官方提供算力给各位机器学习爱好者一个优秀的平台。李宏毅老师是我觉得很优秀机器学习老师，老师上课时十分的亲切，课堂氛围有趣。刚开始的课程，李宏毅老师举着我们熟悉的神奇宝贝，生动形象的解释了机器学习中内部的原理，令人印象深刻。

第一部分:1.机器学习介绍 2.回归

通过这个部分的学习我大概了解了什么是机器学习，以及机器学习要干什么，为什么要学习机器学习。第一步：找一个function，订出一个function的set；第二步：让一个machine可以衡量一个function是好还是不好；第三步：让machine有一个自动的方法，有一个好的演算法可以挑出最好的function。

线性回归模型 Linear Regression Model：回归模型是根据输入特征来对连续型输出做出预测的模型。例如，人们通过构建回归模型来预测房屋售价、制定商品推荐系统、研判股票走势等。回归模型可以是线性的，即输入特征分别乘以回归系数（权重）后以加和的方式得到输出。当样本数为n，特征数为k时，线性回归模型的表达式为：y^=Xw+b。其中，线性回归模型的输出形状大小为y^∈Rn×1 ，样本特征形状大小为X∈Rn×k，权重形状大小为w∈Rk×1，偏置项为b∈R1b，设模型的参数为θ=[w,b]T，加偏置项b∈R1b采用了广播机制。模型需要添加截距项，否则估计出来的模型将一定会通过原点，即在x取值为0时，y的估计值也是0。为了消除这个模型设定偏误，我们在模型中添加截距项，这使得模型估计既有可能通过原点，也有可能不通过原点，提升了模型的适用范围。
第二部分：1、梯度下降；2、分类
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。 
分类问题是用于将事物打上一个标签，通常结果为离散值。例如判断一幅图片上的动物是一只猫还是一只狗，分类通常是建立在回归之上，分类的最后一层通常要使用softmax函数进行判断其所属类别。分类并没有逼近的概念，最终正确结果只有一个，错误的就是错误的，不会有相近的概念。最常见的分类方法是逻辑回归，或者叫逻辑分类。
第三部分：5.支持向量机 6.集成学习 7.深度学习预备 
支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）。 SVM使用铰链损失函数（hinge loss）计算经验风险（empirical risk）并在求解系统中加入了正则化项以优化结构风险（structural risk），是一个具有稀疏性和稳健性的分类器 [2] 。SVM可以通过核方法（kernel method）进行非线性分类，是常见的核学习（kernel learning）方法之一 。
集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。
第四部分：1、卷积神经网络
卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）”
第五部分：1、半监督学习；2、无监督学习；3、深度生成模型；4、迁移学习
监督学习 supervised learning：如果你告诉machine function 的 input 和 output，这就是 supervised learning。

半监督学习 semi-supervised learning：举例来说，今天想要机器鉴别猫和狗的不同，你想要做一个分类器，输入一张图片让它告诉你到底是猫还是狗。你有少量的猫和狗的 labeled data，但是你同时又有大量的 unlabeled data，你有一大堆猫和狗的图片，但是，你没有力气去告诉机器说哪些是猫哪些是狗，在 semi-supervised learning 的技术里面，这些没有 labeled data，它可能也是对学习有帮助。

无监督学习 unsupervised learning：顾名思义，我们就是希望机器学到无师自通，如果在完全没有任何label的情况之下，到底机器可以学到什么样的知识？举例来说，如果我们给机器看大量的文章，机器看过大量的文章以后，它到底可以学到什么事情？它能不能够学会每个词汇的意思？要让机器学会每个词汇的意思，你可以想成是我们要找一个function，然后你把一个词汇丢进去机器输出这个词汇是什么意思，也许它用一个向量来表示这个词汇的各种不同的特性。但是，现在假如是一个 unsupervised learning 的问题，那到底要怎么解决这个问题，你现在只有一大堆的文章，也就是你只有词汇，你只有function输入没有任何的输出那到底要怎么解决这个问题？

监督学习的三大分支：回归 regression；分类 classification；结构化学习 structured learning。三者关系：回归问题机器输出几个数值；分类问题机器输出一个选项；在结构化学习问题里面，机器输出是一个复杂的物件，一个有结构性的东西。