首页 AI Studio教育版 帖子详情
李宏毅机器学习特训营学习心得
收藏
快速回复
AI Studio教育版 文章课程答疑 682 1
李宏毅机器学习特训营学习心得
收藏
快速回复
AI Studio教育版 文章课程答疑 682 1

     提起机器学习,就会提到台湾大学的李宏毅教授。李宏毅老师的机器学习课程是最具代表性的中文公开课之一,李宏毅老师说:“你可以将它作为你机器学习的第一门课!”首先我非常感谢飞桨平台。在老师的推荐下我们发现了《李宏毅机器学习特训营》课程,并一路跟着坚持学习了下来,取得了很多收获。

       小白在机器学习入门的时候总是会遇到很多难题,多走很多弯路,比如课程没有代码讲解,遇到问题缺少指导,缺少实践机会等。针对这些问题,百度飞桨官方携手台湾大学李宏毅教授精心准备了适合小白入门、系统性学习、免费的《李宏毅机器学习特训营》,课程链接如下:https://aistudio.baidu.com/aistudio/course/introduce/1978 。

       《李宏毅机器学习特训营》准备了有中文简体字幕的视频,可以先通过视频学习掌握基础的内容,助教研讨直播课可以解决学习中遇到的问题,在学习过后还可以通过提供的丰富的GPU资源来完成项目实践,也可以通过打比赛来检验自己的水平,在学习过程中有班主任督学,治疗拖延症。

       《李宏毅机器学习特训营》的基础课程有13节,可以分为6部分:

       第一部分:1、机器学习介绍;2、回归;实践:PM2.5预测。

       第二部分:1、梯度下降;2、分类;实践:年收入判断。

       第三部分:1、支持向量机;2、集成学习;3、深度学习预备;实践:Paddle2.0基础练习。

       第四部分:1、卷积神经网络;实践1:食物图片分类;实践2:语句分类。

       第五部分:1、半监督学习;2、无监督学习;3、深度生成模型;4、迁移学习;实践:迁移学习。

       第六部分:挑战赛:中文新闻文本标题分类;百度官方比赛;直播讲解赛题。

部分学习笔记内容:

1、机器学习介绍

人工智能、机器学习和深度学习三者之间的关系:人工智能:人类想要达成的目标;机器学习:人工智能达成的一个手段;深度学习:是机器学习其中的一个方法。

机器学习的三步骤:第一步:找一个function,订出一个function的set;第二步:让一个machine可以衡量一个function是好还是不好;第三步:让machine有一个自动的方法,有一个好的演算法可以挑出最好的function。

监督学习 supervised learning:如果你告诉machine function 的 input 和 output,这就是 supervised learning。

半监督学习 semi-supervised learning:举例来说,今天想要机器鉴别猫和狗的不同,你想要做一个分类器,输入一张图片让它告诉你到底是猫还是狗。你有少量的猫和狗的 labeled data,但是你同时又有大量的 unlabeled data,你有一大堆猫和狗的图片,但是,你没有力气去告诉机器说哪些是猫哪些是狗,在 semi-supervised learning 的技术里面,这些没有 labeled data,它可能也是对学习有帮助。

无监督学习 unsupervised learning:顾名思义,我们就是希望机器学到无师自通,如果在完全没有任何label的情况之下,到底机器可以学到什么样的知识?举例来说,如果我们给机器看大量的文章,机器看过大量的文章以后,它到底可以学到什么事情?它能不能够学会每个词汇的意思?要让机器学会每个词汇的意思,你可以想成是我们要找一个function,然后你把一个词汇丢进去机器输出这个词汇是什么意思,也许它用一个向量来表示这个词汇的各种不同的特性。但是,现在假如是一个 unsupervised learning 的问题,那到底要怎么解决这个问题,你现在只有一大堆的文章,也就是你只有词汇,你只有function输入没有任何的输出那到底要怎么解决这个问题?

监督学习的三大分支:回归 regression;分类 classification;结构化学习 structured learning。三者关系:回归问题机器输出几个数值;分类问题机器输出一个选项;在结构化学习问题里面,机器输出是一个复杂的物件,一个有结构性的东西。

2、回归

线性回归模型 Linear Regression Model:回归模型是根据输入特征来对连续型输出做出预测的模型。例如,人们通过构建回归模型来预测房屋售价、制定商品推荐系统、研判股票走势等。回归模型可以是线性的,即输入特征分别乘以回归系数(权重)后以加和的方式得到输出。当样本数为n,特征数为k时,线性回归模型的表达式为:y^=Xw+b。其中,线性回归模型的输出形状大小为y^∈Rn×1 ,样本特征形状大小为X∈Rn×k,权重形状大小为w∈Rk×1,偏置项为b∈R1b,设模型的参数为θ=[w,b]T,加偏置项b∈R1b采用了广播机制。模型需要添加截距项,否则估计出来的模型将一定会通过原点,即在x取值为0时,y的估计值也是0。为了消除这个模型设定偏误,我们在模型中添加截距项,这使得模型估计既有可能通过原点,也有可能不通过原点,提升了模型的适用范围。

损失函数 Loss Function

解析优化与随机梯度下降 Best Function and Gradient Descent

优化算法可以分为解析和数值两类方法。

1、解析方法适用于损失函数形式较为简单的场景,正好适用于线性回归模型。

2、数值求解方法,它的适用范围更加广泛,适用于函数形式复杂或不存在解析解的场景,该方法通过有限次迭代模型参数使损失函数值不断降低。它不像解析方法一步到位,而是迭代式地向正确方向小步迈进。以小批量随机梯度下降算法为例,该算法在深度学习领域得到了广泛应用。该算法通常有4个步骤:

1)选择模型参数值。如果是首轮迭代,可以采用随机方式选取初始值;如果是非首轮迭代,可以选择上一轮迭代更新的参数值。

2)在训练数据集中选取一批样本组成小批量集合(Batch Set),小批量中的样本个数通常是固定的,用m来代表小批量中样本的个数。

3)把模型参数初始值与小批量中的样本数据,都代入模型,n替换成m,得到损失函数值。损失函数以(w,b)为参数,把损失函数分别对(w,b)参数求偏导数。

4)用求出的三个偏导数与预先设定的一个正数(学习率)相乘作为本轮迭代中的减少量。

Bias and Variance 产生原因:模型复杂度较低的时候发生的误差叫 Bias;模型复杂度较高的时候发生的误差叫 Variance。模型最理想的状态是 Low Bias + Low Variance。

Bias and Variance 处理方法:如果你的 error 来自于 Variance 很大,这个状况就是 Overfitting(过拟合);如果你的 error 来自于 Bias 很大,这个状况就是 Underfitting(欠拟合)。

Bias 会降低 model 的准确率,产生 Underfitting,此时如何提升模型拟合度?方法一:特征工程;方法二:减少正则化参数;方法三:提高模型复杂度。如果今天你的 model 是 Variance 是大的话,那你应该怎么办?方法一:收集更多的数据;方法二:增加正则化参数;方法三:减少模型复杂度。

0
收藏
回复
全部评论(1)
时间顺序
AI Studio用户
#2 回复于2021-06

飞桨还有很多训练营,大家都可以加入呀

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户