作业帖 | 百度深度学习集训营

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

项目

数据集

课程

比赛

模型库

活动

论坛

访问飞桨官网

DJ星尘发布于2019-12

百度深度学习集训营已经正式开营，每个阶段的作业都将有各自的奖励，欢迎大家学习~

PS：如遇帖子过期、审核不通过的情况，请先复制内容保存在word文档，然后根据提示，完成个人实名验证，刷新后重新粘贴复制的内容，即可提交~

欢迎大家报名参加~

1月9日作业：

作业9-1：在第二章中学习过如何设置学习率衰减，这里建议使用分段衰减的方式，衰减系数为0.1，根据ResNet目前的训练情况，应该在训练到多少步的时候设置衰减合适？请设置好学习率衰减方式，在眼疾识别数据集iChallenge-PM上重新训练ResNet模型。

作业9-1奖励：在作业中随机各抽取5名同学送出飞桨本+数据线+飞桨贴纸

回复帖子形式：作业9-1：XXX

抽奖作业截止时间：2020年1月13日中午12点之前

作业9-2奖励：在作业中随机各抽取5名同学送出飞桨本+数据线+飞桨贴纸

回复帖子形式：作业9-2：XXX

抽奖作业截止时间：2020年1月13日中午12点之前

1月7日作业：

作业8：如果将LeNet模型中的中间层的激活函数Sigmoid换成ReLU，在眼底筛查数据集上将会得到什么样的结果？Loss是否能收敛，ReLU和Sigmoid之间的区别是引起结果不同的原因吗？请发表你的观点

作业8奖励：在作业中随机各抽取5名同学送出飞桨本+数据线+飞桨贴纸

回复帖子形式：作业8：XXX

获奖同学：#820 thunder95、#819 你还说不想我吗、 #818 百度用户#0762194095、#817 呵赫 he、#816 星光1dl

1月2日作业

作业7-1 计算卷积中一共有多少次乘法和加法操作

输入数据形状是[10, 3, 224, 224]，卷积核kh = kw = 3，输出通道数为64，步幅stride=1，填充ph = pw =1

完成这样一个卷积，一共需要做多少次乘法和加法操作？

提示：先看输出一个像素点需要做多少次乘法和加法操作，然后再计算总共需要的操作次数

提交方式：请回复乘法和加法操作的次数，例如：乘法1000，加法1000

作业7-1奖励：抽取5人赢得飞桨定制本+数据线，截止时间2020年1月6日中午12点之前

回复帖子形式：作业7-1：XXX

作业7-2奖励：从正确答案中抽取5人获得飞桨定制本+50元京东卡，截止时间2020年1月6日中午12点之前

12月31日作业

作业6-1：

1.将普通神经网络模型的每层输出打印，观察内容
2.将分类准确率的指标用PLT库画图表示
3.通过分类准确率，判断以采用不同损失函数训练模型的效果优劣
4.作图比较：随着训练进行，模型在训练集和测试集上的Loss曲线
5.调节正则化权重，观察4的作图曲线的变化，并分析原因
作业6-1奖励：抽取5人赢得飞桨定制本+数据线，回复帖子形式：作业6-1：XXX

作业6-2：

正确运行AI Studio《百度架构师手把手教深度学习》课程里面的作业3 的极简版代码，分析训练过程中可能出现的问题或值得优化的地方，通过以下几点优化：

（1）样本：数据增强的方法

（2）假设：改进网络模型

（2）损失：尝试各种Loss

（2）优化：尝试各种优化器和学习率

目标：尽可能使模型在mnist测试集上的分类准确率最高

提交实现最高分类准确率的代码和模型，我们筛选最优结果前10名进行评奖

作业6-2奖励：飞桨定制本+50元京东卡

12月25日作业

12月23日作业

作业4-1：在AI studio上运行作业2，用深度学习完成房价预测模型

作业4-1奖励：飞桨定制本+ 《深度学习导论与应用实践》教材，选取第2、3、23、123、223、323…名同学送出奖品

作业4-2：回复下面问题，将答案回复帖子下方：

通过Python、深度学习框架，不同方法写房价预测，Python编写的模型和基于飞桨编写的模型在哪些方面存在异同？例如程序结构，编写难易度，模型的预测效果，训练的耗时等等？

回复帖子形式：作业4-2:XXX

作业4-2奖励：在12月27日（本周五）中午12点前提交的作业中，我们选出最优前五名，送出百度定制数据线+《深度学习导论与应用实践》教材

12月17日作业

完成下面两个问题，并将答案回复在帖子下面，回帖形式：作业3-1（1）XX（2）XX

作业奖励：在2019年12月20日中午12点之前提交，随机抽取5名同学进行点评，礼品是本+数据线

12月12日作业

获奖者：第12名：飞天雄者

12月10日作业
作业1-1：在AI Studio平台上https://aistudio.baidu.com/aistudio/education/group/info/888 跑通房价预测案例

作业1-1奖励：最先完成作业的前3名，以及第6名、66名、166名、266名、366名、466名、566名、666名的同学均可获得飞桨定制大礼包：飞桨帽子、飞桨数据线、飞桨定制logo笔

作业1-1的获奖者如图：

作业1-2：完成下面两个问题，并将答案发布在帖子下面
①类比牛顿第二定律的案例，在你的工作和生活中还有哪些问题可以用监督学习的框架来解决？假设和参数是什么？优化目标是什么？
②为什么说AI工程师有发展前景？怎样从经济学（市场供需）的角度做出解读？
作业1-2奖励：回复帖子且点赞top5，获得《深度学习导论与应用实践》教材+飞桨定制本

点赞Top5获奖者：1.飞天雄者 2.God_s_apple 3.177*******62 4.学痞龙 5.故乡237、qq526557820

作业截止时间2020年1月10日，再此之前完成，才有资格参加最终Mac大奖评选

报名流程：

1.加入QQ群：726887660，班主任会在QQ群里进行学习资料、答疑、奖品等活动

2.点此链接，加入课程报名并实践：https://aistudio.baidu.com/aistudio/course/introduce/888

温馨提示：课程的录播会在3个工作日内上传到AI studio《百度架构师手把手教深度学习》课程上

全部评论(953)

龙

龙渊破军

#362 回复于2019-12

作业3-1

（1）使用numpy计算tanh激活函数

（2）统计随机生成矩阵中有多少个元素大于0

凌

凌烟阁主人

#363 回复于2019-12

龙渊破军 #361

作业3-1 （1）使用numpy计算tanh激活函数 [图片] （2）统计随机生成矩阵中有多少个元素大于0 [图片]

你这个分子没加括号，导致算错了，

windly4548

#364 回复于2019-12

作业3-1（1）

# tanh激活函数示意图
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.patches as patches
#设置图片大小
plt.figure(figsize=(8, 3))

# x是1维数组，数组大小是从-10. 到10.的实数，每隔0.1取一个点
x = np.arange(-10, 10, 0.1)
# 计算 tanh函数
s = (np.exp(x)-np.exp(- x))/(np.exp(x)+np.exp(- x))

#########################################################
# 画出函数曲线
plt.plot(x, s, color='r')
# 添加文字说明
plt.text(-5., 0.9, r'$y=\tanh(x)$', fontsize=13)
# 设置坐标轴格式
currentAxis=plt.gca()
currentAxis.xaxis.set_label_text('x', fontsize=15)
currentAxis.yaxis.set_label_text('y', fontsize=15)

plt.show()

（2）

p = np.random.randn(10,10)
q=(p>0)
print('q, 类型dtype: {}, 大于0总数: {}'.format(q.dtype, q.sum()))

q, 类型dtype: bool, 大于0总数: 56

CHMBYS

#365 回复于2019-12

12月12日作业

（1）填写橘子和苹果的梯度传播

（2）挑战题，写两层网络，隐层参数13

import numpy as np
import matplotlib.pyplot as plt

def load_data():
    # 从文件导入数据
    datafile = 'housing.data'
    data = np.fromfile(datafile, sep=' ')

    # 每条数据包括14项，其中前面13项是影响因素，第14项是相应的房屋价格中位数
    feature_names = [ 'CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', \
                      'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT', 'MEDV' ]
    feature_num = len(feature_names)

    # 将原始数据进行Reshape，变成[N, 14]这样的形状
    data = data.reshape([data.shape[0] // feature_num, feature_num])

    # 将原数据集拆分成训练集和测试集
    # 这里使用80%的数据做训练，20%的数据做测试
    # 测试集和训练集必须是没有交集的
    ratio = 0.8
    offset = int(data.shape[0] * ratio)
    training_data = data[:offset]

    # 计算train数据集的最大值，最小值，平均值
    maximums, minimums, avgs = training_data.max(axis=0), training_data.min(axis=0), \
                                 training_data.sum(axis=0) / training_data.shape[0]

    # 对数据进行归一化处理
    for i in range(feature_num):
        #print(maximums[i], minimums[i], avgs[i])
        data[:, i] = (data[:, i] - avgs[i]) / (maximums[i] - minimums[i])

    # 训练集和测试集的划分比例
    training_data = data[:offset]
    test_data = data[offset:]
    return training_data, test_data


class Layer(object):
    def __init__(self,num_in,num_out,lr):
        self.W=np.random.randn(num_in,num_out)
        self.b=np.zeros((1,num_out))
        self.a=lr
    def forward(self,input):
        self.z=np.dot(input,self.W)+self.b
        return self.z
    def backward(self,gradient_w,gradient_b):
        self.W=self.W-self.a*gradient_w
        self.b=self.b-self.a*gradient_b
        
        
class NN2(object):
    def __init__(self,num_hidden):
        self.layer0=Layer(num_hidden,num_hidden,0.01)
        self.layer1=Layer(num_hidden,1,0.01)
    def forward(self,input):
        self.x0=input
        self.x1=self.layer0.forward(self.x0)
        self.x2=self.layer1.forward(self.x1)
        return self.x2
    def loss(self, z, y):
        error = z - y
        num_samples = error.shape[0]
        cost = error * error
        cost = np.sum(cost) / num_samples
        return cost
    def backward(self,z,y):
        gradient_w1=((z-y)*self.x1).mean(axis=0)
        gradient_b1=(z-y).mean(axis=0)
        gradient_w0=np.dot(self.x0.T,np.dot((z-y),self.layer1.W.T))
        gradient_b0=np.dot((z-y),self.layer1.W.T).mean(axis=0)
        gradient_w1=gradient_w1.reshape(self.layer1.W.shape)
        self.layer0.backward(gradient_w0,gradient_b0)#先更新里层的
        self.layer1.backward(gradient_w1,gradient_b1)
        
        
    def train(self, training_data, num_epoches, batch_size):
        n = len(training_data)
        losses = []
        for epoch_id in range(num_epoches):
            np.random.shuffle(training_data)
            mini_batches = [training_data[k:k+batch_size] for k in range(0, n, batch_size)]
            for iter_id, mini_batch in enumerate(mini_batches):
                x = mini_batch[:, :-1]
                y = mini_batch[:, -1:]
                a = self.forward(x)
                loss = self.loss(a, y)
                self.backward(a,y)
                losses.append(loss)
                print('Epoch {:3d} / iter {:3d}, loss = {:.4f}'.
                                 format(epoch_id, iter_id, loss))
        
        return losses

# 获取数据
train_data, test_data = load_data()

# 创建网络
net = NN2(13)
# 启动训练
losses = net.train(train_data, num_epoches=100, batch_size=10)

# 画出损失函数的变化趋势
plot_x = np.arange(len(losses))
plot_y = np.array(losses)
plt.plot(plot_x, plot_y)
plt.show()

训练结果截图：

若

若无其事的盛情

#366 回复于2019-12

作业3-1（1）

# tanh激活函数
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.patches as patches

#设置图片大小
plt.figure(figsize=(9, 6))

# x是1维数组，数组大小是从-10. 到10.的实数，每隔0.1取一个点
x = np.arange(-10, 10, 0.1)
# 计算 tanh 函数

y = (np.exp(x)-np.exp(- x))/(np.exp(x)+np.exp(- x))

#########################################################
# 以下部分为画图程序

# 画出函数曲线
plt.plot(x, y, color='g')
# 添加文字说明
plt.text(-5., 0.9, r'$y=\tanh(x)$', fontsize=13)
# 设置坐标轴格式
currentAxis=plt.gca()
currentAxis.xaxis.set_label_text('x', fontsize=15)
currentAxis.yaxis.set_label_text('y', fontsize=15)

plt.show()

若

若无其事的盛情

#367 回复于2019-12

作业3-1（1）

# tanh激活函数
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.patches as patches

#设置图片大小
plt.figure(figsize=(9, 6))

# x是1维数组，数组大小是从-10. 到10.的实数，每隔0.1取一个点
x = np.arange(-10, 10, 0.1)
# 计算 tanh 函数

y = (np.exp(x)-np.exp(- x))/(np.exp(x)+np.exp(- x))

#########################################################
# 以下部分为画图程序

plt.show()

（2）这个方法太牛批了

p = np.random.randn(10, 10)
q = (p>0)
q.sum()

yes小鸿

#368 回复于2019-12

作业1-2：完成下面两个问题，并将答案发布在帖子下面
①类比牛顿第二定律的案例，在你的工作和生活中还有哪些问题可以用监督学习的框架来解决？假设和参数是什么？优化目标是什么？
②为什么说AI工程师有发展前景？怎样从经济学（市场供需）的角度做出解读？

答1：电商文本评论情感分析可以使用监督学习框架解决，是一个序列到类别的分类问题，优化目标是预测标签与真实标签尽可能地一致。

答2：计算机学科可以与很多传统学科，甚至理论学科进行交叉，而AI中针对不同问题，需要设计不同模型，由此会对Ai工程师产生大量需求。最近产生的新兴学科，计算经济学就是很好的例子。

IT之库

#369 回复于2019-12

作业1-2：

①预测汽车销量可以用监督学习方法，假设输入一些特征，输出销量y。参数可以是季节、位置、品牌、车型等，优化目标是最小化损失函数。

②如今是大数据时代，人工智能得到了迅速发展，人工智能在生活中无处不在，以至于AI工程师有很好的发展前景。由于人工智能时代正处于发展时期，对于AI工程师的需求量非常大。

xq668668

#370 回复于2019-12

作业3-1：

（1）

import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt

#设置图片大小
plt.figure(figsize=(8, 3))

# x是1维数组，数组大小是从-10. 到10.的实数，每隔0.1取一个点
x = np.arange(-10, 10, 0.1)
# 计算 tanh 函数
a = np.exp(x)
t = (a - 1/a) / (a + 1/a)

# 画出函数曲线
plt.plot(x, t, color='r')
# 添加文字说明
plt.text(-5., 0.9, r'$y=\tanh(x)$', fontsize=13)
# 设置坐标轴格式
currentAxis=plt.gca()
currentAxis.xaxis.set_label_text('x', fontsize=15)
currentAxis.yaxis.set_label_text('y', fontsize=15)

plt.show()

（2）

import numpy as np
p = np.random.randn(10, 10)
p = np.where(p>0, 1, 0)
count = np.sum(p)
count

yes小鸿

#371 回复于2019-12

12月12日作业：2-1

IT之库

#372 回复于2019-12

作业2-1：

oceancjc

#373 回复于2019-12

作业3-1 使用numpy计算tanh激活函数

作业3-2 统计随机生成矩阵中有多少个元素大于0

千下

#374 回复于2019-12

作业3-1

(1)

import numpy as np
import matplotlib.pyplot as plt

# 设置图片大小
plt.figure(figsize=(8,6))
# 设置x的取值范围[-10,10]
x = np.arange(-10, 10, 0.1)
# 计算tanh函数
y = (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))
# 画出函数曲线
plt.plot(x, y, color='b')
# 添加文字说明
plt.text(-3, 0.75, r'$y = tanh(x)$', fontsize=13)
# 设置坐标轴格式
a = plt.gca()
a.xaxis.set_label_text('x', fontsize=15)
a.yaxis.set_label_text('y', fontsize=15)

plt.show()

(2)

import numpy as np


p = np.random.randn(10, 10)
q = p > 0
print(q.sum())

lemi314300

#375 回复于2019-12

作业3-1

## 1 使用numpy计算tanh激活函数

tanh也是神经网络中常用的一种激活函数，其定义如下：

$$y = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}}$$

请参照讲义中Sigmoid激活函数的计算程序，用numpy实现tanh函数的计算，并画出其函数曲线

提交方式：请用numpy写出计算程序，并画出tanh函数曲线图，x的取值范围设置为[-10., 10.]

# tanh活函数示意图
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.patches as patches

#设置图片大小
plt.figure(figsize=(16, 6))

# x是1维数组，数组大小是从-10. 到10.的实数，每隔0.1取一个点
x = np.arange(-10, 10, 0.01)
# 计算 tanh函数
s = (np.exp(x)-np.exp(- x)) / (np.exp( x) + np.exp(- x))

#########################################################
# 以下部分为画图程序

# 设置两个子图窗口，将tanh函数图像画在左边
f = plt.subplot(121)
# 画出函数曲线
plt.plot(x, s, color='r')
# 添加文字说明
plt.text(-5., 0.9, r'$y=\tanh(x)$', fontsize=13)
# 设置坐标轴格式
currentAxis=plt.gca()
currentAxis.xaxis.set_label_text('x', fontsize=15)
currentAxis.yaxis.set_label_text('y', fontsize=15)

plt.show()

作业3-2

2 统计随机生成矩阵中有多少个元素大于0
假设使用np.random.randn生成了随机数构成的矩阵：

p = np.random.randn(10, 10)

请写一段程序统计其中有多少个元素大于0？

提示：可以试下使用 q = (p > 0)，观察q是什么的数据类型和元素的取值

提交方式：提交计算的代码，能够直接运行输出统计出来的结果

代码如下：

import numpy as np
p = np.random.randn(10, 10)
q=(p>0)
n=0
for i in range(10):
for j in range(10):
if q[i,j]: n=n+1

print(q)
n

[[ True True False False True True False False True False]
[ True True False False True True False True True False]
[ True True True False True True True True False True]
[ True True True False True True False False True True]
[False True True True True False True False True False]
[False True True True True False True True True False]
[False True False True True True True False True True]
[ True False True False True True False False False False]
[ True False False False True True True False False True]
[ True True False True False True True True True False]]

wudenggang

#376 回复于2019-12

作业3_1:

math44ss

#377 回复于2019-12

作业3-1

1 使用numpy计算tanh激活函数

2 统计随机生成矩阵中有多少个元素大于0

静

静夜style

#378 回复于2019-12

作业1-2：
①类比牛顿第二定律的案例，在你的工作和生活中还有哪些问题可以用监督学习的框架来解决？假设和参数是什么？优化目标是什么？
②为什么说AI工程师有发展前景？怎样从经济学（市场供需）的角度做出解读？

答:①工作中需要对产品标签进行视觉检测,现在实现是在CCD框架下,使用Labview和Halcon以及OpenCV进行简单的图片匹配,这样的结果就是针对不同的产品和标签,检测时可能需要开发不同的定制化程序,如果使用监督学习,可以直接训练出一个标签检测模型,使用该模型对目标进行分类,而不用针对每一种标签都建立一个图片模板,一旦模板匹配参数有更改,会导致匹配失败,对光源,模板图片都有较高要求.使用模型分类的话,假设有一个标签在不同的光线下,不同角度下,都能够准确的识别出我想找的目标标签,并且对标签进行评分(是否残缺,脏污等),参数是输入一张图片,输出是一该标签是否想要的标签以及标签的评分(是否脏污残缺等),优化目标就是能够准确的识别标签的状态最好.

②AI工程师的发展前景在于能够在基于大数据的情况下,更快速的通过一系列模型计算出想要的结果,比如通过一个人的搜索历史记录预测今天出门是否要用车之类的问题