作业5-1:

以2-6【手写数字识别】之优化算法代码为基础

# 预测100张图片准确率
with fluid.dygraph.guard():
print('start evaluation .......')
datafile = './work/mnist.json.gz'
print('loading mnist dataset from {} ......'.format(datafile))
data = json.load(gzip.open(datafile))
# 读取数据集中的训练集，验证集和测试集
_, _, eval_set = data
# 随机抽取100张测试数据（图片）
num_img = 100
test_imgs = eval_set[0]
test_labs = eval_set[1]
index = list(range(len(test_imgs)))
random.shuffle(index) # 随机图片排序
imgs_list = []
labels_list = []
# 按照索引读取数据
for i in range(num_img):
# 读取图像和标签，转换其尺寸和类型
img = np.reshape(test_imgs[index[i]], [1, 28, 28]).astype('float32')
label = np.array(test_labs[index[i]]).astype('int64')
imgs_list.append(img)
labels_list.append(label)
test_img = np.array(imgs_list)
test_lab = np.array(labels_list)

print(f"There are {test_img.shape[0]} eval images in total.")

# 加载模型
model = MNIST("mnist")
model_state_dict, _ = fluid.load_dygraph('mnist')
model.load_dict(model_state_dict)
model.eval()

# 预测图片
test_img = fluid.dygraph.to_variable(test_img) # 转化为paddle数据格式
results = model(test_img)
results_num = np.argmax(results.numpy(), axis=1) # 获取概率最大值的标签
correct_cls = (results_num == test_lab)
acc = np.sum(correct_cls) / num_img

print(f"{num_img}张测试图片测试的准确率是： {acc*100}%。")

输出结果:

start evaluation .......
loading mnist dataset from ./work/mnist.json.gz ......
There are 100 eval images in total.
100张测试图片测试的准确率是： 99.0%。

作业5-1:

以2-6【手写数字识别】之优化算法代码为基础

# 预测100张图片准确率
with fluid.dygraph.guard():
    print('start evaluation .......')
    datafile = './work/mnist.json.gz'
    print('loading mnist dataset from {} ......'.format(datafile))
    data = json.load(gzip.open(datafile))
    # 读取数据集中的训练集，验证集和测试集
    _, _, eval_set = data
    # 随机抽取100张测试数据（图片）
    num_img = 100
    test_imgs = eval_set[0]
    test_labs = eval_set[1]
    index = list(range(len(test_imgs)))
    random.shuffle(index) # 随机图片排序
    imgs_list = []
    labels_list = []
    # 按照索引读取数据
    for i in range(num_img):
        # 读取图像和标签，转换其尺寸和类型
        img = np.reshape(test_imgs[index[i]], [1, 28, 28]).astype('float32')
        label = np.array(test_labs[index[i]]).astype('int64')
        imgs_list.append(img) 
        labels_list.append(label)
    test_img = np.array(imgs_list)
    test_lab = np.array(labels_list)
    
    print(f"There are {test_img.shape[0]} eval images in total.")
    
    # 加载模型
    model = MNIST("mnist")
    model_state_dict, _ = fluid.load_dygraph('mnist')
    model.load_dict(model_state_dict)
    model.eval()
    
    # 预测图片
    test_img = fluid.dygraph.to_variable(test_img) # 转化为paddle数据格式
    results = model(test_img)
    results_num = np.argmax(results.numpy(), axis=1) # 获取概率最大值的标签
    correct_cls = (results_num == test_lab)
    acc = np.sum(correct_cls) / num_img
    
    print(f"{num_img}张测试图片测试的准确率是： {acc*100}%。")

输出结果：

start evaluation .......
loading mnist dataset from ./work/mnist.json.gz ......
There are 100 eval images in total.
100张测试图片测试的准确率是： 99.0%。

作业4-2：

通过Python、深度学习框架，不同方法写房价预测，Python编写的模型 和 基于飞桨编写的模型在哪些方面存在异同？例如程序结构，编写难易度，模型的预测效果，训练的耗时等等？

答：

相同点——都是按照深度学习的原理，形成了各自解决问题的程式套路， 能比较清晰的解决问题；相同的数据处理方式， 最后结果输出也是大致相同

不同点——飞浆框架，帮我们解决了深度学习中，不变的程式化流程， 给研发人员留出了重点解决模型设计，优化算法，调优方面的空间和便利性；极大的提升了工作效率。这些点原生python就繁琐些。其中飞浆最大的问题是解决了研发人员不必要去过度关注算法实现细节，能极大推广深度学习到工业应用中。

模型训练和部署：

飞浆同样有好的解决方案，无需研发人员过度关注硬件。进一步提升了深度学习在工业应用中的可能性。

作业5-1：

作业5-2：常用的几种卷积神经网络有：LeNet、AlexNet、VggNet、ResNet。

作业5-3：一般采用采用梯度下降算法进行参数学习更新。 a. 随机梯度下降算法SGD。

b. Momentum优化器: 加入“动量”，使得参数更新的方向更加稳定。

c. AdaGrad优化器：根据不同参数距离最优解的远近，动态调整学习率。

d. Adam算法。

很明显。Adam优化算法更好。

把之前的作业都补充一下

作业1-2：
①类比牛顿第二定律的案例，在你的工作和生活中还有哪些问题可以用监督学习的框架来解决？假设和参数是什么？优化目标是什么？

曾经参加过一个腕力比赛，这个可以算是监督学习的问题，同等重量区间的对手比赛  假设就是和对手比赛的输赢，参数就是你在比赛过程中所采取的策略，比如身体各部位腿部， 臂力，腕力等的如何配合，优化目标就是发挥身体最大的力量以赢得对手。比如臂力和腰部配合发力要比单独用臂力更有输出。其他比赛也可以类似于监督学习。

②为什么说AI工程师有发展前景？怎样从经济学（市场供需）的角度做出解读？

我的理解有一下几点：

1 智能代表着更少的人力成本，国内一方面老龄化人口增加，2019年新出生人口比以往持续降低，代表着未来中国的劳动人口将会大幅下跌。所以提高效率 降低人工是未来必然的趋势。

2 年轻人更不愿意去干重复，体力支出的劳动。00后的家庭条件相对比90后和80后要优越很多，成长环境经历了中国快速发展的几十年，内心深处对工厂或者体力劳动较为排斥，这也是越来越多的工厂遭遇用工荒的原因，而且未来用工荒必将加剧。提前布局AI的应用的企业将会缓解这样的问题。

3 AI 发展这几年，业内大咖提出了很多经典的模型，这些学术模型的提出需要大量的人才将其应用到实际领域，解决实际问题，所以未来的AI工程师需求会持续增加。

所以无论从大环境还是产业需求，AI工程师都非常有需求。

作业2-1：

作业1-2：（1）学习期末的考试成绩可以用监督学习来解决，假设每章节的内容和老师着重划的重点，通过每章节的练习题，确定该知识点是否掌握；

（2）第一：国家的一个政策，促进AI产业的发展；第二：就目前而言，智能家居、无人驾驶、刷脸技术已经发展，并且已经深入到生活的方方面面；

市场需求方面讲：目前AI产业正在发展中，国家也促进该事业的发展，这就导致很多企业向AI产业转变或发展，就会需要很多的AI工程师，当AI产业达到一定的发展后，会导致AI工程师的数量饱和或者过饱和，就会需要AI工程师中的顶尖人才，而平庸的人可能不会找到工作，会导致AI工程师的学习者数量减少。

作业3-1

作业3-2

作业4-2：

通过Python、深度学习框架，不同方法写房价预测，Python编写的模型 和 基于飞桨编写的模型在哪些方面存在异同？例如程序结构，编写难易度，模型的预测效果，训练的耗时等等？

程序结构方面  飞桨内部封装了前向传播，loss，优化，反向传播，推理，方便直接调用，是网络结果简单明了，模型预测 效果更好，训练更快，相同之处是数据的预处理还是和Python一样，另外模型的整体流程大致相同。

作业4-2：

    相同之处：由于采用的理论一样，所以在程序思路设计，特征工程，以及模型框架构造上均有很大的相同点。

   不同之处：由于深度学习框架对深度学习相关的框架进行了封装处理，在使用上更加简洁，另外由于paddle集成了大量的优化函数和损失函数，大大降低了在深度学习中的难度，和编程所需要的时间。在耗费时间上，由于paddle深度学习框架的主要算法采用了C语言，因此编译后计算更快，更节省内存，在对硬件的支持上也更加凸显优势，并行运算以及GPU的支持也更加的方便，大大的节省了使用中的时间。

作业2-1（基础题）

作业3-1（1）

#作业1 使用numpy计算tanh激活函数
import numpy as np
import matplotlib.pyplot as plt
x = np.arange(-10, 10, 0.1)
y = (np.exp(x) - np.exp(- x)) / (np.exp(x) + np.exp(- x))
plt.plot(x, y)

(2)

import numpy as np
p=np.random.randn(10,10)
q=p>0
count=np.sum(q)
print(count)

57

作业4-2：

问题：通过Python、深度学习框架，不同方法写房价预测，Python编写的模型 和 基于飞桨编写的模型在哪些方面存在异同？例如程序结构，编写难易度，模型的预测效果，训练的耗时等等

1. 程序结构上：基于非框架的Python+numpy编程与基于飞桨编写的模型在结构逻辑上基本是一致的，都是读取数据，模型的构建，前向过程，反向过程优化，最后保存，相较之而言，由于Paddle做了大量的封装有比较高级的API，结构上更清晰
2. 编写难度上：基于飞桨的程序的编写难度与基于非框架的Python+numpy编程难度在简单问题上基本上差不多，基于非框架的python和numpy的方式主要由于在反向传播方面没有使用自动梯度(AutoGradient)需要对公式有比较清楚的推导才能够以代码方式实现，对于复杂模型的求导的计算编写的难度会急剧上升（当然如果采用autograd之类的库可能可以避开这一部分问题）。
3. 拓展性上：基于非框架方式编写的拓展性远远不如基于Paddle框架的拓展性。比如说，
    网络结构的改变：比如多加几个全连接层，对于非框架的实现就需要额外引入更多的权重和偏置变量并且做前向矩阵运算，而且反向传播的计算梯度也会由于没有autograd需要手动修改训练的代码，然而对应在Paddle框架的实现中只需要多加几行FC layer，并且反向传播部分无需改变，而这仅仅是加全连接层。更进一步，如果换成Convolution Layer， Recurrent Net这样的结构对于非框架的代码可想而知会有多大的修改，而在框架中这些层都是封装好的
4. 优化器的改变：对于非框架的实现，每次的更新是通过对于权重遍历梯度更新实现的，当需要调整优化器比如换成Adagrad之类，需要累计梯度平方作为分母以作为二阶修正，此时显然需要额外映入累加，和修正梯度等操作，而在框架的实现中只要替换优化器的接口代码没有大的区别，上述优势在出现复合优化器LookAhead之类的情况下会更加显著。
5. 训练的部署，对于非框架的版本目前只是写在CPU上实现的，如果想要在GPU上进行训练，需要引入CUDA,CUDNN，代码也需要非常大的改动，而对于Paddle框架的写法上，只需要修改Place，改为cuda上，代码也不用做大的调整，同样的问题在测试的部署上也存在
6. 模型预测的效果上，采用相同的结构，模型的预测效果是一致的
7. 训练的耗时上，开始认为应该使用框架加快，但是实际测试结果如下[使用%%timeit测试]，利用timeit对于(E=10,B=10),(E=100,B=10),(E=10,B=100)进行了测试学习率设定均为0.01，实际结果numpy的结果更快，此处推测理由是动态图的构建和数据类型转换过程在这个房价预测简单问题上占据了比较多的时间，从而导致框架训练时间不占优

下面放一下测试结果：

作业4-2:  通过Python、深度学习框架，不同方法写房价预测，Python编写的模型 和 基于飞桨编写的模型在哪些方面存在异同？例如程序结构，编写难易度，模型的预测效果，训练的耗时等等？

程序结构：

程序结构大体都是一样的，可能深度学习框架上的模型是经过优化过的，更有利于程序的执行；自己通过python手写的很容    易出现代码不规范的情况，降低了代码执行的效率。

编写难易度：

使用框架编写很简单，直接三两行代码调用导入的已经写好的包就可以，效率很高；自己编写模型的话，虽然每次训练用到的模型可能很相像，但是还是极大的增加了代码量，而且还很容易出错，毕竟出错了调试代码有时候很费时间，工作效率太低。

模型的预测效果：

框架上更好一些，

训练的耗时：

深度学习框架的运算速度远远快于python编写的模型的，

使用性上：

框架使用起来很方便，支持许多的模型，直接导入数据训练就可以了。

作业5-1:

请参考543楼

作业5-2: 

在计算机视觉中，常见的CNN网络有AlexNet, VGG, GoogleLeNet以及ResNet。

作业5-3:

1. 优化方法比较；

# 优化方法设定如下
mom_op = fluid.optimizer.MomentumOptimizer(learning_rate=0.01, momentum=0.9)
adg_op = fluid.optimizer.AdagradOptimizer(learning_rate=0.01)
adm_op = fluid.optimizer.AdamOptimizer(learning_rate=0.01)

执行5个epoch，总共2500次迭代后的得出的迭代次数和loss的趋势图:

总结： 仅仅从5个epoch的结果来看Momentum和Adam已经收敛，相比于Adagrad优化器有更好的效果。

2. 学习率比较；

# 使用的学习率
lr_list = [1e-3, 1e-2, 1e-1]

# 使用的优化方法
optimizer = fluid.optimizer.AdamOptimizer(learning_rate=lr)

执行5个epoch，总共2500次迭代后的得出的迭代次数和loss的趋势图:

总结： 仅仅从5个epoch的结果来看当学习率设置为0.001与0.01时具有较好的学习效果。

作业5-1

参考#543（可以直接测试）

作业5-2

参考#556

作业5-3

比较学习率：学习率赋值都相同，都是0.01

上面是SGD的结果，Acc有较大的跳变

上面是Momentum的结果，Acc比较稳定（源代码中有误，缺少momentum=0.9这一个参数）

上面是Adagrad，Acc还可以的

这次是Ada，Acc比较稳定

作业4-2：

通过Python、深度学习框架，不同方法写房价预测，Python编写的模型 和 基于飞桨编写的模型在哪些方面存在异同？例如程序结构，编写难易度，模型的预测效果，训练的耗时等等？

通过Python、深度学习框架，不同方法写房价预测，Python编写的模型 和 基于飞桨编写的模型主要有以下几个异同点：

•    程序结构：两者大同小异，结构基本一样，不同的是基于飞桨编写的模型比较简单，适合已经掌握模型的学习者，而Python编写的模型则是更适合初学者，能够更好的去掌握模型。
• 编写难易度：基于飞桨编写的模型比较简单，而Python编写的模型则是每一个轮子都需要自己去建造，因为难度较大
• 模型的预测效果：两者的模型预测结果大体上来说对于同一个模型，差别很小
• 训练的耗时：对于初学者来说，训练耗时肯定是基于飞桨编写的模型耗时更小，因为初学者往往会将简单的问题复杂化，且不会去优化模型

作业4-1：在AI studio上运行作业2，用深度学习完成房价预测模型

作业4-2：回复下面问题，将答案回复帖子下方：

通过Python、深度学习框架，不同方法写房价预测，Python编写的模型 和 基于飞桨编写的模型在哪些方面存在异同？例如程序结构，编写难易度，模型的预测效果，训练的耗时等等？

在数据处理目前学习的还是python原生处理，希望可以在paddle中集成方便点，使用paddle编写程序更加规范，易于理解，对于模型的效果比python更好，耗时更短

作业5-2:

    1.LeNet网络。 1998年由LeCun推出，它是第一个广为流传的卷积神经网络。

    2.AlexNet网络：有五个广义卷积层和3个广义全连接层。

    3.VGG-Net网络:是牛津大学计算机视觉组和DeepMind公司共同研发一种深度卷积网络。

    4.Inception Net网络：核心思想是稀疏连接。

    5.ResNet网络：提出了一种残差学习框架来解决网络退化问题，从而训练更深的网络。

    6.SENet网络：提出了一种新的架构单元来解决通道之间相互依赖的问题。

    7.DenseNet网络：通过特征重用来提升网络的学习能力。

作业3-1

（1）

（2）