作业3-1

# tanh激活函数及示意图
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.patches as patches

#设置图片大小
plt.figure(figsize=(8, 3))

# x是1维数组，数组大小是从-10. 到10.的实数，每隔0.1取一个点
x = np.arange(-10, 10, 0.1)
# 计算 Sigmoid函数
s = (np.exp(x) - np.exp(- x)) / (np.exp(x) + np.exp(- x))

#########################################################
# 以下部分为画图程序

# 设置两个子图窗口，将tanh的函数图像画在左边
f = plt.subplot(121)
# 画出函数曲线
plt.plot(x, s, color='r')
# 添加文字说明
plt.text(-5., 0.9, r'$y=\tanh(x)$', fontsize=13)
# 设置坐标轴格式
currentAxis=plt.gca()
currentAxis.xaxis.set_label_text('x', fontsize=15)
currentAxis.yaxis.set_label_text('y', fontsize=15)

plt.show()

作业3-2

import numpy as np

p = np.random.randn(10, 10)
# 判断元素大于0
q = (p > 0)
# 统计
q.sum()

作业3-1

import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.patches as patches
x = np.arange(-10, 10, 0.1)
s = (np.exp(x)-np.exp(- x)) / (np.exp(x) + np.exp(- x))
plt.plot(x, s, color='r')
plt.text(-5., 0.9, r'$y=tanh(x)$', fontsize=13)
currentAxis=plt.gca()
currentAxis.xaxis.set_label_text('x', fontsize=15)
currentAxis.yaxis.set_label_text('y', fontsize=15)
plt.show()

作业3-2

p = np.random.randn(10, 10)
q = (p>0)
count = np.sum(p>0)
print(q)
print(count)

运行结果：

[[False False False False True False False True False True]
[False False True True True True True True True True]
[ True False False True False False False False False False]
[False False False True True False True False False True]
[ True True False True False False True True True False]
[ True False True True False True False True True False]
[ True False False False True False False False True False]
[False True True False True False False True False True]
[False False False True False False True False False False]
[ True True False True False True False False False True]]
44

import matplotlib.pyplot as plt
import numpy as np
def tanh(x):
    y = (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))
    return y
x = np.arange(-10, 10, 0.1)
y = tanh(x)
plt.plot(x, y, color='r')
plt.grid()
plt.show()

实验结果：

import numpy as np
p = np.random.randn(10, 10)
q = (p>0) #数据类型array，元素取值布尔型
print("大于0个数为{}".format(q.sum())) # 计算q中的真值数

作业3-1（1）

import numpy as np
import matplotlib.pyplot as plt

#设置图片大小
plt.figure(figsize=(8, 3))

# x是1维数组，数组大小是从-10. 到10.的实数，每隔0.1取一个点
x = np.arange(-10, 10, 0.1)
# 计算 tanh
s = (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(- x))

#########################################################
# 以下部分为画图程序

f = plt.subplot(122)
# 画出函数曲线
plt.plot(x, s, color='r')
# 添加文字说明
plt.text(-5., 0.9, r'$y=\sigma(x)$', fontsize=13)
# 设置坐标轴格式
currentAxis=plt.gca()
currentAxis.xaxis.set_label_text('x', fontsize=15)
currentAxis.yaxis.set_label_text('y', fontsize=15)

plt.show()

(2)

import numpy as np

p = np.random.randn(10, 10)
q = p > 0
qq = q[q]
print(qq)
print(qq.size)

作业3-1（1）（2）

作业3-1：

（1）

（2）

作业3-1

（1）

# tanh激活函数示意图
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.patches as patches

#设置图片大小
plt.figure(figsize=(8, 3))

# x是1维数组，数组大小是从-10. 到10.的实数，每隔0.1取一个点
x = np.arange(-10, 10, 0.1)
# 计算 tanh函数
y = (np.exp(x)-np.exp(-x))/ (np.exp(x) + np.exp(- x))

#########################################################
# 以下部分为画图程序

# 设置两个子图窗口，将tanh的函数图像画在左边
f = plt.subplot(121)
# 画出函数曲线
plt.plot(x, y, color='r')
# 添加文字说明
plt.text(-5., 0.9, r'$y=\tanh(x)$', fontsize=13)
# 设置坐标轴格式
currentAxis=plt.gca()
currentAxis.xaxis.set_label_text('x', fontsize=15)
currentAxis.yaxis.set_label_text('y', fontsize=15)

plt.show()

（2）

p=np.random.randn(10,10)
q=(p>0)
q.sum()

作业1-2：

①类比牛顿第二定律的案例，在你的工作和生活中还有哪些问题可以用监督学习的框架来解决？假设和参数是什么？优化目标是什么？

如：信用卡异常问题，可以用监督学习的框架解决。假设是输出和输入呈非线性的关系，把输入的线性权重和用sigmoid激活函数映射为概率，根据概率大小判断信用卡的使用记录是否异常。参数是：单笔消费金额，消费地点，一天里的消费时间，固定一段时间内的总消费金额，消费项目等。优化目标是让模型尽肯能低找出使用情况异常的信用卡并且降低误判的可能性。

②为什么说AI工程师有发展前景？怎样从经济学（市场供需）的角度做出解读？

答：目前，各高校的人工智能相关专业才刚刚创立且招生。但许多AI技术已经面临落地的问题，企业单位对于AI人才的需求非常大。另外，社会一定是向着无人化、智能化的方向去发展的，现在需要AI人工智能技术，未来也一定需要。人工智能技术就犹如水、电、互联网技术一样，成为各行各业必不可少的技术，从这个角度看AI在未来也会成为一项支撑社会上层行业的基础设施。因此AI工程师有良好的发展前景

import numpy as np

# set the random seed
np.random.seed(0)

# generate the random matrix
p = np.random.randn(10,10)

# sum all elements which greater than 0
cnt = np.sum((p>0))

print(cnt)

作业2-1（1）基础题

作业2-1基础题

作业题2-1：

（1）

作业3-1

（1）：

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

x = np.linspace(-10,10,200)
y = (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))

plt.plot(x,y,'r.')
plt.plot(x,y)

（2）：

import numpy as np

matrix = np.random.randn(10,10)
print(matrix)
sum = np.sum(matrix>=0)
print(sum)

作业1-2

问题1：

监督学习中主要有分类和回归两大任务，这里分别举个例子。 就分类任务来说，指结果是离散的，有固定类别数的任务。图像识别、语音识别等就不说了，生活中比较常见的就是对第二天的天气进行分类，根据日常的生活经验，我们假设影响第二天天气受到地区、当天平均温度、气压、风向、风速等等，因为可能包含时序因素，我们同时将滞后两天的天气情况（即前两天的天气类别）加入影响因素，分别对不同的变量作处理，比如地区、前两天天气作哑变量处理，温度、气压等归一化处理，用一层神经网络拟合参数，最后使用sigmoid函数将结果约束到0-1之间，优化目标就是使结果更接近1或者0，即对应的类别，相当于使用交叉熵损失。使用大量的天气数据进行训练调优。 就回归任务来说，指结果是连续的，需要拟合大量的点。生活中比较常见的是交通流量预测，简化一点，即某个路口每天的经过车辆总数。假设影响因素包括，路口所在城市、路口宽度、红绿灯的等待时长、是否节假日、是否处在商业圈等各种因素，优化目标就是通过这些因素的加权加总之和与每天实际车辆总数之差最小，即使用均方误差作为损失函数进行优化。

作业1-2

问题2：

我是今年毕业的，专业是AI相关，在校期间做了三年的机器学习与深度学习研究，这几年学术界相关的论文数量真的是势如破竹搬的增长，AI相关研究在学术界已经渗透各个角落。但当毕业后才发现，原来工业界的脚步远落后于学术界，AI的实际落地还在慢慢规划部署当中，目前发展比较好的是基于人脸识别相关的安防、新零售等，基于图像识别、图像搜索、文本识别等的AI教育交通等，但仍然还有很大的发展空间，而且在新医疗、新金融、新工业等各方面还存在更大的缺口。

同时，根据老师讲的，AI对传统产业的冲击是巨大的，现在大部分产业都在逐渐AI化，然而当前AI最大的缺陷在于没有普遍性，无法用一个模型适配所有不同的任务，比如语音识别来说，可能在金融行业训练的模型，在医疗行业就无法直接使用，因为不同领域有不同领域的专业术语，这些是无法通用的，因此这就需要我们AI工程师来处理这些差异，为不同的任务构建最合适的模型。因此，在未来很长的一段时间内，AI需要落地，行业需要进步，都需要AI工程师的作用。

从经济学的角度来说，在市场供给方面，AI产业才刚刚起步两三年，相关的学校教育也是从这两年才开始起步的，因此市场真正实践AI工程的人并不是很多，同时，在学术界，虽然相关研究甚多，但AI并未达到真正的人工智能，因此仍然需要更多的创新，需要更加高端的人才做更多的创新性研究，因此整体供给量不足；在市场需求方面，整个市场的AI落地也才刚刚起步，很多行业需要相关的人才做定制化的AI需求，而传统行业种类数不胜数，因此整个市场的需求量是很大的，因此AI工程师的供给远不及市场需求，所以AI工程师在未来的AI落地时间段内会有很大的发展空间。

（建议百度工程师在做文本审核的时候，如果审核不过关，显示一下哪些词有问题，一个作业而已，改了一周才找到关键词）

12月12日作业2：

（2）挑战题：

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

def load_data():
    # 从文件导入数据
    datafile = './data/data16317/housing.data'
    data = np.fromfile(datafile, sep=' ')

    # 每条数据包括14项，其中前面13项是影响因素，第14项是相应的房屋价格中位数
    feature_names = [ 'CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', \
                      'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT', 'MEDV' ]
    feature_num = len(feature_names)

    # 将原始数据进行Reshape，变成[N, 14]这样的形状
    data = data.reshape([data.shape[0] // feature_num, feature_num])

    # 将原数据集拆分成训练集和测试集
    # 这里使用80%的数据做训练，20%的数据做测试
    # 测试集和训练集必须是没有交集的
    ratio = 0.8
    offset = int(data.shape[0] * ratio)
    training_data = data[:offset]

    # 计算train数据集的最大值，最小值，平均值
    maximums, minimums, avgs = training_data.max(axis=0), training_data.min(axis=0), \
                                 training_data.sum(axis=0) / training_data.shape[0]
    # 对数据进行归一化处理
    for i in range(feature_num):
        #print(maximums[i], minimums[i], avgs[i])
        data[:, i] = (data[:, i] - avgs[i]) / (maximums[i] - minimums[i])

    # 训练集和测试集的划分比例
    training_data = data[:offset]
    test_data = data[offset:]
    return training_data, test_data
    
class Network(object):
    def __init__(self, num_of_weights):
        # 随机产生w的初始值
        # 为了保持程序每次运行结果的一致性，此处设置固定的随机数种子
        #np.random.seed(0)
        #w1和w2两个维度加1的目的是把b当做w的一个维度，为数据矩阵x添加一列常数1。
        self.w1 = np.random.randn(num_of_weights+1, num_of_weights)
        self.w2 = np.random.randn(num_of_weights+1,1)
        
    def forward(self, x):
        a1 = np.hstack((x,np.ones((x.shape[0],1))))
        z1 = np.dot(a1,self.w1)
        a2 = np.hstack((z1,np.ones((z1.shape[0],1))))
        z2 = np.dot(a2,self.w2)
        return z1,z2
    
    def loss(self, z, y):
        return np.mean((z-y)**2)
    
    def gradient_2(self,out_list, x, y):
        #在中间层的输入中添加1列常数1，作为偏置项bias
        z = np.hstack((out_list[0],np.ones((x.shape[0],1))))
        n_samples = y.shape[0]
        gradient_w2 =(np.dot(z.T,out_list[1]-y))/n_samples
        return gradient_w2
        
    def gradient_1(self, out_list, x, y):
        #损失函数对第一层的权重矩阵的梯度，可以用矩阵微分公式求得
        x_bias = np.hstack((x,np.ones((x.shape[0],1))))
        n_samples = x.shape[0]
        gradient_w1 = np.dot(np.dot(x_bias.T,out_list[-1]-y),self.w2.T[:,:-1])/n_samples
        return gradient_w1
        
    def update(self, gradient_w1, gradient_w2,  eta = 0.01):
        self.w2 = self.w2 - eta * gradient_w2
        self.w1 = self.w1 - eta * gradient_w1
                
    def train(self, training_data, num_epoches, batch_size=10, eta=0.01):
        n = len(training_data)
        losses = []
        for epoch_id in range(num_epoches):
            np.random.shuffle(training_data)
            mini_batches = [training_data[k:k+batch_size] for k in range(0, n, batch_size)]
            for iter_id, mini_batch in enumerate(mini_batches):
                x = mini_batch[:, :-1]
                y = mini_batch[:, -1:].reshape(-1,1)
                out_list = net.forward(x)
                loss = self.loss(out_list[-1], y)
                gradient_w2 = self.gradient_2(out_list,x,y)
                gradient_w1 = self.gradient_1(out_list,x,y)
                self.update(gradient_w1, gradient_w2, eta = 0.01)
                losses.append(loss)
                print('Epoch {:3d} / iter {:3d}, loss = {:.4f}'.
                                 format(epoch_id, iter_id, loss))
        
        return losses

train_data, test_data = load_data()

net = Network(13)
losses = net.train(train_data, num_epoches=200, batch_size=100, eta=0.1)

plot_x = np.arange(len(losses))
plot_y = np.array(losses)
plt.plot(plot_x, plot_y)
plt.show()
    

作业3-1

（1）使用numpy计算tanh激活函数

# tanh激活函数示意图
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib.patches as patches

#设置图片大小
plt.figure(figsize=(8, 3))

# x是1维数组，数组大小是从-10. 到10.的实数，每隔0.1取一个点
x = np.arange(-10, 10, 0.1)
# 计算 tanh函数
#s = 1.0 / (1 + np.exp(- x))
s = (np.exp(x)-np.exp(- x))/((np.exp(x)+np.exp(- x)))

#########################################################
# 以下部分为画图程序

# 设置两个子图窗口，将Sigmoid的函数图像画在左边
f = plt.subplot(121)
# 画出函数曲线
plt.plot(x, s, color='r')
# 添加文字说明
plt.text(-8., 0.9, r'$y=tanh(x)$', fontsize=13)
# 设置坐标轴格式
currentAxis=plt.gca()
currentAxis.xaxis.set_label_text('x', fontsize=15)
currentAxis.yaxis.set_label_text('y', fontsize=15)

plt.show()

（2）统计随机生成矩阵中有多少个元素大于0

p = np.random.randn(10, 10)
q = (p > 0)
print(p)
print(q)
print('随机数构成的矩阵中大于零元素个数为：{}'.format(q.sum()))

12月12日作业：