李宏毅机器学习特训营中的向量与神经元的类比
收藏
在李宏毅老师的机器学习课程中,时长看到向量的身影,那么向量和神经元是否可以形式化的类比。
1 激活函数:将神经元的工作一般化
对神经元进行抽象可得如下图所示:
神经元有输入,并不一定有输出,只有当输入信号的之和大于某个强度,才会产生输出,这一过程叫点火。
模拟这一过程,数学表达为 : y为输出、x是各种输入,w是各种输入对应的权重
其中 是激活函数 (activation function)例如单位阶跃函数,或Sigmoid函数。在生物界, 不能是负的,但是在机器学习里它可正可负,所以上述式子可为:
关键是看括号这部分,它与向量有关。
2 向量
有大小和方向的量。简单的先从二维坐标系中理解它。即从原点为起点,以某个点为终点,指向终点的一段线段。为了表示这个向量,就要描述终点的坐标例如B(2,3) 代表横坐标是2,纵坐标是3的点——为了表示方向和终点,在坐标系中将起点统一定为原点,这就省了描述它,另外也约定好先表示横坐标,在表示纵坐标。
向量的内积
如下向量 , 的内积,(首先明白向量的内积结果是个值,不是向量),向量的内积可以用坐标的方法,表示为:
关键1: 其形式与上面激活函数里输入与权重的乘积形式很像。
多维度的向量内积
把权重和输入值看成是两个多维向量的内积,简化了神经元抽象的方程
欢迎大家学习 https://aistudio.baidu.com/aistudio/course/introduce/1978
1
收藏
请登录后评论
老铁学了多久了