Skip to content

Latest commit

 

History

History
135 lines (89 loc) · 8.39 KB

一步一步地体验梯度下降.md

File metadata and controls

135 lines (89 loc) · 8.39 KB

一步一步地体验梯度下降

准备好实验工具

  • A3标准坐标纸
  • A3-A4-A5透明或彩色垫板
  • 100厘米2mm*2mm手工模型木条
  • 辉柏嘉黏胶(可以根据需要用黏胶把小木条粘在一起)
  • 雕塑泥
  • 裁纸刀

需要购买的试验工具及商品的地址

开始做

1. 准备好实验材料，把A3的坐标纸适当裁剪，然后用透明胶把它粘在透明的A5垫板后面，或者粘在不透明的A3或A4垫板上，然后在坐标纸上确立一个平面直角坐标系，用油性笔或铅笔画出水平的X轴（以2厘米为1个单位）, 垂直的Y轴（以2厘米为1个单位），和直立的Z轴（以1厘米为1个单位），如下图所示。

然后想办法把Z轴立起来，自制一个3维坐标系，如下图所示。

2. 对于函数z=f(x,y)=x2+y2, 参照上一个实验制作好的梯度下降的实体模型，某个点的梯度计算公示，如下图所示。

例如：对于点坐标（x=2, y=3）, 这个点的梯度为4i+6j, 计算过程如下图所示。

这个点梯度的绝对值的计算结果约等于7.21，计算过程如下图所示。

实体模型如下图所示。

3. 运算过程如下图所示：

  • 点0(x0=2,y0=3)的函数值是13；
  • 当y是常量3，函数相对于x=2的导数是4; 当x是常量2，函数相对于y=3的导数是6；
  • 当下降的步长为0.6时，点0在X轴方向下降的位移向量是-2.4，在Y轴方向下降的位移向量是-3.6；
  • 点1的x坐标值是-0.4, y坐标值是-0.6；
  • 点1(x1=-0.4,y1=-0.6)的函数值是0.52。

实体模型如下图所示。

4. 运算过程如下图所示：

  • 点1(x1=-0.4,y1=-0.6)的函数值是0.52；
  • 当y是常量-0.6，函数相对于x=-0.4的导数是-0.8; 当x是常量-0.4，函数相对于y=-0.6的导数是-1.2；
  • 当下降的步长为0.6时，点0在X轴方向下降的位移向量是0.48，在Y轴方向下降的位移向量是0.72；
  • 点2的x坐标值是0.08, y坐标值是0.12；
  • 点2(x2=0.08,y2=0.12)的函数值是0.0208。

实体模型如下图所示。

5. 运算过程如下图所示：

  • 点2(x2=0.08,y2=0.12)的函数值是0.0208；
  • 当y是常量0.12，函数相对于x=0.08的导数是0.16; 当x是常量0.08，函数相对于y=0.12的导数是0.24；
  • 当下降的步长为0.6时，点0在X轴方向下降的位移向量是-0.096，在Y轴方向下降的位移向量是-0.144；
  • 点3的x坐标值是-0.016, y坐标值是-0.024；
  • 点3(x3=-0.016,y3=-0.024)的函数值是0.000832。

实体模型如下图所示。

6. 运算过程如下图所示：

  • 点3(x3=-0.016,y3=-0.024)的函数值是0.000832；
  • 当y是常量-0.024，函数相对于x=-0.016的导数是-0.032; 当x是常量-0.016，函数相对于y=-0.024的导数是-0.048；
  • 当下降的步长为0.6时，点0在X轴方向下降的位移向量是0.0192，在Y轴方向下降的位移向量是0.0288；
  • 点4的x坐标值是0.0032, y坐标值是0.0048；
  • 点4(x4=0.0032,y4=0.0048)的函数值是0.00003328。

实体模型如下图所示。

7. 运算过程如下图所示：

  • 点4(x4=0.0032,y4=0.0048)的函数值是0.00003328；
  • 当y是常量0.0048，函数相对于x=0.0032的导数是0.0064; 当x是常量0.0032，函数相对于y=0.0048的导数是0.0096；
  • 当下降的步长为0.6时，点0在X轴方向下降的位移向量是-0.00384，在Y轴方向下降的位移向量是-0.00576；
  • 点5的x坐标值是-0.00064, y坐标值是-0.00096；
  • 点5(x5=-0.00064,y5=-0.00096)的函数值是0.0000014176。

实体模型如下图所示。

参考文献及资料

  1. 维基百科

  2. 【Excel示例文件】深度学习的数学.rar中的2-11梯度下降法.xlsx