大三时正式开始接触AI机器学习方面的内容，希望能为以后研究生方向铺路

1. Regression

如何开始一个深度学习？

  1. Function with unknown parameters

    w and b are unknown parameters

    w -> weight b->bias

  2. Define loss from training data

  3. Optimization

    梯度下降，算积分，使得Loss趋近于最小

    image1

​ 可反复增加层数，来达到建立深度神经网络的目的

image2

2. Classification

模型无法训练起来的原因：

  • model bias

    参数不够，如同大海捞针，针却不在海里

  • optimization issue

    梯度下降却无法得到最优解，如同大海捞针，方法不好捞不到针

解决方法：

  1. 比较不同的模型
  2. 从浅的网络或一些简单的模型开始优化
  3. 如果运用了深度网络，loss却不如其它简单模型来得好，那么可以归结于optimization issue，如下图所示：

image3

General Guide

image4

首先判断在训练数据上的损失，在保证小的情况下再判断测试数据的损失

2.1 局部最小值与鞍点

local minima and saddle point

Hessian

image5

在梯度为0的情况下，计算L()，以此判断鞍点与局部最小

求二次偏导，构成hessian matrix，若此时特征值有正有负，则这个点为鞍点

选取特征值为负所对应的特征向量u

uTHu

用这种方法可逃离鞍点，降低loss

2.2 批次与动量

batch and momentum

结论：

  • small batch size has better performance
  • Noisy update is better for training

Small Batch vs Large Batch

image6

batch size 代表将训练资料分成多少块，每块的大小即为Batch

  • 在没有平行计算时，小的batch自然比大的batch计算的要快，这就好比计算10道数学题和计算100道数学题之间的区别

  • 有平行计算时，由于batch中的资料是同时开始计算，所花费的时间等同于计算1道数学题的时间

  • 一次epoch代表利用所有分好的batches进行训练，每个batch内的计算是基于平行计算，因此，如果batch分的小，那么计算次数就多，计算速度就慢；反之速度就快

  • noisy的数据有利于训练

  • small batch有助于跳出局部最优解

未完待续……

参考资料

  1. 李宏毅2021机器学习

  2. 《统计学习方法》李航著，第2版，北京：清华大学出版社，2019