• 纯强化学习
  • 机器偶尔会收到一个标量奖励（比如游戏得分），用以指导学习过程
  • 每个样本提供的信息量很少，可能只有几个比特
• 监督学习
  • 监督学习中，机器预测每个输入的类别或者一些数值，这些预测基于由人类提供的数据（需要人类标注数据）
  • 每个样本的信息量较大，从10比特到10000比特不等
• 自监督学习
  • 自监督学习让机器预测输入数据的任何部分，这部分数据未被观察到的。例如，预测视频的未来帧。
  • 这种方法的信息量最大，每个样本可以提供数百万比特的信息。

对比学习

supervised learning遇到的问题：标注错误