Linear Probe vs Fine-tuning

• Linear Probe: 冻住预训练模型， 仅训练新增的层，比如classifier layer
• Fine-tuning: 预训练的层也参与学习

一般来说Fine-tuning的效果都要好于Linear Probe，特别是数据量比较大的时候，使用Fine-tuning可以取得明显由于Linear Probe的效果。
但是Linear Probe训练起来比较快，学习的参数量小。

如果我们要单纯的比较不同预训练模型抽取的特征优劣，就可以使用Linear Probe的方式来比较。能够更好的反应预训练模型的好坏。