README.md
任务说明
使用对比学习对MNIST
数据集进行预训练和分类
要求
- 使用
Keras
构建模型 - 自定义
DataGenerater
生成minibatch
的样本图片和标签进行训练 - 自定义对比损失函数代码
- 预训练结束后使用
TSNE
可视化处理 - 预训练结束后训练
MLP
层进行分类并告知准确率(accuracy
)
任务记录
2023/03/28
由于我个人比较熟悉pytorch
框架,未接触过Keras
框架,因此今天看了一整天的Keras开发文档,自己也跟着开发文档写了一些小例子。
2023/03/29
今天去看了对比学习的理论知识,依照理论搭建了一个简单的预训练模型和一个简单MLP
模型,其中的一些隐藏层定义语句其实和pytorch
框架没有太多差别。让我卡住的挺长时间的是Keras
的自定义数据读取函数,文档当中虽然有详细的说明,但是习惯了pytorch
中torchvision.transforms
读取数据的框架,一时半会没能转换过来思维。
2023/03/30
今天看了TSNE
可视化的一些相关教程,因为之前使用pytorch
的时候可视化基本都托管到了tensorboard
上,tensorboard
也有类似TSNE
的功能,直接调用对应接口就可以实现,今天也是第一次使用scikit-learn
里的TSNE
库。
已完成任务:
-
使用
Keras
构建预训练模型 -
自定义
DataGenerater
函数生成minibatch
的样本图片和标签 - 自定义对比损失函数(使用了交叉熵损失值)
-
预训练结束后使用
TSNE
可视化处理(生成的图像存放与./file
文件夹中) -
预训练结束后训练
MLP
层进行分类并告知准确率
存在的问题: