统一训练与评估交接说明

0. 当前项目主线

目前已完成 ResNet18 baseline 训练与评估流程整理、expanded dataset 重新检查、JPEG 测试集退化强度检查、重新生成 controlled JPEG q30 测试集、统一 notebook 结构及 config/evaluation/predictions.csv/summary.csv 输出格式。接下来 Rachel 和 Bi 分别基于同一套 notebook 模板训练 Transformer 相关模型。

1. 统一 Notebook 结构

00 → 01 → 02 → 03 → 05 → 06 → 08 → 09

2. 统一 Config 管理

所有实验参数通过 00_config 集中管理。换模型时优先只改 config 和 model builder，不要随意改 evaluation 部分。

3. 数据读取部分的重要修改

02_dataset_and_dataloader 是本次改动较多的部分。

3.1 原始问题

expanded dataset 里原本的 test 结构中，original 和 JPEG 图片混在同一个类别目录下，通过文件名区分：

test/fake/0001.jpg
test/fake/0001_JPEG.jpg   ← 混在一起

这种方式容易导致 dataloader 读取混乱，也不利于 original / JPEG paired analysis。

3.2 修正后的结构

现在测试集已整理成独立文件夹：

正式实验统一使用：test_original vs test_jpeg_q30_controlled

3.3 02 部分现在做什么

• 分别读取 train、val、test_original、test_jpeg_q30_controlled
• 建立四个 dataloader，使用统一 transform 和 ImageNet normalization
• 使用 RGB loader，从 train_dataset.class_to_idx 读取类别映射
• 明确设置 fake 为 positive class
• 打印数据集数量和示例文件名，用于检查路径是否正确

后续换成 ViT / DINO 时，除非模型有特殊输入尺寸或 normalization 要求，否则建议保持一致以保证对比公平。

4. JPEG 退化数据检查与修正

重新检查 JPEG test set 时发现，expanded dataset 原本的 test_jpeg 退化强度不理想。

4.1 Expanded Dataset 原 test_jpeg 的问题

抽样 500 对 original/JPEG 图片后发现：

结论：expanded dataset 原本的 test_jpeg 更像 mild JPEG re-encoding，不是有效的 q30 compression stress test。

4.2 期中旧 Dataset 的 q30 检查结果

结论：期中旧 dataset 的 JPEG q30 是有效压缩，expanded dataset 原来的 test_jpeg 压缩不到位。

4.3 当前修正方案

已基于 expanded dataset 的 test_original 重新生成 test_jpeg_q30_controlled，后续正式实验统一使用。

1. 先统一跑 test_jpeg_q30_controlled
2. 如果 q30 仍不足以观察差异，再补 q50 / q10
3. 不要在不同模型之间使用不同 JPEG 条件，否则结果不可比

5. 当前 ResNet18 Baseline 状态

ResNet18 baseline 已在 expanded dataset 上训练完成。best checkpoint 出现在 epoch 4。

后续可再跑一版 10 epoch 的 ResNet18 baseline（命名为 resnet18_baseline_expand_10ep），用于确认 5 epoch 是否足够。不要覆盖现有结果。

6. Epoch 统一建议

之前 ResNet18 baseline 只跑 5 epoch（担心过拟合 + 时间有限 + 先验证 pipeline）。后续 Transformer 模型正式训练时，建议统一改为：

max epoch = 10，根据 validation fake F1 选择 best checkpoint。

• 最终不是使用第 10 epoch，而是 validation fake F1 最高的 checkpoint
• 训练日志中需要记录 best epoch 是第几
• 如果 best epoch 很早出现，可作为模型容易过拟合的证据

论文写法：We train each model for up to 10 epochs and select the best checkpoint based on validation fake F1.

7. 输出结果管理规则

输出按 evaluation condition 归档，避免结果混乱。

experiment_output/
├── best_checkpoint.pt
├── training_log.csv
├── config.json
├── old_eval_before_test_split_fix/
├── eval_jpeg_reencoded/
└── eval_jpeg_q30_controlled/

best_checkpoint.pt
training_log.csv
metrics_original.json
metrics_jpeg.json
predictions_original.csv
predictions_jpeg.csv
summary.csv

8. 后续模型分工

所有模型必须统一：dataset split · test_original · test_jpeg_q30_controlled · fake positive class · metrics · checkpoint rule · output format。

9. 换 Transformer 模型时主要改哪里

vit_b16_baseline_expand
vit_b16_lazystrike_expand
dino_vit_baseline_expand
dino_vit_lazystrike_expand

9.3 LazyStrike 额外修改

10. 哪些部分尽量不要改

尤其是 evaluation 部分必须保持统一，否则不同模型的 accuracy、recall、F1、recall drop 可能不可比。

11. 训练前必须先沟通确认

本项目需要控制变量，任何以下改动都需要先交流确认：

12. 推荐行动顺序

1. 阅读 notebook 结构 理解 00–09 流程，重点关注 config、dataset、model builder、train、test、summary。
2. 确认各自 config Rachel 和 Bi 各自准备 config，并先交流确认。
3. 分别训练 baseline 模型 Rachel 跑 ViT baseline，Bi 跑 DINO baseline。
4. 产出统一结果 每个模型输出 best_checkpoint.pt · training_log.csv · metrics_*.json · predictions_*.csv · summary.csv。
5. 交流 baseline 结果 比较 ResNet18 / ViT / DINO 的 original fake recall、JPEG q30 fake recall、recall drop、JPEG F1、confusion matrix。
6. 再做 LazyStrike 版本 等 baseline 跑通并确认结果合理后，再分别做 ViT + LazyStrike 和 DINO + LazyStrike。

13. 最重要的注意事项