[일지] 피어세션 6/11 일지

[peacecheejecake]

👐 한 일 공유

• 세민: label smoothing 적용 -- 0.5 기준 baseline 대비 소폭 상승

---

👹 최최최종 모델 학습하기

• Shallow CNN 2 layer
• 2D (adaptive) positional encoding
• locality-aware feedforward (depth separable)
• input size: (1:4), original size(48 x 192) + size up (60 x 240) (96 x 384)
• decoder source는 encoder에 맞춰야하고, hidden filter를 300, 1200
• augmentation: cutout + spec augment
• lr, lr scheduler: default / baseline lr scheduler(cycle)
• teacher forcing: 0.5 → 0.005 desc(per 1epoch)
• weight decay: no weight decay for bias & norm
• epoch: 200
• valid proportion: 0.2 (재혁님이 나눈 파일로 test)
• criterion: label smoothing (0.2 / 0.1 / 0.5...?)
• wandb: 자율(대신 기록은 반드시 하는 걸로)
• optimizer: AdamP

---

🗂 5-fold data

• 지원 0
• 수민 1
• 재혁 2
• 종영 3
• 세민 4