[일지] 피어세션 6/09 일지

[peacecheejecake]

🙌 한 일 공유

• 소현
  • resize 실험 해 봄. 현재 setting에서 96 x 384일 때 가장 성능이 좋았음.
  • 큰 차이는 아니고 0.01 단위로 조금 늘어난 정도.
• 소현 + 수민
  • CSTR 코드는 브랜치 vedastr 파서 추가
  • 추가적으로 구현할 코드가 있어서 구현한 다음에 pull request 보낼 예정
  • CSTR 성능이 그렇게 좋아보이지는 않음
    • 문법은 괜찮은 듯한데 숫자를 잘 인식하지 못함
    • 모델 학습이 덜 된건지, 성능이 안 좋은 건지 모르겠고 metric이 우리 대회와 달라서 판단이 어려움. -> 맞추는 코드 작성할 예정.
• 수민
  • SRN도 CSTR처럼 라이브러리가 있어서 금방 할 수 있을 듯.
• 재혁
  • spec augmentation + cutout을 무작위로 섞은 augmentation: 성능이 꽤 올랐다!
  • validation에도 증강 포함해서 다시 측정 중
  • Shallow CNN은 두 개일 때가 세 개일 때보다 더 좋았음.
  • Shallow CNN일 때가 DenseNet일 때 보다 성능이 더 잘 나온 이유에 대한 가설 검증
    1. Shallow CNN이 성능이 더 좋다? -- No
    2. feature map 크기가 더 크기 때문? -- 피처를 여러개 뽑아서 concat이나 stack하는 방식으로 실험 / FPN
• 세민
  • Weakly supervised learning 실험 결과 공유 -- 모든 지표에서 조금씩 떨어짐.
  • Image size 조절해서 실험해 본 결과 공유 -- 1:6이 가장 좋았으나, pixel 개수 맞춰본 결과 큰 차이 없었음.

---

🎻 매운맛 모델 만들기

• 일단 최선의 모델로 학습해 보고, 내일 K-fold 시작하기

오늘 시작할 실험 리스트

1. 지원(진행 중)
   • SATRN: Shallow CNN + 2D adaptive positional encoding + locality-aware feedforward(separable)
   • encoder filter dim: 1200
   • input size: 48x192
   • binary image
   • no weight decay for bias & norm
   • lr scheduling: 5 epoch warmup + 195 epoch cosine decay
   • teacher forcing ratio schedule: 0.5로 시작해서 0.005씩 감소
2. 소현
   • SATRN: Shallow CNN + 2D adaptive positional encoding + locality-aware feedforward(separable)
   • encoder filter dim: 1200
   • input size: 48x288
   • augmentation: spec + cutout
   • no weight decay for bias & norm
   • lr scheduling: 5 epoch warmup + 195 epoch cosine decay
   • teacher forcing ratio schedule: 0.5로 고정
3. 종영
   • SATRN: Shallow CNN + 2D adaptive positional encoding + locality-aware feedforward(separable)
   • encoder filter dim: 1200
   • input size: 48x192
   • no weight decay for bias & norm
   • lr scheduling: 5 epoch warmup + 195 epoch cosine decay
   • teacher forcing ratio schedule: 0.5로 고정