[일지] 피어세션 5/31 일지

[CoodingPenguin]

🙌 한 일 공유

• 지원: 서버가 바뀐 후 checkpoint에서 이어서 학습을 시키니 학습이 많이 떨어짐.
  • 데이터 10%정도로 학습시켰을 때 성능은 떨어지지만, 1 epoch당 3분 정도 걸림.
  • 실험을 위해 20%정도 사용해야할 것 같다.
• 세민: processor forcing, beam search 관련 논문 읽음.
• 종영: positional encoding을 이해하려 직접 step-by-step으로 공부. Adaptive positional encoding을 구현.
• 소현: 노션에 issue based 협업 과정 관련한 내용 작성. issue template, pull request template, project와 연결 세팅 해놓음.
• 재혁: 전처리를 적용시키고 성능을 비교해봄.
  • 전처리를 하지 않았을 때보다 했을 때 성능이 하락.
  • 전처리 후에 resize를 적용함.

---

📆 마일스톤 설정

5/31 ~ 6/6

• Pre-trained model 사용 (자료조사 필요)
• rgb/grey 중 어느게 좋은지 실험(종영님 제출해보고 지원님 결과와 비교)
• 모델 구조 변경 실험 (SATRN 기준 30)
  • CNN: dense -> shallow > 지원님께서 구현하신 shallow
  • Model: not SATRN > 자료조사 > 월요일 강의
  • PE: Adaptive positional encoding
  • conv, separable feed forward > 화요일 강의
  • Beam-search
  • Feature Pyramid Network (자료조사 필요)
• 전처리 (opencv) 적용 비교 실험
• early stopping 기능 추가

6/7 ~ 6/13

• model hyperparameter(hidden size, layer 개수) 정하기
• Data Augmentation
  • resize 크기
  • Normalize
• TTA
• ensemble
• k-fold

6/13 ~ 6/15

• training hyperparameter tuning(batch, lr, scheduler, loss function)

보류

• Grad CAM
• 외부 데이터
• 결과 후처리: n-gram, 괄호, 기호 중복, latex 문법에 맞지 않는 것

---

📌 내일까지 할 일

• 지원: SATRN validation accuracy 언제 쯤 수렴하는지 찾기, CNN shallow로 변경 후 dense와 비교 하기
• 재혁: class balanced한 validation set 따로 만들기
• 세민: conv, separable feed forward ,PE: Adaptive positional encoding
• 소현: Feature Pyramid Network 자료조사 (있으면 후에 구현)
• 종영: PE 실험 , Beam search구현
• 수민: Model: not SATRN > 자료조사 > 월요일 강의