[일지] 피어세션 6/10 일지

[peacecheejecake]

🙌 한 일 공유

• 종영
  • 현재 11 에폭, 한 에폭에 한 시간 정도 걸림.
  • 이전 최고 0.3062 vs. 0.4455
• 지원
  • hidden dimension 체크 중
• 재혁
  • pretrained model이 아니어도 warmup이 꼭 필요한 것인가?

---

🪐 최종 모델을 위해 결정된 것과 결정할 것

• 일단 얼마가 걸릴지 모르니 SATRN 학습을 시작하자.
• valdation을 주지 말아야 할까?
• 3:3 fold는 어떨까? 전체 데이터도 돌고, 모델도 두개니까.
• 내일까지는 실험할 수 있을 것 같은데, 적어도 토요일 부터는 제출할 것을 학습하고 월요일에는 앙상블 시도를 해야할 것.
• 최종 모델로 여섯 번 정도 제출할 수 있지 않을까? (화요일 9시 이전에 세 번 + 이후에 세 번)
• CSTR, SRN은 오늘까지만 정말 마지막으로 해 보기.
• inference 단에서 필요한 것 준비하기: TTA, ensemble, beam search
• wandb 켜야할지 결정하기 (서버가 불안불안해서) -- 대안은? 재혁님 라즈베리파이, tensorboard, txt log, ...
• 앙상블 코드 짜 놓기 -- 1) weight ensemble, 2) 여러 모델 앙상블
• K-fold 데이터 나눠서 txt로 저장하기

---

📆 최최종 마일스톤

리더보드 올리기

10(목)

• 개인적인 실험 마무리: CSTR, SRN, hidden dim, image size, label smoothing, LM 등등

11(금)

• 최종 제출 모델 학습 시작: 피어세션 시간에 같이 (5-fold)

12(토) ~ 13(일)

• weight ensemble 구현
• LM + beam search 구현

14(월)

• 모델 앙상블해서 제출해 보기

15(화)

• 최종 제출

---

✉️ 네트워킹 데이 준비

노션 소개 페이지 작성

• 16(수) 자정까지 제출
• 분량제한은 없음

발표 PPT 만들기 + 연습

• 21(월) 리허설 전까지 준비 마치기
• 형식은 표지만 고정, 나머지는 자유양식

Q&A 대비

• Q&A 시간이 빌 경우 어떻게 채울 건지 준비하기
• 예비 질문, 역질문 준비하기

부스 로테이션 시간 분배

• 부스: 22(화)
• Q&A 모아 놓은 문서 작성해 두기
• 연락망 구축 필요 (필요한 경우 바로 호출할 수 있도록)

gather.town 익숙해지기

• 부캠에서 얼마나 자유도를 주느냐에 따라 달라짐

Gihub README, docstring 정리

• 대회 마감 전에 끝내기
• bcaitech1에 fork하기

남은 질문

• wrapup은 이번에도 개인별로 쓰나요?