[일지] 피어세션 6/01 일지

[CoodingPenguin]

🙌 한 일 공유

재혁

• 전처리 방식 고치고 돌려보고 있는데 전보다 성능은 증가했지만, 전처리 없이 한것 보다는 0.02 떨어짐 아직은 지켜봐야함. (파라미터 수: Encoder 5875140 / Decoder 988917)
• 기본적인 피처는 width, height, ratio 등에 추가적으로 밝기 피처도 넣어서 잘 잘라 class balanced validation set 생성함. yaml 파일에서 파일 path만 수정해주면 된다.

지원

• 아직 계속 올라가고 있어서 계속 학습을 하고 있다. 데이터는 적게 해서 돌리는 중이고 0.45 정도 나옴. (1 epoch 당 37분)

종영

• RGB로 바꿔서 지원님 GrayScale과 비교함. (1 epoch당 37분)
  • 첫 번째 layer를 제외하고 나머지 과정은 비슷해서 차이가 없는 것이라 추론.
  • 시간도 성능도 큰 차이는 없다.
• Adaptive Positional Encoding에 batch를 고려하지 않고 짜서 에러가 발생한다.

세민

• Feed Foward Layer로 바꾸고 나서 파라미터가 많이 늘음. 근데 시간은 많은 차이가 없는 것으로 보임. (1 epoch당 40분) (파라미터 수: Encoder 23285340 / Decoder 988917)
• 오늘 강의에 힌트로 Attention이 차원을 flatten을 해서 넣어주는 데 이걸 2d로 넣어주라는 것(SATRN)도 있었고, 나중에 loss function도 바꿔보라는 이야기가 있었음. → 마일스톤에 추가 필요

소현

• 강의 듣는 중이고, 강의에 나온 CSTR, SEED, SRN 구현이 필요할 것 같음.

수민

• 20개 중 5개 정도가 latex 렌더링이 잘 안 나오는 것 같음.
• 정답 레이블 중에서도 깨지는 애들이 있는 것 같음. 그래서 토큰 단위로 출력을 하는 것이 좋을 것 같다는 생각을 함.
• WER이 낮은 이미지만 wandb에 올리자.

---

✨ 피어세션

• 가 검증 시에는 입력으로 넣는 거여서 로그에 찍히지 않는다.
• 세민님, 지원님, 종영님 Adaptive Positional Encoding 코드 공유.
• 고정 reviewer는 종영님으로 결정!
• 추가적으로 해볼 것: SRN, CSTR 구현, Bidirectional Decoding, Beam Search 추가

---

📌 내일까지 할 것

• 종영: Beam Search 구현(지원), APE 구현
• 세민: Attention 2D 넣는 것 구현
• 지원: validation 수렴 아직 확인 중, Beam Search 구현(종영), SRN 논문 읽기
• 수민: SRN 논문 읽기 , SATRN 모델 baseline 돌려보고 공유
• 소현: CSTR 논문 읽기
• 재혁: CSTR 논문 읽기