[일지] 피어세션 5/27 일지

[bsm8734]

🌿 어제 한 것 공유

📌 지원

• SATRN 학습 중(ch1, baseline) 11 epoch → 현재 validation score: 약 0.3
• 세민: 처음부터 teacher forcing 주는 것이 어떨까?

📌 종영

• 노트북을 통해 보는 baseline(step by step) 👍
• 재혁: rnn, gru, attention이 서로 다른건줄알았는데 안에 다 들어가있구나 싶음

📌 수민

• Attention baseline 50 epoch 학습하고 train/validation log를 노션에 올림
• wandb에 log, pred img 올리는 코드짜고 있음

📌 재혁

• 선 때문에 노이즈가 생김
• 밝기에 대한 문제는 해결이 어느정도 된 것 같음
• 굳이 3 채널을 사용해야할지 의문
• 전처리(contour)에 대해 실험할 것

📌 지원

• 회전 관련해서 더 해보겠음
• 4개 클래스에 대한 label을 두고 학습

📌 소현

• 베이스라인 공부
• 전처리 관련(edge)해서 더 실험할 것

📌 세민

• 논문 읽음 → Image to markup generation with coarse to fine attention (2017)
• 읽는 방향에 대해 나와있는 논문이라 보는 중
• 좌→우 뿐만아니라 상→하 순서도 중요(분자 → 분수기호 → 분모)
• 후보 region을 주고, 그 안에서 원하는 것을 찾음
  • ex) 시그마를 찾으면, 그 주변에 대한 후보군을 주고 그 부분에 대해 문자를 찾기
    -LSTM 사용
• positional encoding에 대한 논문읽기를 준비중
  • transformer 에 input 넣어줄때, 문장에 대한 인코딩 1차원 → 2차원
  • 중요하다고 생각한 이유: SATRN 내부에 positional 2D encoding 존재(warning 표시 있음)
  • SATRN을 보고 나면, 좀 더 결합해서 생각할 수 있지 않을까 함
• attention이 seq2seq가 transformer에 비해 초반에 나왔으니, 네이버에서 제안한 모델도 transformer 기반으로 만들었을 것 같음
• 논문읽기는 2명 이상 같이 하는 것이 좋을듯
  • minor한 task라서 정보가 잘 안나옴
• SATRN에 대한 논문을 종영님과 함께 읽기로 함
• 오늘 논문 코드 확인할 것

---

🌿 멘토님 조언

• Image to markup generation with coarse to fine attention (2017)
• 중국 학회에 나온 논문이라서 근거가 확실한지 모르겠음
• 탑티어가 아니므로, 탑저널에서 걸러서 해보는 것을 추천(ieee도 괜찮긴 함)

---

🌿 논의할 것

• 세민: (학습할때부터) beam search를 도입해보자
  • loss도 만들어야 할 듯
  • 모델이 여러 input을 가져가서 가능성을 계산할 수 있게 해보자
• 재혁: cnn feature는 깊에 파지 않는 것 같음
  • 이전 피어세션에서, 다른 cnn을 가져와서 써보자고 했는데, 코드 보니까 얕은 CNN 모델을 사용함
• 종영: 좋은 논문이 어떤 CNN 백본을 사용했는지 보자
• 세민: 본 논문은 작은 데이터셋이지만, 12번 → 50% 성능
  • 레이어도 6~7개 밖에 안되고, pretrain도 안된것을 사용
• 지원: SATRN에도 얕은걸 썼다고 함(논문 기재)

---

🌿현재 학습 중인 모델

• 수민: attention - 1ch
• 종영: attention - 3ch
• 지원: satrn - 1ch

🌿 오늘 할 일

• wandb 적용
• 실험 환경 구축

🌿 내일 할 일

• 협업 방식 논의
• 마일스톤 세우기

---