[멘토링] 멘토링 6/9 일지 - 마무리 모델 질의응답

[peacecheejecake]

CSTR 구현에 대해

• 큰 리셉티브 필드를 갖는 것으로 이해되기 때문에, 작은 리셉티브 필드를 갖는 무언가를 추가하면 괜찮아질 수도 있다.
• 네트워크를 바꾸기보다는 파라미터를 바꿔서 좀 더 작은 필드를 보도록 해 볼 것을 추천한다.
• 기존 OCR 데이터에 비해 우리 데이터는 길이가 기니까, 같은 면적 내에 글씨 개수에 성능 차이가 나왔을 수 있다.

FPN 적용 실험에 대해

• 지금은 조금 늦은 감이 있어서 시나리오를 좀 더 다양하게 짜야 할 듯 하다.
• 눈 앞에 있는 것을 해치우는 방식이 아니라, 해치우고 나서 뭘 할 건지 큰 그림과 흐름을 잡아야 한다.
• 너무 지엽적인 것에 몰두하면 큰 그림을 못 볼수도 있다.
• 서버 자체도 불안정하니 일정을 여유롭게 잡아 보자.
• 대회 1등이 목표인지, 아니면 좀 더 여러 실험을 해 보는게 목표인지, 팀 자체 목표를 재설정 해 볼 필요가 있다.

Weakly supervised learning 실험에 대해

• 학습을 저해하는 요소를 추가한다는 것인데, 어느 정도 학습이 되고 난 이후에 기능을 추가하는 것도 하나의 전략이 될 수 있을 것이다.
• 그래도 잘 안 되면 학습이 된 아키텍처 불러온 상태에서 실험해 보는 것도 하나의 방법이 될 것이다.
• 초기에 좀 더 쉬우면서 학습이 잘 되는 테스크를 넣어줘야 어텐션이 학습이 잘 된다. 현재로서는 비지도 학습 피처를 학습하는 게 너무 어려워서일 수 있다.
• 일단은 왜 그런 일이 생겼는지를 살펴보고, 안 되면 쿨하게 버리는 것도 필요하다.

제 졸업논문 구현해 보실래요?

• 단일 모델에서 앙상블
• 논문을 직접적으로 주면 좀 그러니까... prior work: https://ieeexplore.ieee.org/document/7953075
• 수식인식에도 그대로 적용될 것이다.
• 논문이 안보일 땐, 싸이 + 허브차....(?)

앙상블에 대해

• weight averaging: validation top k 만큼 저장한 후 불러와서 평균내고 새로 저장하는 방법. 아주 조금이라도 올라요.
• 여러 네트워크 앙상블은 빔서치에서도 되고 그리디에서도 되지요. -- 확률을 soft voting하기