[일지] 피어세션 6/02 일지 #28

CoodingPenguin · 2021-06-03T08:30:30Z

CoodingPenguin
Jun 3, 2021
Maintainer

CSTR 논문을 보고 코드를 확인해봤는데, mmdetection과 똑같아서 config파일로 되어있어서 새로 직접 짜야한다.
- 재혁: 일단 라이브러리로 돌려보고 한 번 테스트해보자.제출 부분은 따로 inference 부분 코드를 짜야할 것 같다. 실행은 되지만, 버전이 안 맞아서 inference 시 제출을 못할 수도 있다. torchvision 0.5부터 가능하다. (서버는 0.2로 되어있다.)
- 세민: FPN만 넣어보자.

전처리 개선해서 돌려보았는데, validation sentence accuracy가 0.6에서 0.62로 증가는 했지만, 지원님이 돌리신거에 비해서 점수는 떨어진다. (50 epoch 기준)

BTTR 논문 읽음. encoder는 생략하고 디코더 부분만 bidirectional로 바꾸면 될 듯 하다.
- grammar based라고 symbol을 찾아 수식 구조에 맞춰 재배열을 하는 방식이 존재한다고 한다. 관련 논문을 봤는데 점수가 너무 높아서 보려고 했는데 볼 수가 없었음.
- 논문 이름: Improvement of end to-end offline handwritten mathematical expression recognition by weakly supervised learning. In: 2020 17th International Conference on Frontiers in Handwriting Recognition
논문에서는 data augmentation을 봤는데 코드에서는 보지 못함.
bidirectional에서 역방향으로 갈 때 → 순으로 입력으로 넣어준다.
2D Attention을 어떻게 하는지 궁금했는데 이 논문도 flatten해서 넣어주었음.
hypotheses 부분이 이해가 안 됨.
- 종영님도 beam search를 이 논문의 코드를 보고 있는데, l2r, r2l이 beam search에 있고 hypothese를 구한 다음에 처리를 한다고 한다.(?)
loss function은 cross entropy loss를 쓴다.

scheduler가 문제가 있어서 학습 후 고정 lr 혹은 torch의 scheduler를 사용해서 이어서 학습을 해볼 예정이다.
shallow cnn으로 바꿔서 실험 중인데 성능이 낮아지는 것 같다.
- shallow cnn을 쓰면 시간이 2.5배 늘어난다. 왜? cnn이 낮아서 추상화가 잘 안 되서 가로/세로가 크다 보니까 입력으로 들어가는 데이터가 많다.
2D self-attention을 추가해서 비교하는 것이 좋을 것 같다.
locality feedforward aware은 세민님 걸 하면 좋을 것 같다. 시간 차이가 얼마 안 나는데 조금 성능이 좋은 게 더 나은 것 같다.

beam search를 구현하려고 보고있는데, 세민님이 설명해주신 코드의 beam search 부분을 보고 있다.
세민님이 궁금해하시는 부분도 이해가 안 되는데, 그 논문에 특화된 beam search라서 좀 일반적인 beam search 코드를 짜보려고 한다.

지원/수민: checkpoint 삭제하고 서버에 제출을 할 것.
- checkpoints를 checkpoint 등 다른 이름으로 이름을 바꾸면 열 수가 있다. 왜..?
지원: tqdm이 불안정하다.
재혁: 논문을 보면 검은 색 바탕에 흰 글씨로 되어있는데 내가 전처리 한거는 흰 바탕에 검은 글씨로 했다. 어느 게 더 좋을까?
- 255보다는 0인 게 조금 더 계산량이 줄어들 것 같긴하다.
- 세민님이 보여주신 논문에서도 검은색 바탕으로 되어있다.