[일지] 피어세션 5/26 일지

[bsm8734]

🌿 어제 한 것 공유

📌 지원

• 이미지 회전 방향을 판별하는 classification model 학습
  • 학습 데이터셋: 하나의 클래스(방향 기준) 당, 약 230개의 데이터
  • 학습이 되기는 하나, test accuracy가 낮음

Q&A

• 세민님: detect 하는 모델을 사용해서 판별하는건 어떨까?
  • snake하는 방법? 타원형을 잘 찾아냄
  • 옆으로 되어있다고 했을 때에도 잘 찾아낼 수 있지 않을까?
  • 어제 재혁님께서 말씀해주신 regression과 비슷한 것 같음
  • 어떤 방향으로 휘어있는지 찾아내서 정방향으로 넣어주자

Baseline vs. Scratch

• 종영님: baseline에 집중하되, 데이터 처리는 병행하자
  • baseline 1epoch은 10분 정도 걸림
  • 파인 튜닝을 해보자.
  • 일단 성능을 올리기 위해서 앞단의 CNN 모델을 변경해보는 것이 어떨까
  • 간단하고 이해하기 쉬워서 주신것이 아닐까
  • input, output을 이해하고 새로 무언가 적용하기 쉽다
• 재혁님: 어떻게 베이스라인을 개선할까?
  • decoder: self attention → GRU로 변경?
  • 단순히 바꾸면 끝나는것이 아닐까?
  • 종영님: 바꾸는 것에 큰 의미를 두는 것이 아니라, 이해를 바탕으로 문제를 해결하기 위해, 코드의 작동을 보면서 이해해야한다고 생각함
    • 단순히 바꾸는 것이 아니라, 원리를 이해하자
  • 세민님: 내일 피어세션 시간에 베이스라인 코드 리뷰를 하는 것이 어떨까? 처음 시작을 공통된 시작에서!
• 종영님: 주어진 baseline 바탕으로 할지, 아니면 scratch부터 만들지?
  • 소현님: 취업을 위해서는 스크래치, 점수와 대회를 위해서는 베이스라인
    • 아직 OCR에 대한 지식이 없기 때문에, 베이스라인을 가져가는 것이 좋다고 생각을 함
  • 종영님: baseline을 기본으로 하고, "validation dataset에서 틀린건 무엇인지" 등에 대해 적어놓기
    → 결론: 제공되는 베이스라인 사용: https://github.com/chaeyoung-lee/upstage-math-ocr

외부 데이터셋 및 Pretrained Model

• 세민님: Segmentation/Detection 대회에서 기존 CNN based pretrained model을 사용했는가? Yes
  • 재혁님: torch.hub가 base였고, 어디서 불러오는지만 달랐음
• 세민님: 이미지가 사물이나 동물을 분류하는 것이었는데, text를 위한 pretrained model이 있으면 좋다고 생각함
  • 수민님: mnist로 학습시켜서 해보기
  • 종영님: 질감에 대한 데이터셋 존재함, SVHN도 찾아보면 좋을듯
  • 재혁님: coco text, kaist dataset, … (그러나 수식에 대한 데이터셋은 아님)

📌 소현

• 정규화 한것이 더 좋음
• 오츠 알고리즘: threshold를 기준으로 127 이하는 백색으로 변경(=제거)
  • 완전히 없애는 방법과 truncated하게 바꾸는 방법이 있음
  • 극단적으로 하면 글자가 사라짐
  • 전역적 방법이 더 좋았음
  • 참고: https://bkshin.tistory.com/entry/OpenCV-8-%EC%8A%A4%EB%A0%88%EC%8B%9C%ED%99%80%EB%94%A9Thresholding?category=1148027
• 모폴로지 침식: 4x4 커널을 만들어서 모두 검정이면살리고, 하나라도 흰 부분이 있으면 지움(백색변환)
  • 검정이 두드러져서 흐릿한게 진해짐
  • 낮은 resolution에 대해 적용해봤더니 안좋았음(흔들리는 이미지같이 번지는 결과 초래)
• 오츠 + 모폴로지 조합이 좋을 것 같음
• 팽창도 사용해보면 좋을것 같음
• 균등화(equalization) → 좋지 않음
• CLAHE, Normalization 등을 사용해봄
  • → 사용한다면, 순서가 중요할 것 같음
  • 밝기를 건드리는 것보다는 edge를 적용한 것이 더 좋은 것 같음

📌 재혁

• gray → thresh → (binary) → morphology 의 순서로 적용하면 좋음!
• 텍스트니까, 커널의 가로 사이즈를 길게 하는 것이 좋지 않을까?
  • 정사각형도 괜찮지만, 가로로 늘린거, 세로로 늘린 커널을 적절히 배치하여 사용하면좋지 않을까
• 침식보다, 모폴로지_CLOSE 가 더 깔끔한 것 같음

❊ 가로선을 찾으려고 했던 실험 기반 인사이트(노트선)

• 밝기를 변경하기 위해 YUV, LAB방식을 사용해봄
• CLAHE, Equalization, LAB 사용해봄
• YUV: y-색정보 uv-밝기관련
• LAB: l-luminous, ab-색
• 이 외에도 HSV 같은 방법이 있을듯

---

🌿 멘토링에 대한 논의

애자일 방법

• 고객이 원하는 바를 계속 반영하는 것(피드백, 매일 변경)

소현

• 이전에 Jira(이슈 & 프로젝트 트래킹 소프트웨어) 가지고 했는데, 백로그(요구사항 목록)로 할 수 있는거 다 만들어놓고, 배정해놓음
• 마일스톤을 가지고 일을 배정
• 매 아침마다 했는지에 대해서 얘기해봄
• 지속적인 피드백
• 그러나 우리는 이미 피어세션때 하고 있으며, 공유하는 시간만해도 최소 30분

세민

• 시간을 타이트하게 가져가기
• 시작, 종료 등의 진행상황에 대해 공유하기
• "어제 무언가를 하기로 했는데 지금 어느정도까지 진전이 되었는지"

방향 detection → recognition 전에 네트워크 넣어서 판단하는 것이 있음

🌿 New Rules

• 하루에 한번씩 뭐 하고있는지 적기
  • 노션에 남기기(피어세션 전까지)
• 피어세션에서 공유한 내용은 당일 오후 9시까지 peer-session repo에 PR
  • 각자 브랜치따서 본인 폴더에 추가

🌿 내일까지 할 것

• 베이스라인 한번씩 보고오기

내일 깃 협업방식에 대해서 얘기해보기

---