NLP Review & Tutorial

NLP 실습용 GitHub Repository 입니다.

Blog: velog, GitHub Blog

Huggingface Usage

Tutorial

Transformers Tutorial의 내용을 한국어 데이터셋을 이용해 공부할 수 있도록 새롭게 구성하여 만들었습니다.

• Huggingface 설치: 내용, 실습
• Tutorial1 - Pipelines for inference: 내용, 실습
• Tutorial2 - Load pretrained instances with an AutoClass: 내용, 실습
• Tutorial3 - Preprocess: 내용, 실습
• Tutorial4 - Fine-tune a pretrained model: 내용, 실습

Data Preprocessing

• Tokenization: NLTK, spaCy, torchtext 라이브러리를 활용해 토큰화를 수행합니다.
  • 실습
• Vocab: spaCy, torchtext를 활용해 Vocab을 만듭니다.
  • 실습
• Dataset & DataLoader: NLP Task를 위한 Dataset, DataLoader을 만듭니다.
  • 실습

Model

• RNN, LSTM
  • RNN 정리
  • LSTM, GRU 정리
  • 실습
• Seq2Seq
  • Seq2Seq 정리
  • 실습
• Transformer
  • Transformer 정리
  • 실습