우리는 사용자들이 유튜브 영상 분석에 걸리는 시간을 줄이기 위해, 영상을 요약하는 기능을 추가할 예정입니다.
- 스크립트 수집: 유튜브 API를 사용하여 영상을 수집하고, 해당 영상을 분석하여 스크립트를 추출합니다.
- LLM 모델 사용: 영상의 제목과 스크립트를 기반으로 LLM(Large Language Model) 모델을 활용해 요약을 생성합니다.
- 텍스트 길이 제한: 현재 사용 중인 GPU 메모리의 한계로 인해 최대 8000자 이하의 텍스트만 처리 가능합니다.
이 문제를 해결하기 위해, 먼저 KoBART 모델을 사용해 스크립트의 내용을 요약한 뒤, 그 결과를 LLM 모델에 입력하여 최종 요약을 생성하는 방식으로 구성하였습니다.
- NVIDIA GeForce RTX 4090
- 메모리 사용량: 24GB 중 약 6GB 사용 (약 4GB는 다른 용도로 사용)
- 사용 가능한 메모리: 약 20GB, 남은 메모리는 CPU로 전이될 수 있음
- Architecture: x86_64
- CPU 코어 수: 32 (1 소켓)
- 메모리: 60GB
GPU 메모리 부족 시, 일부 처리 작업이 CPU로 전이되어 수행될 수 있습니다.