New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Crawling 구현(정책브리핑) #32

Open

WagyuShark opened this issue Nov 14, 2024 · 0 comments

Contributor

WagyuShark commented Nov 14, 2024 •

edited

Loading

특정 시간 지정(시연시에는 현재 시간)
정책브리핑사이트에서 소상공인, 사업자 키워드를 통해 현재 날짜 기준 새로운 글이 있는지 검색
있을 경우 데이터 크롤링( 형태 미정, 예제는 일단 text, pdf(hwp)파일 )
크롤링된 데이터 청킹 및 벡터스토어에 적재
데이터 후처리
후처리된 데이터 AgentService에서 요약 처리
생성 데이터 Evaluation
- 평가 기준치 미달일 경우 rewrite 후 재평가 반복
DB에 알림 저장
분류에 해당하는 사람들에게 FCM으로 알림 전송

WagyuShark changed the title ~~Crawling MVP 구현(정책브리핑)~~ Crawling 구현(정책브리핑)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment