Golang 선택이유

• 하나의 페이지에서 크롤링을 하는 것이 아니라 모든 목록의 게시글을 동시에 크롤링해야 한다.
• 78441개의 게시물을 11206개의 페이지에서 크롤링해야하는데 파이썬으로 했을 경우 병렬처리가 되지 않아 시간이 오래 걸렸다.
• 하지만 go routine을 이용하여 병렬처리를 구현하였을 때 작업속도가 월등히 빠름을 확인할 수 있었다.

API 목록

• GET /wordCloud/:category (분아별 청원 제목 리스트 크롤링)

  • request param : category -> 분야별 시리얼 넘버
  • 해당 분야의 청원글 제목 리스트를 크롤링
  • response

    윤창호법 강력 적용 안 하는 판사들 규탄 - 6살 아이 사망 사건 더불어민주당 이진련시의원의 갑질을 고발합니다. 류경기 중랑구청장과의 면담을 통해 더불어민주당 독재를 고발합니다 법무부 장관을 사퇴를 시키든 해임을 시키든 대통령이 나서세요!!!!! 불법 레고랜드 강행한 정만호의 국민소통수석 임명을 반대합니다. 가정이 있는 시민에게  새벽 1시경 협박전화한 a모 구미시의원에 대해 청원합니다! 부동산폭등 원흉 김현미 국토부장관 즉각 해임하십시오 ‘사학비리’. 공익제보 하지마세요... 신분보장조치는 뒷전!!!... 공수처와 특별재판부를 만들어주세요 온라인 포탈 기사 작성후 변조/삭제를 금지하고 추가만 가능하도록 제도화 부탁합니다. 사법부출신 국회의원전원이 현직에있을당시의 수사재판변론기록 일체에 대해서 국민의 알 권리를 위하여 인터넷상에 한건도 빠짐없이 공개하라 개풀 뜯어먹는 개소리의 논리, 오랜 특권층 보호만을 위한 모순덩어리 악법 변호사법제109조를 폐지하여 주세요.(폐지 의안발의 요청) 반정부 쿠데타 드라이브스루 집회를 허용한......
    

• GET /topFivePosts/:category (분아별 top5 청원 리스트 크롤링)

  • request param : category -> 분야별 시리얼 넘버
  • response

    [
      {
        "id": "579682",
        "paging_id": 71135,
        "title": "자유 한국당 정당해산 청원",
        "agreement": "1,831,900",
        "category": "정치개혁",
        "created": "2019-04-22",
        "finished": "2019-05-22",
        "provider": "kakao"
      },
      {
        "id": ...,
        "paging_id": ...,
        "title": ...,
        "agreement": ...,
        "category": ...,
        "created": ...,
        "finished": ...,
        "provider": ...
      },
      {
        "id": ...,
        "paging_id": ...,
        "title": ...,
        "agreement": ...,
        "category": ...,
        "created": ...,
        "finished": ...,
        "provider": ...
      },
      {
        "id": ...,
        "paging_id": ...,
        "title": ...,
        "agreement": ...,
        "category": ...,
        "created": ...,
        "finished": ...,
        "provider": ...
      },
      {
        "id": ...,
        "paging_id": ...,
        "title": ...,
        "agreement": ...,
        "category": ...,
        "created": ...,
        "finished": ...,
        "provider": ...
      },
    ]

• GET /summary/:petitionID (특정 청원의 청원내용과 답변내용 크롤링)

  • request param : petitionID -> 요약하려는 특정 청원글 id
  • 해당 청원내용과 답변내용을 요약한 문자열을 응답
  • response

    {
      "question": "민주당과 정부에 간곡히 청원합니다 자유한국당은 국민의 막대한 세비를 받는 국회의원으로 구성 되었음에도 걸핏하면 장왜투쟁과 정부의 입법을 발목잡기를 하고 소방에관한 예산을 삭감하여 국민의 안전을 심각하게하며 정부가 국민을 위한 정책을 시행하지못하도록 사사건건 방해를 하고있습니다 의원들의 국민에 대한 막말도 도를 넘치고있.....",
      "answer": "안녕하십니까. 청와대 정무수석 강기정입니다. 오늘은 청와대 국민청원 답변을 위해 이 자리에 섰습니다. 오늘 제가 드릴 답변은 국민청원 100번째 답변입니다. 국민청원 게시판이 만들어진 이래 가장 많은, 무려 183만 여명이 참여한 자유한국당 해산청구 청원과 33만 여명이 참여한 더불어민주당 해산청구 청원, 그리고 ’김무성 의원 내란죄 처벌‘ 청원 등 3건에 대한 답변입니다. 답변을 준비하면서 참으로 송구스럽다는 말씀을 드리지 않을 수 없었습니다. 우선 정당 해산 청원에 짧은 시간에 이렇게 많은 국민이 참여했다는 것을 보면, 우리 정당과 의회정치에 대한 국민의 준엄한 평가가 내려졌다 해도 과언이 아닙니다. 결국 183만명이라는 ....."
    }