Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Adiciona novos 8 raspadores #1281

Open
wants to merge 2 commits into
base: main
Choose a base branch
from
+77 −0
Open

Adiciona novos 8 raspadores #1281

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
2 commits
Select commit Hold shift + click to select a range
be5a58e
Adiciona novos 8 raspadores
trevineju Jun 5, 2024
0e5a1b4
Remove Candeias-BA incorreto
trevineju Oct 2, 2024
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
11 changes: 11 additions & 0 deletions data_collection/gazette/spiders/mg/mg_carmo_do_rio_claro.py
View file
Open in desktop
Copy link

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Spider de município já incluído em PRODUÇÃO: data_collection/gazette/spiders/mg/mg_carmo_do_rio_claro.py

Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
from datetime import date

from gazette.spiders.base.instar import BaseInstarSpider


class MgCarmoDoRioClaroSpider(BaseInstarSpider):
TERRITORY_ID = "3114402"
name = "mg_carmo_do_rio_claro"
allowed_domains = ["carmodorioclaro.mg.gov.br"]
base_url = "https://www.carmodorioclaro.mg.gov.br/portal/diario-oficial"
start_date = date(2021, 5, 14)
11 changes: 11 additions & 0 deletions data_collection/gazette/spiders/mg/mg_juatuba.py
View file
Open in desktop
Copy link

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Spider de município já incluído em PRODUÇÃO: /data_collection/gazette/spiders/mg/mg_juatuba.py

Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
from datetime import date

from gazette.spiders.base.instar import BaseInstarSpider


class MgJuatubaSpider(BaseInstarSpider):
TERRITORY_ID = "3136652"
name = "mg_juatuba"
allowed_domains = ["juatuba.mg.gov.br"]
base_url = "https://www.juatuba.mg.gov.br/portal/diario-oficial"
start_date = date(2016, 1, 5)
11 changes: 11 additions & 0 deletions data_collection/gazette/spiders/mt/mt_cotriguacu.py
View file
Open in desktop
Copy link

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

  • O layout não se parece com nenhum caso da lista de layouts padrão
  • É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
  • É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

  • O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
  • O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
  • O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
  • Explicitar o atributo de classe end_date não se fez necessário.
  • Não utilizo custom_settings em meu raspador.

Testes

  • Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
  • Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
  • Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

  • Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Adiciona raspador de município replicado (mg_cotrigaguacu) a partir do padrão BaseINSTAR #1088

Logs (Tests)

mt_cotriguacu_between_2023-11-17_2024-09-30.log
mt_cotriguacu_full_2024-09-30.csv
mt_cotriguacu_full_2024-09-30.log
mt_cotriguacu_last_2024-09-30.csv
mt_cotriguacu_last_2024-09-30.log
mt_cotriguacu_between_2023-11-17_2024-09-30.csv
mt_cotriguacu_between_2023-11-17_2024-09-30.csv

Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
from datetime import date

from gazette.spiders.base.instar import BaseInstarSpider


class MtCotriguacuSpider(BaseInstarSpider):
TERRITORY_ID = "5103379"
name = "mt_cotriguacu"
allowed_domains = ["cotriguacu.mt.gov.br"]
base_url = "https://www.cotriguacu.mt.gov.br/portal/diario-oficial"
start_date = date(2023, 11, 17)
11 changes: 11 additions & 0 deletions data_collection/gazette/spiders/pr/pr_santo_antonio_do_paraiso.py
View file
Open in desktop
Copy link

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

  • O layout não se parece com nenhum caso da lista de layouts padrão
  • É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
  • É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

  • O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
  • O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
  • O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
  • Explicitar o atributo de classe end_date não se fez necessário.
  • Não utilizo custom_settings em meu raspador.

Testes

  • Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
  • Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
  • Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

  • Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Adiciona raspador de município replicado (pr_santo_antonio_do_paraiso) a partir do padrão BaseINSTAR

Logs (Tests)

pr_santo_antonio_do_paraiso_full_2024-10-02.csv
pr_santo_antonio_do_paraiso_full_2024-10-02.log
pr_santo_antonio_do_paraiso_last_2024-10-02.csv
pr_santo_antonio_do_paraiso_last_2024-10-02.log
pr_santo_antonio_do_paraiso_between_2012-12-27_2013-01-26.csv
pr_santo_antonio_do_paraiso_between_2012-12-27_2013-01-26.log

Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
from datetime import date

from gazette.spiders.base.instar import BaseInstarSpider


class PrSantoAntonioDoParaisoSpider(BaseInstarSpider):
TERRITORY_ID = "4124301"
name = "pr_santo_antonio_do_paraiso"
allowed_domains = ["pmsantoantoniodoparaiso.pr.gov.br"]
base_url = "https://www.pmsantoantoniodoparaiso.pr.gov.br/portal/diario-oficial"
start_date = date(2012, 12, 27)
11 changes: 11 additions & 0 deletions data_collection/gazette/spiders/sp/sp_iracemapolis.py
View file
Open in desktop
Copy link

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

  • O layout não se parece com nenhum caso da lista de layouts padrão
  • É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
  • É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

  • O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
  • O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
  • O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
  • Explicitar o atributo de classe end_date não se fez necessário.
  • Não utilizo custom_settings em meu raspador.

Testes

  • Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
  • Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
  • Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

  • Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Adiciona raspador de município replicado (sp_iracemapolis) a partir do padrão BaseINSTAR

Logs (Tests)

sp_iracemapolis_full_2024-10-02.csv
sp_iracemapolis_full_2024-10-02.log
sp_iracemapolis_last_2024-10-02.csv
sp_iracemapolis_last_2024-10-02.log
sp_iracemapolis_between_2017-01-02_2024-10-02.csv
sp_iracemapolis_between_2017-01-02_2024-10-02.log

Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
from datetime import date

from gazette.spiders.base.instar import BaseInstarSpider


class SpIracemapolisSpider(BaseInstarSpider):
TERRITORY_ID = "3521408"
name = "sp_iracemapolis"
allowed_domains = ["iracemapolis.sp.gov.br"]
base_url = "https://www.iracemapolis.sp.gov.br/portal/diario-oficial"
start_date = date(2017, 1, 2)
11 changes: 11 additions & 0 deletions data_collection/gazette/spiders/sp/sp_itaporanga.py
View file
Open in desktop
Copy link

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

  • O layout não se parece com nenhum caso da lista de layouts padrão
  • É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
  • É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

  • O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
  • O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
  • O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
  • Explicitar o atributo de classe end_date não se fez necessário.
  • Não utilizo custom_settings em meu raspador.

Testes

  • Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
  • Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
  • Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

  • Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Adiciona raspador de município replicado (sp_itaporanga) a partir do padrão BaseINSTAR

Logs (Tests)

sp_itaporanga_between_2009-04-16_2009-05-16.csv
sp_itaporanga_between_2009-04-16_2009-05-16.log
sp_itaporanga_full_2024-10-02.csv
sp_itaporanga_full_2024-10-02.log
sp_itaporanga_last_2024-10-02.csv
sp_itaporanga_last_2024-10-02.log

Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
from datetime import date

from gazette.spiders.base.instar import BaseInstarSpider


class SpItaporangaSpider(BaseInstarSpider):
TERRITORY_ID = "3522802"
name = "sp_itaporanga"
allowed_domains = ["itaporanga.sp.gov.br"]
base_url = "https://www.itaporanga.sp.gov.br/portal/diario-oficial"
start_date = date(2009, 4, 16)
11 changes: 11 additions & 0 deletions data_collection/gazette/spiders/sp/sp_potirendaba.py
View file
Open in desktop
Copy link

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

  • O layout não se parece com nenhum caso da lista de layouts padrão
  • É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
  • É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

  • O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
  • O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
  • O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
  • Explicitar o atributo de classe end_date não se fez necessário.
  • Não utilizo custom_settings em meu raspador.

Testes

  • Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
  • Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
  • Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

  • Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Adiciona raspador de município replicado (sp_potirendaba) a partir do padrão BaseINSTAR

Logs (Tests)

sp_potirendaba_between_2024-01-21_2024-02-20.csv
sp_potirendaba_between_2024-01-21_2024-02-20.log
sp_potirendaba_full_2024-10-02.csv
sp_potirendaba_full_2024-10-02.log
sp_potirendaba_last_2024-10-01.csv
sp_potirendaba_last_2024-10-01.log

Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
from datetime import date

from gazette.spiders.base.instar import BaseInstarSpider


class SpPotirendabaSpider(BaseInstarSpider):
TERRITORY_ID = "3540804"
name = "sp_potirendaba"
allowed_domains = ["potirendaba.sp.gov.br"]
base_url = "https://www.potirendaba.sp.gov.br/portal/diario-oficial"
start_date = date(2024, 1, 21)
Loading