Adiciona novos 8 raspadores #1281
Conversation
|
Farei a revisão 😉 |
|
essa aqui o @jreagle falou que faria em #1088 (comment) |
|
Aaah, blz! |
Obrigado p/ preferência! 😜 |
O site é do município de Candeias no estado de Minas Gerais, não da Bahia. Signed-off-by: Juliana Trevine <[email protected]>
There was a problem hiding this comment.
Feedback Review
Conforme registrado na trilha, os raspadores replicados de "mg_carmo_do_rio_claro" e "mg_juatuba" já fazem parte da branch principal, portanto, devem ser removidos da pull.
De acordo com territories.csv existe o município de Candeias - BA (2906501), que não consta da base de produção do QD atualmente e, curiosamente, publica seus diários pelo sistema BaseInstar! Eu cheguei até fazer os testes de coleta com sucesso com base no ba_candeias.py! Só pra registro mesmo!
Em relação aos demais arquivos, após verificar a lista de validações para contribuições recomendada pela @trevineju e não encontrar erros ou alertas relevantes nos logs saída, considero que as mudanças podem ser aprovadas e integradas ao branch principal sem maiores problemas.
There was a problem hiding this comment.
Spider de município já incluído em PRODUÇÃO: data_collection/gazette/spiders/mg/mg_carmo_do_rio_claro.py
There was a problem hiding this comment.
Spider de município já incluído em PRODUÇÃO: /data_collection/gazette/spiders/mg/mg_juatuba.py
There was a problem hiding this comment.
Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
- O layout não se parece com nenhum caso da lista de layouts padrão
- É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
- É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.
Código da(s) spider(s)
- O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
- O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
- O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
- Explicitar o atributo de classe end_date não se fez necessário.
- Não utilizo
custom_settingsem meu raspador.
Testes
- Uma coleta-teste da última edição foi feita. O arquivo de
.logdeste teste está anexado na PR. - Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR. - Uma coleta-teste completa foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR.
Verificações
- Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
- Eu verifiquei os arquivos
.csvgerados pela minha coleta conforme a documentação não encontrando problemas. - Eu verifiquei os arquivos de
.loggerados pela minha coleta conforme a documentação não encontrando problemas.
Descrição
Adiciona raspador de município replicado (mg_cotrigaguacu) a partir do padrão BaseINSTAR #1088
Logs (Tests)
mt_cotriguacu_between_2023-11-17_2024-09-30.log
mt_cotriguacu_full_2024-09-30.csv
mt_cotriguacu_full_2024-09-30.log
mt_cotriguacu_last_2024-09-30.csv
mt_cotriguacu_last_2024-09-30.log
mt_cotriguacu_between_2023-11-17_2024-09-30.csv
mt_cotriguacu_between_2023-11-17_2024-09-30.csv
There was a problem hiding this comment.
Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
- O layout não se parece com nenhum caso da lista de layouts padrão
- É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
- É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.
Código da(s) spider(s)
- O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
- O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
- O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
- Explicitar o atributo de classe end_date não se fez necessário.
- Não utilizo
custom_settingsem meu raspador.
Testes
- Uma coleta-teste da última edição foi feita. O arquivo de
.logdeste teste está anexado na PR. - Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR. - Uma coleta-teste completa foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR.
Verificações
- Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
- Eu verifiquei os arquivos
.csvgerados pela minha coleta conforme a documentação não encontrando problemas. - Eu verifiquei os arquivos de
.loggerados pela minha coleta conforme a documentação não encontrando problemas.
Descrição
Adiciona raspador de município replicado (pr_santo_antonio_do_paraiso) a partir do padrão BaseINSTAR
Logs (Tests)
pr_santo_antonio_do_paraiso_full_2024-10-02.csv
pr_santo_antonio_do_paraiso_full_2024-10-02.log
pr_santo_antonio_do_paraiso_last_2024-10-02.csv
pr_santo_antonio_do_paraiso_last_2024-10-02.log
pr_santo_antonio_do_paraiso_between_2012-12-27_2013-01-26.csv
pr_santo_antonio_do_paraiso_between_2012-12-27_2013-01-26.log
There was a problem hiding this comment.
Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
- O layout não se parece com nenhum caso da lista de layouts padrão
- É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
- É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.
Código da(s) spider(s)
- O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
- O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
- O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
- Explicitar o atributo de classe end_date não se fez necessário.
- Não utilizo
custom_settingsem meu raspador.
Testes
- Uma coleta-teste da última edição foi feita. O arquivo de
.logdeste teste está anexado na PR. - Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR. - Uma coleta-teste completa foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR.
Verificações
- Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
- Eu verifiquei os arquivos
.csvgerados pela minha coleta conforme a documentação não encontrando problemas. - Eu verifiquei os arquivos de
.loggerados pela minha coleta conforme a documentação não encontrando problemas.
Descrição
Adiciona raspador de município replicado (sp_iracemapolis) a partir do padrão BaseINSTAR
Logs (Tests)
sp_iracemapolis_full_2024-10-02.csv
sp_iracemapolis_full_2024-10-02.log
sp_iracemapolis_last_2024-10-02.csv
sp_iracemapolis_last_2024-10-02.log
sp_iracemapolis_between_2017-01-02_2024-10-02.csv
sp_iracemapolis_between_2017-01-02_2024-10-02.log
There was a problem hiding this comment.
Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
- O layout não se parece com nenhum caso da lista de layouts padrão
- É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
- É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.
Código da(s) spider(s)
- O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
- O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
- O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
- Explicitar o atributo de classe end_date não se fez necessário.
- Não utilizo
custom_settingsem meu raspador.
Testes
- Uma coleta-teste da última edição foi feita. O arquivo de
.logdeste teste está anexado na PR. - Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR. - Uma coleta-teste completa foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR.
Verificações
- Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
- Eu verifiquei os arquivos
.csvgerados pela minha coleta conforme a documentação não encontrando problemas. - Eu verifiquei os arquivos de
.loggerados pela minha coleta conforme a documentação não encontrando problemas.
Descrição
Adiciona raspador de município replicado (sp_itaporanga) a partir do padrão BaseINSTAR
Logs (Tests)
sp_itaporanga_between_2009-04-16_2009-05-16.csv
sp_itaporanga_between_2009-04-16_2009-05-16.log
sp_itaporanga_full_2024-10-02.csv
sp_itaporanga_full_2024-10-02.log
sp_itaporanga_last_2024-10-02.csv
sp_itaporanga_last_2024-10-02.log
There was a problem hiding this comment.
Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
- O layout não se parece com nenhum caso da lista de layouts padrão
- É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
- É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.
Código da(s) spider(s)
- O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
- O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
- O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
- Explicitar o atributo de classe end_date não se fez necessário.
- Não utilizo
custom_settingsem meu raspador.
Testes
- Uma coleta-teste da última edição foi feita. O arquivo de
.logdeste teste está anexado na PR. - Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR. - Uma coleta-teste completa foi feita. Os arquivos de
.loge.csvdeste teste estão anexados na PR.
Verificações
- Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
- Eu verifiquei os arquivos
.csvgerados pela minha coleta conforme a documentação não encontrando problemas. - Eu verifiquei os arquivos de
.loggerados pela minha coleta conforme a documentação não encontrando problemas.
Descrição
Adiciona raspador de município replicado (sp_potirendaba) a partir do padrão BaseINSTAR
Logs (Tests)
sp_potirendaba_between_2024-01-21_2024-02-20.csv
sp_potirendaba_between_2024-01-21_2024-02-20.log
sp_potirendaba_full_2024-10-02.csv
sp_potirendaba_full_2024-10-02.log
sp_potirendaba_last_2024-10-01.csv
sp_potirendaba_last_2024-10-01.log
As spiders adicionadas nesta PR foram criadas com um script criador de código, por isso toda essa PR deve ser revisada em todos os detalhes e também ser testada.
Fica a cargo da pessoa revisora verificar a lista de validações para contribuições.