[Novo spider base]: BR Transparência

[talesmota]

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

• O layout não se parece com nenhum caso da lista de layouts padrão
• É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

• O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• Explicitar o atributo de classe end_date não se fez necessário.
• Não utilizo custom_settings em meu raspador.

Testes

• Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
• Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

• Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Foi criado um Spider baseado no modelo replicável.

Issue relacionada

Testes

ba_saude_today.csv
ba_rio_real_2023-01-01_2023-03-01.csv

ba_saude_today.log
ba_rio_real_all.log
ba_rio_real_2023-01-01_2023-03-01.log

[victorfernandesraton]

@talesmota esse atributo não está especificado na clase BaseGazetteSpider , assim pensnado em flexibilidade não é recomendado a adição de atributos em classe-base

[talesmota]

Oi, @victorfernandesraton! Fico contente com as suas considerações. O que você sugere?

Eu segui por esse caminho tendo em mente o Princípio Aberto-Fechado do SOLID. Com base nesse princípio e nas experiências que já tive em outros projetos, no momento da implementação, me pareceu apropriado especializar uma classe para tratar desse layout específico. Além disso, ao explorar o código, percebi que outros arquivos também fazem essa especialização de atributos, como:

• data_collection/gazette/spiders/base/atende_layoutdois.py
• data_collection/gazette/spiders/base/sai.py
• data_collection/gazette/spiders/base/doem.py
• data_collection/gazette/spiders/base/dionet.py

A ideia de listar os parâmetros explicitamente na superclasse foi justamente para deixar claro quais dados devem ser definidos nas classes filhas. Mas estou totalmente aberto a aprender o padrão de código de vocês para contribuir de forma cada vez mais alinhada.

[victorfernandesraton]

@talesmota normalmente nessas classes de RPA evitamos adicionar parâmetros que não sejam parâmetros-base quando podem ser evitados, penso que deveriamos ser capazes de fazer algum tipo de contulta ou mapeamento prévo em outro lugar para obter esses parâmetros de br_tranparencia_entity e br_tranparencia_code

[talesmota]

Esses dois parâmetros, br_tranparencia_entity e br_tranparencia_code, são bem específicos para esse tipo de layout, já que são definidos dentro do JavaScript da página. Por isso, optei por deixá-los para serem definidos nas classes filhas.