Fix - Spider de Caçapava-SP [Fixes #1131] #1274
Conversation
jjpaulo2
changed the title
|
@trevineju vou pegar esssa pra rever |
|
|
||
| yield Gazette( | ||
| date=gazette_date, | ||
| edition_number=edition_number, | ||
| is_extra_edition=False, | ||
| power="executive_legislative", | ||
| file_urls=[gazette_url], | ||
| territory_id=self.TERRITORY_ID, | ||
| file_urls=gazette_url, |
There was a problem hiding this comment.
Nesse caso, o objeto já é uma lista. Fiz o evalutate com .extract().
Vi que a maioria dos spiders usa sempre .extract_first() (esse só retorna um registro). Caso seja o padrão, ou o recomendável no projeto, posso alterar sem problemas.
|
|
||
| yield Gazette( | ||
| date=gazette_date, | ||
| edition_number=edition_number, | ||
| is_extra_edition=False, | ||
| power="executive_legislative", | ||
| file_urls=[gazette_url], | ||
| territory_id=self.TERRITORY_ID, | ||
| file_urls=gazette_url, |
There was a problem hiding this comment.
Caso seja o padrão, ou o recomendável no projeto, posso alterar sem problemas.
Tem alguns raspadores bem antigos que ainda usam .extract_first() mesmo, mas temos passado a usar .get() e .getall() apenas, pq o próprio Scrapy fez essa mudança. Poderia atualizar a PR, @jjpaulo2?
Seria até uma boa contribuição essa de padronizar a base de código. Vou deixar uma issue.
|
Fiz o ajuste @trevineju. Eu não havia testado o scrapping completo dessa cidade, mas parece que ele falha para algumas datas. Isso já é esperado? |
Show!
Olhei rapidamente o log e, na linha 3124, quando começa um monte de redirect seguidos, a URL que estava sendo tentada era:
está com dois campos de paginação |
|
Sigo sim @trevineju. Só dei essa olhadinha rápida. Vou tentar dar um retorno até quarta. |
|
@trevineju fiz um ajuste na paginação. Agora está funcionando 100%! 😄 |
|
@trevineju fiz os ajustes mas esqueci de pedir o novo review. |
Este log aqui aparentemente é para o raspador completo sem filtro de datas certo? |
Testes
.loge.csvdeste teste estão anexados na PR.Verificações
.csvgerados pela minha coleta conforme a documentação não encontrando problemas..loggerados pela minha coleta conforme a documentação não encontrando problemas.Anexos
Descrição
Faltava apenas chamar o
.extract()para fazer o evaluate dos hrefs.