Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Spider base atende_v2 dando erro com o município de Araucaria-PR #1269

Open
trevineju opened this issue Sep 18, 2024 · 1 comment
Open

Spider base atende_v2 dando erro com o município de Araucaria-PR #1269

trevineju opened this issue Sep 18, 2024 · 1 comment
Assignees
Labels
bug Algo não está funcionando spider Adiciona robô raspador para município(s)

Comments

@trevineju
Copy link
Member

Conforme validado por @marcospscruz na PR #1167, a spider base está funcional para diversos casos (e também para os casos em produção). Porém para Araucaria dá o seguinte erro:

2024-06-16 13:11:02 [scrapy.core.scraper] ERROR: Spider error processing <GET https://araucaria.atende.net/diariooficial/edicao/pagina/atende.php?rot=54015&aca=101&ajax=t&processo=loadPluginDiarioOficial&parametro=%7B%22codigoPlugin%22%3A1%2C%22filtroPlugin%22%3A%7B%22pagina%22%3A%221%22%7D%7D> (referer: None)
Traceback (most recent call last):
...
File "/home/marcos/Documentos/querido-diario/data_collection/gazette/spiders/base/atende_v2.py", line 54, in parse
download_url = item.css("button::attr(data-link)")[-1].get()
File "/home/marcos/Documentos/querido-diario/venv/lib/python3.10/site-packages/parsel/selector.py", line 143, in getitem
o = super().getitem(pos)
IndexError: list index out of range

O log dessa coleta está em #1167 (comment)

É necessário verificar a situação, corrigindo a spider base caso necessário, tomando cuidado também de verificar o impacto em outros spiders que usam a base.

@trevineju trevineju added bug Algo não está funcionando spider Adiciona robô raspador para município(s) labels Sep 19, 2024
@sheory
Copy link

sheory commented Sep 21, 2024

Investigando essa issue

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Algo não está funcionando spider Adiciona robô raspador para município(s)
Projects
Status: fazendo
Development

No branches or pull requests

2 participants