Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Bug em https://data.okfn.org/tools/view com URLs de recursos remotos #11

Open
fititnt opened this issue Apr 2, 2020 · 1 comment
Open
Labels
bug Something isn't working

Comments

@fititnt
Copy link
Member

fititnt commented Apr 2, 2020

A especificação do Data Package permite apontar quais arquivos tem os dados de duas formas:

Arquivo dentro de diretorio data/:

{
  "path": "data/covid-casos.csv"
}

Arquivo de URL remota, como um webservice:

{
  "path": "https://brasil.io/dataset/covid19/caso?format=csv"
}

Até aqui tudo perfeito. Isso permite que pacotes em go, python, java, javascript, etc consigam carregar apenas um repositório e ainda assim gerenciar fontes de dados em servidores diferentes. Isto pelo que vi em códigos fontes de bibliotecas que implementam o datapackage funciona muito bem. A maioria deles faz uma checagem simples para ver se path começa com http e, se sim, assume que é um recurso remoto, não arquivo do disco.

O bug com https://data.okfn.org/tools/view

Especificamente o DataPackage Viewer, versão web, em https://data.okfn.org/tools/view, justamente não implementa isso. Recursos externos, embora listem a metadata dos campos (o que cada campo significa), não irá exibir a prévia dos primeiros valores do recurso remoto e também o botão simples de download vai apresentar erro.

Neste momento, uma forma de ver isso é acessando https://data.okfn.org/tools/view?url=https%3A%2F%2Fgithub.com%2Fcovid-taskforce-cplp%2Fdados-v1; Uma URL de download que deveria ser de https://brasil.io/dataset/covid19/caso?format=csv é exbida como https://raw.github.com/covid-taskforce-cplp/dados-v1/master/https://brasil.io/dataset/covid19/caso?format=csv (ele assume que a URL é relativa ao repositório que contem o datapackage.json.


Eu vou ir reportar esse bug com pessoal da okfn, porém até lá esse issue pode ficar aqui aberto para explicar para as pessoas porque apenas a interface web pode ter esse erro, porém muito provavelmente as demais implementações com linguagens de programa ainda devem funcionar muito bem.

@fititnt fititnt added the bug Something isn't working label Apr 2, 2020
fititnt added a commit that referenced this issue Apr 2, 2020
… campos de population-prospects-thousands-2020 (remover caracteres que poderiam atrapalhar implementações)
@fititnt
Copy link
Member Author

fititnt commented Apr 3, 2020

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

1 participant