[infra] Meta-issue: Levantamento de issues relacionadas à infra

[mfagundes]

Para o levantamento, busquei apenas issues (não incluí PRs) abertas e que continham [infra] no título. Fiz breves comentários, pois não caberia replicar toda a issue aqui. O total (em 27/10/2022) é de 32 issues nessa situação.

Notar que o checkmark é incluído nas issues que foram revisadas, ou seja, foram incluídas no planejamento ou fechadas por redundância ou estarem obsoletas.

• 1 [infra] explicitar erro [infra] explicitar erro #379

• Verificar este PR: [infra] improve download traceback [infra] improve download traceback #580

• São citadas outras issues relacionadas a exceptions

• Ver este PR [infra] Adiciona testes e corrige o traceback da função download [infra] Adiciona testes e corrige o traceback da função download #626

• 2 [infra] Funções auxiliares para dados no R/Python. [infra] Funções auxiliares para dados no R/Python. #381

• to_partition

• break_file

• label_data

3. [infra] Implementar backup mensal do GCP inteiro para a AWS Glacier. #382

• O recurso do Glacier, da AWS, é bem integrado ao S3, permitindo políticas de backup e arquivamento
• Verificar se isso pode ser implementado entre provedores e, ainda, se o GCP não ter recursos para isso

4. [infra] Indicar instruções de configuração do GCloud na função get_table_size #419

• Este PR [infra] improve download traceback #580 (fechado) é citado

5. [infra] Criar suporte para dicionários #426

• Esta issue referencia diversas outras mas, aparentemente, foi iniciada e não concluída:
• [infra] Add validate module [2] #675
• [infra] upload de auxiliary_files e architecture para o storage #496
• A última iteração é uma proposta, que poderia ser motivo de uma nova isue, no momento oportuno:
  "Proposta: tornar dicionários um metadado de conjunto, além de uma tabela no BigQuery." (ver Tornar dictionary um metadado. website#218])

6. [infra] Aceitar JSON, CSV ou YAML para definições de arquitetura e dicionário #602

• CSVs já são aceitos para arquitetura. Verificar se não seria o caso de dividir em issues específicas

7. [infra] Criar diretorio para nova base de dados usando CLI em vez de download do Drive #603

• Sugestão de automatização no momento de criação do template para uma nova base

8. [infra] Teste de linux não está funcionando na action CI #728

• É citado no PR [infra] adiciona linter e formatador de código #732

9. [infra] data-check checar chaves primárias contra diretórios #747

• Sugestão para melhorar o data-check
• Verificar esse PR fechado: [infra] corrige o data-check em pull requests #752
• Foi sugerido o uso do pacote great expectations

10. [infra] implementar o data-check com great expectations #782

• Sugestão para diminuir a complexidade do data-check
• Issues [infra] data-check checar chaves primárias contra diretórios #747 e [infra] data-check mostrar dez linhas de cada tabela #767 são citadas

11. [infra] Criar função validate no objeto Table #835

• Verificar se essa função já é suprida pelo bd metadata validate

12. [infra] Inserir line breaks entre metadados das colunas #836

• Melhorias no pacote em Metadata. Existe uma issue para centralizar, a [infra] Novas Features para Metadata  #834 (já fechada)

13. [infra] Criar testes para os entrypoints da CLI #903

• Melhoria nos testes da CLI, pois os testes não estão capturando integralmente os erros inseridos em mudanças
• Testes devem acusar sempre que a CLI quebrar
• Esta issue foi fechada pelo PR [infra] Python 1.6.0 #898 e reaberta

14. [infra] Erro efetuar download da tabela de filiados a partidos- pacote basedosdados - R #912

• Não consegui reproduzir. Fiz o login com o R, mas esqueci de marcar todas as caixas. Não consegui mais derrubar este login incorreto

15. [infra] Escrever tutorial de como contribuir para o pacote Python #952

• Atenção para essa issue, que descreve um problema grave de issues paradas muito tempo
• Descreve casos de PRs que contaminam merges anteriores

16. [infra] Adicionar opção de if_columns_exist via Table e Metadata #984

• Melhorias sugeridas para o pacote
• Verificar possível relação com dados não salvos no CKAN

17. [infra] Fazer o table-approve commitar os YAMLs atualizados após a publicação de novos metadados #993

• Este PR referencia a issue mas, aparentemente, fechou de forma incompleta: [infra] Faz o table-approve commitar os YAMLs atualizados após a publicação de novos metadados #1002

18. [infra] Erro em table_create- Python #996

• Veriricar esse PR: [infra] fix/dataset description #1010
• Ele referencia diversos problemas, foi mergeado mas continua aberto.

19. [infra] definir novas descrições para dataset/tabelas no bigquery #1009

• Foi feita uma orreção temporária, em função das mudanças dos metadados em [infra] fix/dataset description #1010, mas ainda existem outros problemas a serem solucionados

20. [infra] criar modulo basedosdados config show #1012

• Sugestão para facilitar a visualização da configuração atualmente utilizada

21. [infra] Metadata.create não preserva metadados de colunas já existentes quando force_columns é True no pacote de Python #1055

• Alterações propostas para manipulação dos metadados. Seria melhor que fizesse parte da migração?
• É citada a issue [infra] No pacote de Python, ao passar um path para o Table.create, o Metadata.create deveria sobrescrever os metadados de colunas caso haja diferenças com relação ao CKAN #1057

22. [infra] No pacote de Python, ao passar um path para o Table.create, o Metadata.create deveria sobrescrever os metadados de colunas caso haja diferenças com relação ao CKAN #1057

• Pacote ignora as colunas do CSV, mantendo as do CKAN quando se cria uma tabela

23. [infra] BaseDosDadosAccessDeniedException: Are you sure you are using the right billing_project_id? (Python) #1101

• Usuário reportou um erro e não respondeu mais.

24. [infra] Pacote R já converter integer64 para integer #1124

• Questão relacionada ao pacote R e inteiros corrompidos quando convertidos de integer64 para integer

25. [infra] Fazer Table.approve() copiar raw com pasta a nível de conjunto (e não tabela) basedosdados/queries-basedosdados#587

• Sugestão que foi abandonada

26. [infra] UnicodeDecodeError: 'utf-8' ao subir tabela no formato parquet - Python #1158

• Citada a issue [infra] Falha no load de tabelas em formato Avro para o BQ #1252 - questões relacionadas à decodificação de caracteres no parquet

27. [infra] Acesso ao bucket basedosdados-staging deve ser público #1187

• Permissionamento de bucket

28. [docs] Criar FAQ técnico com dúvidas recorrentes sobre infra basedosdados/iac#97

• Sobre questões recorrentes, que deveriam constar da FAQ

29. [infra] Tabela natureza_juridica não aparece no BigQuery #1248

• Verificar se o problema tem relação com o que ocorreu com a tabela do IGP (via pipeline)
• A task de uploat to GCS é muito "permissiva" e, em caso de erro, pode levar à exclusão da tabela

30. [infra] Falha no load de tabelas em formato Avro para o BQ #1252

• Problema com o formato Avro.
• Citada a issue [infra] UnicodeDecodeError: 'utf-8' ao subir tabela no formato parquet - Python #1158, de problemas com o Parquet. Podem estar relacionadas

31. [infra] A função get_table_description() não está funcionando – pacote basedosdados para a linguagem R #1307

• Problema relacionado ao R. Usuário reporta que fez o downgrade do pacote dbplyr e não funcionou.

32. [infra] Add links in console log when resources are created in GCP #1372

• Sugestão de melhoria para verificação após o upload de dados para o Storage