Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[update]br_tse_eleicoes - tests cnae #763

Merged
merged 6 commits into from
Sep 19, 2024
Merged

[update]br_tse_eleicoes - tests cnae #763

merged 6 commits into from
Sep 19, 2024

Conversation

Winzen
Copy link
Collaborator

@Winzen Winzen commented Sep 9, 2024

Adicionar colunas classe, subclasse e testes

br_tse_eleicoes

Tabela Linhas Materialização sources
receitas_candidato 13608621 4.99 GB 🔗
despesas_candidato 28557329 12.58 GB 🔗
receitas_orgao_partidario 250117 86.57 MB 🔗
receitas_comite 341684 77.14 MB 🔗

despesas_candidato

  • Coluna cnae_2_fornecedor tinha dois tipos de códigos do cnae_2. Necessária separação para colocada de testes
  • Adicionado colunas e testes cnae_2_fornecedor_classe e cnae_2_fornecedor_subclasse. Query prova real ⬇️
select
count(cnae_2_fornecedor_subclasse) as subclasse,
count(cnae_2_fornecedor_classe) as classe,
count(cnae_2_fornecedor_subclasse) + count(cnae_2_fornecedor_classe) as soma,
count(cnae_2_fornecedor) as total
FROM `basedosdados-dev.br_tse_eleicoes.despesas_candidato`
  • cnae_2_fornecedor tem dois valores que não são IDs cnae no ano 2016. Padaria e confeitaria com predominância de revenda, Estúdios cinematográficos:
    Foi especificado tamanho de ID aceitável como subclass when length(cnae_2_fornecedor) = 7
select ano, cnae_2_fornecedor
from `basedosdados`.`br_tse_eleicoes`.`despesas_candidato`
where cnae_2_fornecedor in ("Padaria e confeitaria com predominância de revenda", "Estúdios cinematográficos")

receitas_candidato

  • Coluna cnae_2_doador tinha dois tipos de códigos do cnae_2. Necessária separação para colocada de testes
  • Adicionado colunas cnae_2_doador_classe e cnae_2_doador_subclasse
  • Adicionado testes para cnae_2_doador_classe e cnae_2_doador_subclasse. Query prova real ⬇️
select
count(cnae_2_doador_subclasse) as subclasse,
count(cnae_2_doador_class) as classe,
count(cnae_2_doador_subclasse) + count(cnae_2_doador_class) as soma,
count(cnae_2_doador) as total
FROM `basedosdados-dev.br_tse_eleicoes.receitas_candidato`

receitas_orgao_partidario

  • Coluna cnae_2_doador tinha dois tipos de códigos do cnae_2. Necessária separação para colocada de testes
  • Adicionado colunas cnae_2_doador_classe e cnae_2_doador_subclasse
  • Adicionado testes para cnae_2_doador_classe e cnae_2_doador_subclasse. Query prova real ⬇️
select
count(cnae_2_doador_subclasse) as subclasse,
count(cnae_2_doador_classe) as classe,
count(cnae_2_doador_subclasse) + count(cnae_2_doador_classe) as soma,
count(cnae_2_doador) as total
FROM `basedosdados-dev.br_tse_eleicoes.receitas_orgao_partidario`
  • descricao_cnae_2_doador_orig tem menos de 1% de preenchimento anulando o test not_null_proportion_multiple_columns
coluna validos vazios total porcentagem_vazio
descricao_cnae_2_doador_orig 1732 248385 250117 0.9931
sequencial_candidato_doador 4777 245340 250117 0.9809
cargo_candidato_doador 4893 245224 250117 0.9804
id_municipio_doador 10206 239911 250117 0.9592
id_municipio_tse_doador 10206 239911 250117 0.9592

CSV com preenchimento completo da tabela ➡️ 📁

receitas_comite

  • Coluna cnae_2_doador tinha dois tipos de códigos do cnae_2. Necessária separação para colocada de testes
  • Adicionado colunas cnae_2_doador_classe e cnae_2_doador_subclasse
  • Adicionado testes para cnae_2_doador_classe e cnae_2_doador_subclasse. Query prova real ⬇️
select
count(cnae_2_doador_subclasse) as subclasse,
count(cnae_2_doador_classe) as classe,
count(cnae_2_doador_subclasse) + count(cnae_2_doador_classe) as soma,
count(cnae_2_doador) as total
FROM `basedosdados-dev.br_tse_eleicoes.receitas_comite`
  • numero_candidato_doador está totalmente vazio anulando o test not_null_proportion_multiple_columns e temos outras 4 colunas com um preenchimento menor de 1%
coluna validos vazios total porcentagem_vazio
numero_candidato_doador 0 341684 341684 1
descricao_cnae_2_doador_orig 1257 340427 341684 0.9963
cpf_cnpj_doador_orig 1483 340201 341684 0.9957
nome_doador_orig_rf 1483 340201 341684 0.9957
tipo_doador_orig 1483 340201 341684 0.9957

CSV com preenchimento completo da tabela ➡️ 📁

@Winzen Winzen added table-approve Trigger action table-approve test-dev-model Trigger action test-dev-model labels Sep 9, 2024
@Winzen Winzen self-assigned this Sep 9, 2024
@Winzen Winzen requested review from rdahis and a team and removed request for rdahis September 9, 2024 12:58
@Winzen Winzen linked an issue Sep 9, 2024 that may be closed by this pull request
4 tasks
@Winzen Winzen changed the title [update]br_tse_eleicoes receitas_candidato|despesas_candidato - tests cnae [update]br_tse_eleicoes - tests cnae Sep 17, 2024
@Winzen Winzen marked this pull request as ready for review September 17, 2024 23:26
@folhesgabriel folhesgabriel removed the test-dev-model Trigger action test-dev-model label Sep 18, 2024
@Winzen Winzen added test-dev-model Trigger action test-dev-model and removed test-dev-model Trigger action test-dev-model labels Sep 18, 2024
@Winzen Winzen merged commit 2141107 into main Sep 19, 2024
3 checks passed
@Winzen Winzen deleted the staging/br_tse_eleicoes branch September 19, 2024 17:08
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
table-approve Trigger action table-approve test-dev-model Trigger action test-dev-model
Projects
None yet
Development

Successfully merging this pull request may close these issues.

[test] incluir teste do cnae
3 participants