Este projeto foi desenvolvido como parte de um desafio de ETL para iniciantes. O objetivo é extrair, transformar e carregar dados de um arquivo csv e carregá-los em um banco de dados local. Neste projeto foi utilizado o PostgreSQL.
- Extração de dados de um arquivo csv
- Transformação de dados com limpeza e padronização
- Carregamento de dados em um banco de dados relacional (postgresSQL)
- Funcionalidades de um crud via API com FastAPI
- Clone este repositório:
git clone https://github.com/DaviMacielCavalcante/desafio_etl_begginer.git cd desafio_etl_begginer - Instale as dependências do arquivo requirements.txt
pip install -r requirements.txt
- Instale o postgres na sua máquina
- Faça um arquivo chamado .env com as seguintes variáveis
DATABASE_PORT = porta que o seu banco usar
DABASE_NAME = nome que você deu ai banco
DATABASE_USERNAME = usuário que tem acesso ao banco
DATABASE_PASSWORD = senha do usuário
DATABASE_URL = endereço do seu banco
- Execute o scrip que é responsável por fazer a criação das tabelas no postgres
python criacao_tabelas.py
- Execute o script responsável pela pipeline de ETL
python main.py
- Veja o lado legal da força em ação:
Contribuições são bem-vindas! Por favor, siga estas diretrizes:
- Faça um fork do projeto.
- Crie uma branch para a funcionalidade que deseja implementar (git checkout -b minha-nova-feature).
- Faça os commits com boas descrições (git commit -m 'Adiciona nova feature').
- Faça um push para a branch criada (git push origin minha-nova-feature).
- Abra um pull request para revisão.
Este projeto está licenciado sob a licença MIT - veja o arquivo LICENSE.md para mais detalhes.
Se você tiver alguma dúvida ou problema, entre em contato:
e-mail: [email protected]
- Darth Davi ⚔️😡
Github da mentora: https://github.com/arteweyl
Through victory, my chains are broken.
The Force shall free me.