Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Feature/import csv #130

Open
wants to merge 21 commits into
base: develop
Choose a base branch
from
Open

Conversation

risaddex
Copy link

@risaddex risaddex commented May 16, 2024

Criando o parser de arquivos CSV.

Acabei aproveitando e usando como base um POC que tinha feito utilizando WebStreams, por isso talvez esteja meio Overengineering

O serviço aceita opcionalmente a opção de utilizar a API do Gemini para tentar categorizar as categorias dos supplies.

  • Criação do serviço de parse de CSV
  • Testes passando
  • Aceita URLs de csv
  • Aceita Stream de arquivos
  • Implementar Endpoint REST para
    finalizar

@risaddex
Copy link
Author

Próximo passo é criar o upload de arquivos, não inclui logo de cara pq não tinha muita familiaridade do Nest utilizando Fastify e vi que o Módulo built-in de upload do nest não é compativel out-of-the-box com Fastify
image

@risaddex risaddex marked this pull request as ready for review May 17, 2024 01:03
@iagxferreira
Copy link

Próximo passo é criar o upload de arquivos, não inclui logo de cara pq não tinha muita familiaridade do Nest utilizando Fastify e vi que o Módulo built-in de upload do nest não é compativel out-of-the-box com Fastify image

Em que voce ta pensando sobre o upload de arquivos?
Talvez seja importante provisionar um s3 pra que a gente guarde, caso julguem necessario ou podemos colocar numa pasta compartilhada dentro da ec2 e fazer algum CRON job consumir e limpar esses arquivos depois de feita a carga de dados.

.env.example Outdated Show resolved Hide resolved
src/shelter/shelter.controller.ts Outdated Show resolved Hide resolved
@risaddex
Copy link
Author

risaddex commented May 21, 2024

Próximo passo é criar o upload de arquivos, não inclui logo de cara pq não tinha muita familiaridade do Nest utilizando Fastify e vi que o Módulo built-in de upload do nest não é compativel out-of-the-box com Fastify image

Em que voce ta pensando sobre o upload de arquivos?
Talvez seja importante provisionar um s3 pra que a gente guarde, caso julguem necessario ou podemos colocar numa pasta compartilhada dentro da ec2 e fazer algum CRON job consumir e limpar esses arquivos depois de feita a carga de dados.

Então, isso já tem algum tempo. Não sei como está o gerenciamento atual dos abrigos. Pelo tempo da issue, pode ser que ela nem seja mais tão útil para o sistema atual, existe a chance de terem importado as planilhas existentes de forma manual, se o fizeram.

Nessa implementação o arquivo é salvo na pasta temporária do sistema até o fim do parse e dps é deletado. (Poderia se ter um log disso, mas inicialmente apenas Admins possuem acesso a essa feature)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants