Crawlclima

Este pacote contém os módulos PEGATWEETS e PEGATEMPERATURA para captura automática de tweets e dados climáticos.

Requisitos(Debian)

Clone o repositório CrawlClima:

$ git clone https://github.com/osl-incubator/CrawlClima

Criando e configurando o ambiente conda:

Installing Miniconda: https://docs.conda.io/projects/conda/en/latest/user-guide/install/linux.html

Após a instalação do miniconda execute:

$ conda env create -f conda/dev.yml
$ conda activate crawlclima

Instalando as dependências com Poetry:

$ poetry install

Preparando o .env para instalação das imagens Docker:

$ make prepare-env

Edite o arquivo .env com as credenciais necessárias.

Configurando o container com o banco de dados demo:

• Para poder executar as tarefas de captura com os dados do banco de dados de demonstração baixe o repositório AlertaDengue/Data . Ou use os utilitários para criação do banco e os schemas iniciais.
• Modificar as variáveis de conexão com a base de dados de demonstração e as demais variáveis de ambiente no arquivo de ambiente; AlertaDengueCaptura/crawlclima/.env do projeto.

Deploy do CrawlClima em containers(Docker)

Instale o Docker

https://docs.docker.com/engine/install/ubuntu/

Build e Start dos containers:

Use os comandos do Makefile diretamente do repositório root CrawlClima/:

$ make container-build
$ make container-start

Após o final da inicialização dos containers, o worker, que contém uma instância do Celery Beat ativa, deve configurar as tasks e agendá-las automaticamente, de acordo com o arquivo crawlclima/celeryapp.py. Arquivos de logs serão gerados dentro do diretório crawlclima/logs, com os logs das tasks executadas pelo Celery Beat.

Para parar os containers, digite o comando:

$ make container-stop

---