Fernando Guerra Rodrigues Machado

.env

@@ -0,0 +1,2 @@
+UID=1000
+GID=888

.gitignore

@@ -0,0 +1,3 @@
+
+*.csv
+*.gz

README.md

@@ -1,35 +1,45 @@
-![PicPay](https://user-images.githubusercontent.com/1765696/26998603-711fcf30-4d5c-11e7-9281-0d9eb20337ad.png)
+# Implantação e Execução
+- Rode o comando "sudo sysctl -w vm.max_map_count=262144" no host para liberar a memória requerida pelo ElasticSearch.
+- Rode o docker-compose up na pasta do projeto.
+- Abra http://(endereço do host)/ no navegador.
 
-# Teste Backend
+**OBS**: caso esteja usando **Windows**, verifique se o caractere de quebra de linha do arquivo **php/init.sh** é o **lf**, pois o GitHub para Windows troca o caractere para **crlf**.
 
-O desafio é criar uma API REST que busca usuarios pelo nome e username a partir de uma palavra chave. Faça o download do arquivo [users.csv.gz](https://s3.amazonaws.com/careers-picpay/users.csv.gz) que contém o banco de dados que deve ser usado na busca. Ele contém os IDs, nomes e usernames dos usuários.
+# Geral
+No Docker Toolbox (Windows 10 HOME) e no Ubuntu 18.04, precisei rodar esse comando na docker-machine, pois o ElasticSearch não conseguiu subir.
+sudo sysctl -w vm.max_map_count=262144
 
-###### Exemplo
-| ID | Nome | Username |
-|--------------------------------------|-------------------|----------------------|
-| 065d8403-8a8f-484d-b602-9138ff7dedcf | Wadson marcia | wadson.marcia |
-| 5761be9e-3e27-4be8-87bc-5455db08408 | Kylton Saura | kylton.saura |
-| ef735189-105d-4784-8e2d-c8abb07e72d3 | Edmundo Cassemiro | edmundo.cassemiro |
-| aaa40f4e-da26-42ee-b707-cb81e00610d5 | Raimundira M | raimundiram |
-| 51ba0961-8d5b-47be-bcb4-54633a567a99 | Pricila Kilder | pricilakilderitaliani|
+A base de dados será baixada durante o build do Docker.
 
+O código fonte do FrontEnd está na pasta front e o do BackEnd está na pasta api.
 
+**ANTES DE INICIAR** verifica qual é o padrão de "final de linha" do arquivo php/init.sh, pois estava tendo problema com isso, porque meu git
+troca de lf para crlf quando eu clono o repositório, esse problema aconteceu somente no Windows 10.
 
-Também são fornecidas duas listas de usuários que devem ser utilizadas para priorizar os resultados da busca. A lista 1 tem mais prioridade que a lista 2. Ou seja, se dois usuarios casam com os criterios de busca, aquele que está na lista 1 deverá ser exibido primeiro em relação àquele que está na lista 2. Os que não estão em nenhuma das listas são exibidos em seguida.
+Testei a aplicação no Windows 10 Home (virtualbox), Windows 10 PRO (Hyper-V) e Ubuntu 18.04.
 
-As listas podem ser encontradas na raiz deste repositório ([lista_relevancia_1.txt](lista_relevancia_1.txt) e [lista_relevancia_2.txt](lista_relevancia_2.txt)).
-Os resultados devem ser retornados paginados de 15 em 15 registros.
+Usuário: [email protected]
+Senha: admin
 
-Escolha as tecnologias que você vai usar e tente montar uma solução completa para rodar a aplicação.
+# BackEnd
+O BackEnd (API) irá ficar tentado conectar ao ElasticSearch quando você subir o container,
+pois ele sobe muito mais rápido que o Elastic e enquanto ele fica tentado conectar,
+ele ficará imprimindo "Failed connect, try again". Isso você pode ignorar, pois 
+enquanto o Elastic não subir, ele ficará nesse loop.
 
-Faça um ***Fork*** deste repositório e abra um ***Pull Request***, **com seu nome na descrição**, para participar. Assim que terminar, envie um e-mail para ***[email protected]*** com o seu usuário do Github nos avisando.
+Quando ele imprimir lista1 ou lista2 significa que ele achou uma entrada que está
+na lista de relevância, logo ele atribuirá um peso para essas entradas.
 
------
+Coloquei 1GB de memória para o php durante a importação do csv, para diminuir o volume de request ao Elastic
+e tentar conseguir um desempenho melhor, logo ele importa em blocos de 100 mil registros. Com 1G ele conseguia
+subir até 700 mil registros para a memória antes de estoura-la, então considerei 100 mil como uma escolha segura. 
 
-### Diferenciais
+Você não precisa da keywork completa para fazer uma busca ex: se você quer buscar por "debora", digitando apenas
+"debo" já ira aparecer palavras que comecem com "debo"
 
-- Criar um frontend para realizar a busca com uma UX elaborada
-- Criar uma solução de autenticação entre o frontend e o backend
-- Ter um desempenho elevado num conjunto de dados muito grande
-- Utilizar o Docker
+# FrontEnd
+Estará disponível em http://localhost/ ou no endereço do docker-machine.
 
+O FrontEnd informa o estado do banco (not ready|importing(realizando importação do
+csv)|ready), você consegue fazer consultas durante a importação, porem pode acontecer
+bugs.

api/.env

@@ -0,0 +1,14 @@
+APP_NAME=Lumen
+APP_ENV=local
+APP_KEY=ye73hdywgetd8uejdhey37eydhsj3873
+APP_DEBUG=true
+APP_URL=http://localhost
+APP_TIMEZONE=UTC
+
+LOG_CHANNEL=stack
+LOG_SLACK_WEBHOOK_URL=
+
+DB_CONNECTION=sqlite
+
+CACHE_DRIVER=file
+QUEUE_CONNECTION=sync

api/.env.example

@@ -0,0 +1,19 @@
+APP_NAME=Lumen
+APP_ENV=local
+APP_KEY=
+APP_DEBUG=true
+APP_URL=http://localhost
+APP_TIMEZONE=UTC
+
+LOG_CHANNEL=stack
+LOG_SLACK_WEBHOOK_URL=
+
+DB_CONNECTION=mysql
+DB_HOST=127.0.0.1
+DB_PORT=3306
+DB_DATABASE=homestead
+DB_USERNAME=homestead
+DB_PASSWORD=secret
+
+CACHE_DRIVER=file
+QUEUE_CONNECTION=sync

api/.gitignore

@@ -0,0 +1,3 @@
+/.idea
+Homestead.json
+Homestead.yaml

api/app/Console/Commands/ImportCSVCommand.php

@@ -0,0 +1,169 @@
+<?php
+
+namespace App\Console\Commands;
+
+define("ES_NOT_READY", 0);
+define("ES_IMPORTING", 1);
+define("ES_READY", 2);
+
+use Exception;
+use Illuminate\Console\Command;
+use Elasticsearch\ClientBuilder;
+use App\Variables;
+
+class ImportCSVCommand extends Command
+{
+ protected $signature = "import:CSV";
+
+ protected $description = "";
+
+ private $host = [
+ 'esServer'
+ ];
+
+ public function handle()
+ {
+ //Seta o status do Elastic Search para consultas do frontend
+ $this->setESStatus(ES_NOT_READY);
+
+ //Previne ultrapassar o tempo e o limite de memoria
+ set_time_limit(0);
+ ini_set('memory_limit', '1024M');
+
+ $client = $this->getESConnection();
+
+ //fica tentando conectar ao elasticsearch, pois o mesmo demora a subir
+ $this->waitES($client);
+
+ $numberRowsCsv = $this->getCsvNumRows("/var/www/users.csv");
+ $dbDocsNumber = $this->getIndexNumRows($client, 'pic');
+
+ echo "CSV: $numberRowsCsv\nDB: $dbDocsNumber\n";
+
+ //verifica se todos os registro do csv estâo no ES por uma checagem simples de numeros
+ //para tomar a decisao de importar ou não importar o CSV
+ if (($dbDocsNumber < $numberRowsCsv)) {
+ echo "exec import\n";
+
+ $this->setESStatus(ES_IMPORTING);
+
+ //carrega as lista de prioridade na memoria
+ $priorityList1 = $this->getPriotityList("/var/www/lista_relevancia_1.txt");
+ $priorityList2 = $this->getPriotityList("/var/www/lista_relevancia_2.txt");
+
+ $this->doImport($client, $priorityList1, $priorityList2, "/var/www/users.csv");
+ } else {
+ echo "No import require\n";
+ }
+
+ $this->setESStatus(ES_READY);
+ echo "\n\n\n\nImport Finish\n\n\n\n";
+ return 0;
+ }
+
+ private function setESStatus($status)
+ {
+ $esstatus = Variables::where("name", 'esstatus')->first();
+ $esstatus->value = "$status";
+ $esstatus->save();
+ return;
+ }
+
+ private function waitES($client)
+ {
+ while (true) {
+ try {
+ $client->nodes()->stats();
+ break;
+ } catch (Exception $e) {
+ echo "\n\nFailed connect, I Will try again\n\n\n";
+ sleep(10);
+ }
+ }
+ }
+
+ private function getESConnection()
+ {
+
+ return ClientBuilder::create()->setHosts($this->host)->build();
+ }
+
+ private function getCsvNumRows($csvFilePath)
+ {
+ $numberRowsCsv = shell_exec("wc -l " . $csvFilePath);
+ $numberRowsCsv = explode(" ", $numberRowsCsv);
+ $numberRowsCsv = intval($numberRowsCsv[0]);
+ return $numberRowsCsv;
+ }
+
+ //recupera o numero atual de documentos no index
+ private function getIndexNumRows($client, $indice)
+ {
+ $params['index'] = $indice;
+ try {
+ $response = $client->indices()->stats($params);
+ return $response["indices"][$indice]["total"]["docs"]["count"];
+ } catch (Exception $ex) { }
+ return 0;
+ }
+
+ private function getPriotityList($path)
+ {
+ $list = [];
+ $fl = fopen($path, 'r');
+ while ($row = fgets($fl)) {
+ $list[trim($row)] = true;
+ }
+ fclose($fl);
+ return $list;
+ }
+
+ public function doImport($client, $priorityList1, $priorityList2, $filePath)
+ {
+ $f = fopen($filePath, 'r');
+ $nLastBloco = 0;
+ $Blocos = 0;
+ $importlimit = 100000;
+ while ($row = fgetcsv($f)) {
+ $nLastBloco++;
+ $params['body'][] = [
+ 'index' => [
+ '_index' => 'pic',
+ '_type' => 'pay',
+ '_id' => $row[0],
+ ]
+ ];
+
+ //define peso para fazer a busca ranqueada
+ $weight = 0;
+ if (array_key_exists(trim($row[0]), $priorityList1)) {
+ $weight = 2;
+ echo "lista1\n";
+ }
+ if (array_key_exists(trim($row[0]), $priorityList2)) {
+ $weight = 1;
+ echo "lista2\n";
+ }
+
+
+ $params['body'][] = [
+ 'name' => $row[1],
+ 'username' => $row[2],
+ 'weight' => $weight
+ ];
+ if ($nLastBloco >= $importlimit) {
+ $client->bulk($params);
+ $n = ++$Blocos * $importlimit;
+ echo $n . "\n";
+ $nLastBloco = 0;
+ $params = ['body' => []];
+ }
+ }
+ if ($nLastBloco > 0) {
+ $client->bulk($params);
+ $n = ($Blocos * $importlimit) + $nLastBloco;
+ echo $n . " imports\n";
+ }
+ fclose($f);
+ }
+}

api/app/Console/Kernel.php

@@ -0,0 +1,29 @@
+<?php
+
+namespace App\Console;
+
+use Illuminate\Console\Scheduling\Schedule;
+use Laravel\Lumen\Console\Kernel as ConsoleKernel;
+
+class Kernel extends ConsoleKernel
+{
+ /**
+ * The Artisan commands provided by your application.
+ *
+ * @var array
+ */
+ protected $commands = [
+ Commands\ImportCSVCommand::class,
+ ];
+
+ /**
+ * Define the application's command schedule.
+ *
+ * @param \Illuminate\Console\Scheduling\Schedule $schedule
+ * @return void
+ */
+ protected function schedule(Schedule $schedule)
+ {
+ //
+ }
+}

api/app/Events/Event.php

@@ -0,0 +1,10 @@
+<?php
+
+namespace App\Events;
+
+use Illuminate\Queue\SerializesModels;
+
+abstract class Event
+{
+ use SerializesModels;
+}

api/app/Events/ExampleEvent.php

@@ -0,0 +1,16 @@
+<?php
+
+namespace App\Events;
+
+class ExampleEvent extends Event
+{
+ /**
+ * Create a new event instance.
+ *
+ * @return void
+ */
+ public function __construct()
+ {
+ //
+ }
+}

api/app/Exceptions/Handler.php

@@ -0,0 +1,50 @@
+<?php
+
+namespace App\Exceptions;
+
+use Exception;
+use Illuminate\Validation\ValidationException;
+use Illuminate\Auth\Access\AuthorizationException;
+use Illuminate\Database\Eloquent\ModelNotFoundException;
+use Laravel\Lumen\Exceptions\Handler as ExceptionHandler;
+use Symfony\Component\HttpKernel\Exception\HttpException;
+
+class Handler extends ExceptionHandler
+{
+ /**
+ * A list of the exception types that should not be reported.
+ *
+ * @var array
+ */
+ protected $dontReport = [
+ AuthorizationException::class,
+ HttpException::class,
+ ModelNotFoundException::class,
+ ValidationException::class,
+ ];
+
+ /**
+ * Report or log an exception.
+ *
+ * This is a great spot to send exceptions to Sentry, Bugsnag, etc.
+ *
+ * @param \Exception $exception
+ * @return void
+ */
+ public function report(Exception $exception)
+ {
+ parent::report($exception);
+ }
+
+ /**
+ * Render an exception into an HTTP response.
+ *
+ * @param \Illuminate\Http\Request $request
+ * @param \Exception $exception
+ * @return \Illuminate\Http\Response
+ */
+ public function render($request, Exception $exception)
+ {
+ return parent::render($request, $exception);
+ }
+}