Melhorando o desempenho da deteccão 3D de baixa visibilidade para veículos autônomos com fusão câmera-radar
Com o surgimento de veículos autônomos, algumas tarefas como a detecção de objetos no ambiente têm se tornado cada vez mais necessárias, e a adoção ou rejeição da tecnologia depende da acurácia na localização e identificação de veículos e pedestres nas ruas. Considerando as condições atuais, em que motoristas humanos são capazes de reconhecer e estimar, de maneira eficiente, a distância entre esses obstáculos nas vias sob quaisquer condições de clima e iluminação, espera-se que, como requisitos de viabilidade para a adoção de veículos autônomos nas ruas, o veículo seja capaz de desempenhar a mesma função de forma igual ou superior, considerando a mesma precisão e tempo de execução da tarefa. Assim, neste trabalho é apresentada a modificação de uma arquitetura de detecção 3D de objetos utilizando fusão sensorial câmera-radar com o objetivo de reduzir o tempo de processamento, volume de dados e memória requerida pelo artigo base. Resultados demonstraram uma redução significativa no custo computacional mantendo as métricas no mesmo nível ao trabalho modificado.
Para facilitar a reprodutibilidade do projeto disponibilizamos um Dockerfile. Lembrando que para isso é preciso ter instalado o docker engine localmente como em Docker, caso queria evitar de usar sudo em cada comando, bas configurar como em Docker-nosudo. Tambem e necessario instalar o suporte para GPU, em caso de disponibilidade de GPU através do guia Nvidia-Toolkit. Se enfrentar problemas para acessar a GPU de dentro do container ConfigGPU
Em sequencia, entre no repositorio e crie a imagem usando o comando abaixo.
docker build -t radarnet-image -f ./docker/Dockerfile .Após isso, basta executar o arquivo run.
bash docker/create_container.shCom isso seu ambiente pode ser acessado atraves do container radarnet, uma das formas e utilizando o comando abaixo.
docker exec -it radarnet /bin/bashComo ultima etapa execute o arquivo setup.py dentro do container.
python -v -e . # ou python setup.py developA partir de agora todos os proximos comandos e uso do repositorio deve ser feito dentro do container.
Para download do dataset siga as instruções oficiais do dataset, fazendo download dos componentes "v1.0 full dataset" e "CAN bus expansion" em Nuscenes Website.
É preciso realizar esse processo pois as anotações contem arquivos de caminhos, assim, após gerar essa etapa não mova os dados para outra localização, ou terá que refazer o processo.
bash scripts/create_data.shBaixar os modelo pré-treinados
Coloque o arquivo 'bevformer_raw.pth' em 'ckpts/raw_model' e coloque 'R101-DCN' na pasta 'ckpts'.
| Backbone | Download |
|---|---|
| R101-DCN | download |
| bevformer_raw | download |
Estrutura das pastas
radarnet-smalldet3d
├── ckpts # pasta dos checkpoints
│ ├── raw_model/
│ │ └── bevformer_raw.pth
│ ├── r101_dcn_fcos3d_pretrain.pth
│ └── redformer.pth
├── data # pasta dos dados (pode ser fora da pasta do projeto)
│ ├── nuscenes/
│ │ ├── full/
│ │ │ ├── can_bus/
│ │ │ ├── maps/
│ │ │ ├── samples/
│ │ │ ├── sweeps/
│ │ │ ├── v1.0-test/
│ │ │ ├── v1.0-trainval/
│ │ │ ├── nuscenes_infos_ext_train.pkl
│ │ │ ├── nuscenes_infos_ext_val.pkl
│ │ │ ├── nuscenes_infos_ext_rain_val.pkl
│ │ │ └── nuscenes_infos_ext_night_val.pkl
├── projects/
├── scripts/
├── tools/
├── LICENSE
├── README.md
├── scripts
├── setup.py
└── tools
bash scripts/train.shbash scripts/test.shPara mudar o ambiente de teste para noturno ou chuvoso basta ir Aqui (projects/configs/redformer/redformer.py) e modificar a variável environment_test_subset.
Em breve
Distributed under the MIT License. See LICENSE for more information.
Agradecimentos ao LASI (Laboratório de sistemas inteligentes) da USP São Carlos.
Este trabalho foi parcialmente financiado através do Instituto Nacional de Ciência e Tecnologia para Sistemas Autônomos Cooperativos (InSAC), CNPq (465755/2014-3 e 309532/2023-0), CAPES (Código de Financiamento 001), e Fundep - Rota 2030 (Linha V, Acordo 27192.02.04/2021.01-00, projeto 27192-54).
Além disso, foram utilizadas como inspirações os seguintes trabalhos open source: