This repository has been archived by the owner on Nov 25, 2023. It is now read-only.
Support MNN/NCNN benchmark for android platform
Pre-release
Pre-release
Release bench result of embedded-ai.bench for ncnn/tnn/mnn
-
测试框架:3个。MNN/TNN/NCNN;
-
测试平台:2个。android-armv7,android-aarch64;
-
硬件后端:CPU(1/2/4线程),GPU(CL/GL/VK,若有);
-
测试模型:4个。tensorflow_mobilenetv1、tensorflow_mobilenetv2、caffe_mobilenetv1、caffe_mobilenetv2;
-
涵盖12部手机,对应SoC分别为:
- 高通骁龙系列:865/855/845/835/625/410;
- 华为麒麟系列:990/980/970/820/810;
- 三星猎户座系列:exynos5。
-
总计1153条benchmark数据;
-
具体请详见下方assets的文件:20200809-bench.ncnn-tnn-mnn-androidv7v8-cpugpu.csv。
-
具体请详见下方assets的文件:20200809-bench.ncnn-tnn-mnn-androidv7v8-cpugpu.csv。
-
具体请详见下方assets的文件:20200809-bench.ncnn-tnn-mnn-androidv7v8-cpugpu.csv。
-
2020.08.12更新:NCNN当前的shape有错:每个模型都是1x3x227x227,按理应为1x3x224x224,详见issues/25;
-
2020.08.11更新:增加SoC关于CPU/GPU/DSP等信息;
注:因为是CSV文件,可以用Excel表格打开。通过对【表格】->【筛选】功能,对表头筛选,进行细致分析。本次不给结论,在不同的手机上,不同框架表现不同。
下图是benchmark的参考示例:
framework | branch | commit_id | model_name | input_shape | platform | soc_code | soc_name | cpu | gpu | npu | product | power_mode | backend | cpu_thread_num | avg | max | min | std_dev | battery_level | system_version | repeats | warmup | imei |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
mnn | master | d7fb0ed | caffe_mobilenetv1 | 1x3x224x224 | android-armv7 | sdm845 | SD845 | Kyro385:[email protected] | Adreno-630@710 | Hexagon-685 | MI 8 | big_cores | ARM | 1 | 66.515 | 66.773 | 66.217 | 0.107 | 100 | 8.1.0 | 100 | 20 | 8.61268E+14 |
tnn | master | 22632fa | caffe_mobilenetv1 | 1x3x224x224 | android-armv7 | sdm845 | SD845 | Kyro385:[email protected] | Adreno-630@710 | Hexagon-685 | MI 8 | big_cores | GPU_OPENCL | 1 | 10.742 | 11.648 | 9.544 | 0.247 | 100 | 8.1.0 | 1000 | 20 | 8.61268E+14 |
ncnn | master | e2557c1 | caffe_mobilenetv2 | 1x3x227x227 | android-armv7 | msmnile | SD855 | Kyro485:[email protected][email protected][email protected] | Adreno-640@585 | Hexagon-690 | MI 9 | big_cores | ARM | 1 | 32.76 | 32.95 | 32.57 | nan | 100 | 10 | 100 | 20 | 8.65883E+14 |
定期发布性能数据
- 网站:https://ai-performance.com/embedded-ai.bench;
- 微信:NeuralTalk: