From 40a962208ec4a0ccf1f9207777a4b9b07d71f0b3 Mon Sep 17 00:00:00 2001 From: TylunasLi Date: Fri, 19 Jul 2024 14:27:28 +0800 Subject: [PATCH] =?UTF-8?q?=E5=AF=B9=E5=BA=94=E8=84=9A=E6=9C=AC=E4=BF=AE?= =?UTF-8?q?=E6=94=B9=EF=BC=8C=E8=B0=83=E6=95=B4FAQ?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/faq.md | 20 ++++++-------------- docs/models.md | 13 +++++++------ 2 files changed, 13 insertions(+), 20 deletions(-) diff --git a/docs/faq.md b/docs/faq.md index 40d1e024..fec11fd0 100755 --- a/docs/faq.md +++ b/docs/faq.md @@ -27,22 +27,14 @@ cmake .. -DUSE_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=native **解决办法：** -手动修改 CMakeLists.txt，根据GPU型号手动指定GPU的[Compute Capability](https://developer.nvidia.com/cuda-gpus)。如： - -``` diff ---- a/CMakeLists.txt -+++ b/CMakeLists.txt -@@ -52,7 +52,7 @@ - #message(${CMAKE_CUDA_IMPLICIT_LINK_DIRECTORIES}) - set(FASTLLM_CUDA_SOURCES src/devices/cuda/cudadevice.cpp src/devices/cuda/cudadevicebatch.cpp src/devices/cuda/fastllm-cuda.cu) - set(FASTLLM_LINKED_LIBS ${FASTLLM_LINKED_LIBS} cublas) -- set(CMAKE_CUDA_ARCHITECTURES "native") -+ set(CMAKE_CUDA_ARCHITECTURES 61 75 86 89) - endif() - - if (PY_API) +根据GPU型号手动指定GPU的[Compute Capability](https://developer.nvidia.com/cuda-gpus)。如： + +```shell +cmake .. -DUSE_CUDA=ON -DCUDA_ARCH="61;75;86;89" ``` +若需要支持多种GPU架构，请使用“;”分隔（如上面例子）。 + ### identifier "__hdiv" is undefined **现象：** diff --git a/docs/models.md b/docs/models.md index 4945b0d1..dbecd853 100644 --- a/docs/models.md +++ b/docs/models.md @@ -4,26 +4,26 @@ 目前Fastllm加载模型有以下几种方式。 -* **加载后转换（两行加速模式）** (convert on-the-fly) +* **加载后转换（两行加速模式）** (convert on-the-fly) 将原始模型加载为HuggingFace模型，再通过`from_hf()`方法，转换并加速，这种方法内存占用大且速度慢，目前不再推荐。 -* **离线转换** (convert offline) +* **离线转换** (convert offline) 将原始模型转换为.flm格式的模型，一些[模型](#flm模型库)已经转换好。 -* **直接读取** (load from Huggingface .safetensors) +* **直接读取** (load from Huggingface .safetensors) 直接读取HuggingFace上发布的模型，仅支持.safetensors格式的模型。 ## 支持模型一览 Model List -* ✔ 表示支持该方式，并测试通过； +* ✔ 表示支持该方式，并测试通过； ✔ means supports this mode and passes the test. -* ❌ 表示本应该支持该方式，但实际测试后发现本功能并不受支持，可能在后续版本修复。 +* ❌ 表示本应该支持该方式，但实际测试后发现本功能并不受支持，可能在后续版本修复； ❌ means this method is supposed to be supported, but failed after actual testing. -* √ 表示支持，但是还没有测试过 +* √ 表示支持，但是还没有测试过。 √ means supported, but not tested. ### GLM系列 @@ -61,6 +61,7 @@ | Qwen/Qwen1.5-14B-Chat | [✔](#其它模型) | [✔](#qwen模型导出) | ✔3 | | Qwen/Qwen1.5-72B-Chat | [✔](#其它模型) | [✔](#qwen模型导出) | ✔3 | | Qwen/Qwen1.5-32B-Chat | [✔](#其它模型) | [✔](#qwen模型导出) | ✔3 | +| Qwen/Qwen1.5-110B-Chat | [√](#其它模型) | [√](#qwen模型导出) | √3 | | Qwen/CodeQwen1.5-7B-Chat | [✔](#其它模型) | [✔](#qwen模型导出) | ✔ | | Qwen/Qwen2-0.5B-Instruct | [✔](#其它模型) | [✔](#qwen模型导出) | ✔ | | Qwen/Qwen2-1.5B-Instruct | [✔](#其它模型) | [✔](#qwen模型导出) | ✔ |