希望本地安装能更方便

[Hazukirin]

这些天一直在捣鼓各大平台的AI智慧体，豆包星火元宝等等都搞了，还通过元宝弄了个简单的QQ机器人，初衷其实只是想把我以前兴趣写的轻小说草稿看看能不能借助AI完成，因为写完后感觉莫名其妙的不成熟，也因为工作原因，就丢着没管了。
今晚看到你们这个项目，看着这些个文件我是云里雾里的。我是看到requirements文件里列的东西了，但感觉安装部署还是太繁杂了。因此提出以下两个建议：
1、能不能做成安装包安装，就像普通的windows软件包一样，或者至少把必须的软件列一个网页地址的txt文档，让大家能直接到对应的地址下载。
2、在线demo能不能调用本地硬件的线程使用？就像intel驱动更新页面，安装一个本地软件，网页部分就能调用软件扫描本地驱动安装情况一样，demo也搞一个本地的插件，调用本地硬件的线程，以弥补在线demo线程数只有5的限制？如果能行，除非没有网络，否则好像不用把整个软件安装到本地也没什么问题，而且还不用担心版本更新问题。

我不是程序员，不知道以上建议能不能实现，如果你们在我的建议方面已经有明确的开发方向，就无视我上面的建议吧。
不过，因为经历过兴趣写作轻小说，我非常建议你们参考一下喜马拉雅那边出的ai辅助写作软件WriteWise的软件形式，让AI写作更加结构化，作者可以够随时填写、修改现有内容，而不是全靠AI生成，让AI依据现有的大纲、角色设定、已经完成的章节文本等等生成新文本，实现AI小说写作的全程可控。

目前这种全靠AI生成的不可控的状态，对我这类对作品已经有想法、有初步设定、甚至已经写了几十万草稿野生作者而言，目前你们的项目只能是玩一玩就行，无法用在正式写作上。

当然，如果有训练模式就更好了，我手头上保存的epub轻小说可有几千卷可以投喂，网文就更不用说了，一搜一大堆。

最后，希望你们的项目能顺利进行

[MaoXiaoYuZ]

我了解目前这个项目对于一个非计算机专业的人的安装难度，这一点确实比较难受。再加上我并没有提供一个很方便的安装手段，这也大大加大了入手的门槛。

但目前我工作的重心还在核心功能的开发上，很难分出尽力来维护一些安装之类的事项。作为补充，我提供了一个在线的Demo，供大众也能简单的体验到Long-Novel-GPT的功能。至于安装，等后续稳定版本我会提供更方便的手段。

针对你的建议：

1. 后续我会放开在线Demo的各种限制，允许在其上填入你的api-key，我会在确保安全的情况下推出这个版本。这还需要些时间。
2. 至于线程，其实问题不在于性能，问题在于我需要控制在线Demo的api-key调用费用，使其在一个我能承受的范围。
3. 全部让AI生成，不允许人工修改显然是不太合适的。这个问题的难点在于很难用Gradio去实现这样的界面。不过我依然会推出人工修改的版本，在近几周内。

至于WriteWise，感谢你的推荐，我也试了下，是一个款中规中矩的工具。但事实上，我并不看好这些AI小说生成网站，他们提供了很多看似方便的功能，但在剧情的把握上并不是那么的可控。

[Hazukirin]

正因为”并不是那么的可控“，所以才需要作者可以随时介入修正。目前的AI小说写作依然处于辅助类的工具，尤其对于有想法的作者或者像我这样重视自己小说的人而言。
推荐WriteWise，我推荐的只是这个软件对于小说写作构建的框架，包括世界观设定、人物角色设定，等等，让AI在特定的框架内根据已经填写好的设定等等，对某一个指定的内容进行生成，比如根据角色的设定和世界观设定生成符合世界观的大纲，或者根据已有的所有设定和已经完成的前后文生成一段中间剧情，等等，是有限制范围的内容创作。
当然，以上是针对我自己的情况，即已经有了一个世界观设定、有部分角色设定、有部分剧情大纲以及正文草稿的情况下，半道想要借助AI来帮忙完成后续剧情写作，这样的。

你提到调用费用问题，这个是否能通过本地部署开源的大模型，demo网页调用本地已经部署的大模型来解决？不过好像大模型都部署本地了不如干脆给个界面就是了…………

我这里找到一个项目，你看看对你是否有参考价值
第三方介绍https://xiaoyi.vc/apt.html
项目网址https://github.com/rnchg/Apt

另一个
https://www.bilibili.com/opus/903472243633291271
https://jan.ai/

第三个
https://github.com/nomic-ai/gpt4all

[MaoXiaoYuZ]

了解，世界观人物设定等，后续会由相关支持。至于部署本地模型，这就看用户的意愿了，我会进行做模型方面的适配。

[Hazukirin]

多给几个想法，虽然实际正在开发的你应该知道这些东西：

1、我已经尝试了上面提到的两个本地部署大模型的东西，
一个是Apt Full V2.7.0.0配有chatgpd提供给微软的开源版本，大模型文件其中一个的文件名是phi-3.5-mini-instruct-cpu-int4-awq-block-128-acc-level-4.onnx，他们的GitHub项目地址上面有发。但Apt没做切换模型的功能。

另一个是Gpt4all，可以简单切换gguf格式的大模型文件。网址上面同样有。Gpt4all给的模型库网站可能需要翻墙，国内配合魔塔社区的模型库完全没问题。我已经尝试过阿里的通义千问qwen2-7b-instruct-q4_0、mistral-7b-openorca.Q4_0感觉不错，阿里国产的中文能力还是比mistral明显强些。魔塔社区https://www.modelscope.cn/home

2、关于小说设定架构的问题，我个人觉得通过数据库实现AI长期记忆的方法可以借鉴，通过类似WriteWise的界面设计方便作者利用AI单独生成指定的内容并随时可以手动填写和修正，配合数据库，应该能较好地达到我所描述的让AI在特定的设定框架内根据小说正文的上下文创作新文章的想法。
参考：https://www.bilibili.com/video/BV1Qx4y167Bx/?vd_source=535a23ac4c36a5b7f0f45fd3c5ed7f1d

毕竟不是大公司背书，我个人觉得采取开源的本地部署方案减少网络方面的成本必不可少，尤其在于借助数据库方面让AI实现长期记忆，以帮助实现长篇小说的剧情正确连贯地长期写作，完全可以本地数据库配合本地大模型以达到一种低成本的可靠方案。

调用大模型方面联网+本地两种方式都有当然是最好的，本地部署留个模型载入手段，就像gpt4all那样让大家自己去下载模型文件就行，网络方面的成本适当的时候提供让大家自己充值承担费用的功能就行，或者像你说的api-key方式，我自己是用腾讯元器创建智慧体绑定api-key搞了一个简单的QQ机器人。

说这么多，也只是提供参考，毕竟实际写代码的不是我，我不知道我的想法容易实现的部分有多少，你看着是否采用吧。

最后我还是想要重复强调一下，AI创作长篇小说能否实用化，关键就在于能否让AI在小说框架中，根据上下文进行指定内容（设定or正文）的创作，并保证作者能随时填写和修改已经生成的内容，以确保AI生成新内容时的依据是正确的。这越到小说创作后期越重要。