上篇介绍了打造个人知识库(Page Assist版)- 私人专属AI-本地化部署deepseek。

打造私人专属AI = 个人知识库 + 本地化部署deepseek模型(Page Assist版)

本篇介绍 AnythingLLM 的使用和配置。配置应用本地部署deepseek模型和官方deepseek模型两种方式。

一、AnythingLLM介绍

AnythingLLM 是一款专为企业设计的智能管理工具,能够将复杂的AI技术转化为简单易用的解决方案。它支持接入多种主流AI模型(如ChatGPT),允许企业上传各类文档(合同、报告等),并像“随叫随到的专家”一样,快速解答员工或客户的提问。例如,销售数据查询、流程指引、客服答疑等场景均可自动化处理。其最大优势在于私有化部署,数据完全存储在企业自有服务器,保障信息安全;同时操作界面直观,无需技术背景即可上手,还能灵活更换AI模型适配不同需求。适合快速搭建企业知识库、优化客服效率或辅助内部培训,成本低、见效快,是提升团队智能化水平的轻量级工具。

二、AnythingLLM下载安装

下载地址:下载anythingllm

根据你系统选择下载对应的软件包安装,正常执行安装即可。

三、新建工作区

新建一个工作区

四、AnythingLLM + Ollama

LLM选 Ollama,应用本地的部署的模型。

1. LLM 首选项

点击设置 - LLM 首选项

2. 嵌入首选项

嵌入式模型用于知识库文档向量化写入向量数据库、向量数据库检索。

五、工作区设置

测试提问:

默认回复语言为英文。

聊天设置:

“聊天提示”、“查询模式拒绝响应”设置为中文内容,模型输出转变为中文。

设置参考:

聊天提示:根据以下对话、相关背景和后续问题,回答用户当前提出的问题。根据需要,按照用户说明,仅返回您对上述信息问题的回答。

查询模式拒绝响应:没有相关内容回答您的问题

再次提问效果:

六、上传知识库文档

上传知识库文档。

确认保存。

等待模型把文档加载进向量数据库。

如需要上面的知识库文档,请查看 打造个人知识库(Page Assist版)- 私人专属AI-本地化部署deepseek

七、本地部署模型测试效果

模型引用了知识库内容并给出正确的回答。文末给出了引用的具体文件。

八、AnythingLLM + Deepseek官方模型

对接 Deepseek API,应用官方的模型进行应答。不再受限与个人电脑配置,本地部署的小模型,达到更好的回复效果。

1. 获取 Deepseek API KEY。

登录 Deepseek 开放平台。

登录地址:Deepseek 开放平台

“API keys” - 创建“API keys”

API key 仅在创建时可见可复制,请妥善保存。

2. 创建新的工作区。

3. 工作区“配置” - “聊天设置”。

4. “工作区 LLM 提供者”选择“Deepseek”。

工作区应用默认系统设置的LLM提供者。这里自定义成“Deepseek”。

填入前面准备好的 API KEY,根据需求选择 Deepseek 模型。

以下是 Deepseek-Chat 和 Deepseek-Reasoner 的对比:

对比维度 Deepseek-Chat Deepseek-Reasoner
核心定位 自然对话交互 复杂问题推理与解决
主要能力 多轮对话、情感回应、上下文理解 逻辑分析、数学推导、代码生成、多步骤问题拆解
适用场景 客服、日常咨询、个人助手、社交陪伴 教育解题、科研分析、编程辅助、策略规划
输出特点 口语化、简洁流畅、注重交互连贯性 结构化、步骤化、强调准确性与逻辑严谨性
用户需求 快速沟通、拟人化交互 深度分析、专业解决方案
典型应用举例 - 回答产品问题
- 闲聊陪伴
- 信息查询
- 数学题分步解答
- 生成代码
- 实验设计

5. 新工作区上传知识库文档。参看上面。

九、Deepseek官方模型测试效果

1. 余额不足

有相关提示,记得先去充值。

2. Deepseek-Chat 测试效果

直接回答问题,没有推理过程,回答的内容比较简单。消耗的 TOKEN 比较少。

3. Deepseek-Reasoner 测试效果

有推理过程,回答的内容比较丰富。消耗的 TOKEN 比较多。

十、其他设置调优

1. 聊天模式

工作区设置 - 聊天设置 - 聊天模式

分聊天和查询两个选项,根据需求选择

聊天:提供 LLM 的一般知识  找到的文档上下文的答案。

查询:提供找到的文档上下文的答案。

2. LLM 温度

工作区设置 - 聊天设置 - LLM 温度

根据需求适当调整该值大小,数字越高模型越自由发挥创意,可能会出现虚构的信息,影响问答的正确性。

3. 最大上下文片段

工作区设置 - 向量数据库 - 最大上下文片段

可适当调整该值,控制发送给模型的上下文片段大小,影响前后回答的连贯性。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐