一、环境准备

电脑配置越高可以运行版本更高的DeepSeek R1模型。
DeepSeek R1模型版本越高，参数越多，模型越大，效果越好。

我的电脑配置如下

  • CPU：R7 5800
  • 显卡：RTX3060 12G独显
  • 内存：32G
  • 网络：需要稳定的互联网连接以下载模型文件。

二、安装Ollama

2.1 访问Ollama官方网站

在这里插入图片描述

在这里插入图片描述

2.2 下载适用于Windows的安装包

  • 单击右上角“Download”按钮

在这里插入图片描述

在这里插入图片描述

2.3 安装Ollama安装包

  • 双击安装包，按照安装向导的提示完成安装。
  • 安装完成后，可以在开始菜单中找到Ollama。

在这里插入图片描述

  • 不过这种方式只能安装在C盘（C:\Users\weijian\AppData\Local\Programs\Ollama）
  • 这个安装包还不够完善，没有选择安装路径的选项。

在这里插入图片描述

2.4 指定Ollama安装目录

  • 通过OllamaSetup.exe /dir="D:\Program Files\Ollama”命令可以指定Ollama安装目录
C:\Users\weijian>d:
D:\>cd “Program Files"
D:\Program Files>OllamaSetup.exe /dir="D:\Program Files\Ollama”

在这里插入图片描述

在这里插入图片描述

2.5 指定Ollama的大模型的存储目录

  • 打开 “开始” 菜单，搜索 “环境变量”，点击 “编辑系统环境变量”。
  • 在 “系统属性” 窗口中，点击 “环境变量” 按钮。
  • 在 “用户变量” 下，点击 “新建”，输入变量名 “ollama_models”，变量值为你想要存储模型的目录路径，如 “D:\ollama_models”，点击 “确定” 保存更改。
  • 若 Ollama 已经在运行，需先关闭托盘应用程序，然后从开始菜单重新启动，或在保存环境变量后启动新的终端。

三、选择DeepSeek R1模型

  • DeepSeek-R1有多种版本，适配不同的硬件配置（如下图）。
  • 主要取决于GPU的显存大小。
  • 注意：是GPU的显存，不是电脑的内存。

在这里插入图片描述

  • 简单列举了几个高性能显卡的参数。
显卡 型号 性能评级 显存容量 显存类型
RTX 4090 S 24GB GDDR6X
RX 7900 XTX S 24GB GDDR6
RTX 4080 SUPER A+ 16GB GDDR6X
RX 7900 XT A+ 20GB GDDR6
RTX 4070 Ti SUPER A 12GB GDDR6X
RX 7900 GRE A 16GB GDDR6
RTX 3090 Ti A 24GB GDDR6X
RX 6950 XT A 16GB GDDR6
RTX 4070 Ti A 12GB GDDR6X
RX 7800 XT A- 16GB GDDR6

四、下载并运行DeepSeek R1模型

  • 打开 Windows PowerShell（管理员）或终端管理员。
  • 输入以下命令下载模型（以 8B 版本为例）：
ollama run deepseek-r1:8b

在这里插入图片描述

在这里插入图片描述

  • 下载完成后，模型会自动运行，您可以在终端与模型进行交互，输入问题或任务，模型将提供相应的响应。
  • 如果需要重新进入模型交互界面，可以在 PowerShell 中输入以下命令：
ollama run deepseek-r1:8b

在这里插入图片描述

五、常见问题解答

  • 模型加载时间过长：可能是由于硬件性能或网络速度限制。请确保系统满足模型的硬件要求，并检查网络连接。
  • 内存不足错误：考虑使用较小的模型版本或升级硬件配置。
  • 模型响应不准确：确保按照推荐的配置使用模型，例如将温度设置在 0.5-0.7 之间，并避免添加系统提示符。
  • 启动Ollama报错：Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.
    • netstat -aon | findstr 11434：查找占用端口的进程。
    • tasklist | findstr "6892"：查看该进程的详细信息。
    • taskkill /PID 6872 /F：杀死该进程。

六、使用Chatbox进行交互

6.1 下载Chatbox安装包

在这里插入图片描述

6.2 安装并启动 Chatbox

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

6.3 配置Chatbox

  • API类型：选择 “OLLAMA API”。
  • 接口地址：填写 http://localhost:11434。
  • 模型名称：填写 deepseek-r1:8b，确保与之前下载的模型版本一致。

在这里插入图片描述

在这里插入图片描述

  • 最后就可以在本地使用DeepSeek R1模型啦

在这里插入图片描述

七、总结

主要使用两个开源软件，才将DeepSeek R1大模型运行起来。

7.1 Ollama介绍

Ollama 是一个开源的框架，主要用于在本地机器上便捷地部署和运行大型语言模型（LLM）。以下是关于 Ollama 的详细介绍：

  • 简化部署：Ollama的设计目标是简化在Docker容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。
  • 轻量级与可扩展：作为一个轻量级框架，Ollama保持了较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
  • API 支持：Ollama提供了一个简洁的API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。
  • 预构建模型库：Ollama包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。
  • 模型导入与定制：Ollama支持从特定平台（如GGUF）或其他深度学习框架（如PyTorch或Safetensors）导入已有的大型语言模型，并允许用户为模型添加或修改提示（prompt engineering）

7.2 Chatbox介绍

Chatbox 是一款开源的聊天界面工具，专为与本地运行的大型语言模型（如 Ollama、Llama、Vicuna 等）进行交互而设计。

它提供了一个简单易用的图形用户界面（GUI），使用户能够更方便地与本地部署的语言模型进行对话，而无需编写复杂的代码或使用命令行工具。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

# windows # 人工智能
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

大模型RAG从入门到精通（一）LLM 的能力和局限性，RAG（检索增强生成）

avatar 2048 AI社区

京东大模型一面：“如何解决大模型训练时的算术下溢 underflow？”

如何解决大模型训练时的算术下溢 underflow？

avatar 2048 AI社区
cover

公开模型一切，优于DeepSeek-R1，英伟达开源Llama-Nemotron家族

avatar 2048 AI社区