AI入门2：本地AI部署，用ollama部署deepseek（私有化部署）

书接上篇

从上一篇，了解了ollama是咱们管理大语言模型的管家婆：

AI入门：AI模型管家婆ollama的安装和使用-CSDN博客

而当下崛起势头最盛而且免费的大语言模型，就是deepseek公司的了，他家的娃：

  • ‌DeepSeek-R1‌：这是一个高性能的推理模型，在数学、代码和自然语言推理等任务上表现出色，性能与OpenAI的o1模型相媲美‌。
  • ‌DeepSeek Coder‌：这是DeepSeek推出的首个模型，免费提供商业使用，并完全开源‌。
  • ‌DeepSeek LLM‌：这是一个参数规模达到670亿的大语言模型，性能接近GPT-4，并发布了聊天版本DeepSeek Chat‌。
  • ‌DeepSeek V2‌：在性能上比肩GPT-4 Turbo，但训练成本极低‌。
  • ‌DeepSeek V3‌：这是一个总参数达到6710亿的大模型，多项性能指标与海外顶尖模型对齐，以更快的速度和更全面的功能提供服务‌。

本文就讲一下，在ollama上，部署‌DeepSeek-R1‌，就可以在自己机器上，离线使用了，也就是deepseek的私有化部署。

配置ollama的模型存在参数

Ollama会默认安装到C盘，ollama安装模型，会占用C盘空间，通过设置环境变量OLLAMA_MODELS，来改变ollama模型放目录的地址，具体操作，参考前面文档：

ollama环境变量配置：修改ollama的数据路径（安装路径）_ollama修改安装路径-CSDN博客

部署deepseek

进入Ollama官网：Ollama  https://ollama.com/https://ollama.com/搜索并选择DeepSeek-R1‌模型：

然后，进入下面界面，选择其中一个版本后，复制命令（下图中红框下面的版本比较大，不建议选择，不然系统跑不起来，具体可以参考后面链接，看看你的系统资源所支持的版本）：

复制后的命令，在cmd运行：

安装后，会运行模型，就出现Send a message(/?for help)提示，如下图：

直接输入，要问的问题就可以了，用完，输入/bye或者exit，就关闭模型了，如：

常用执行命令

也可以多装几个模型，每次选择适合的模型运行，安装过程类似，查看安装了哪些模型，如下面命令：

ollama list

显示结果如下：

执行其中一个模型，使用命令：

ollama run 模型的名字（要带：和后面的部分）

如运行deepseek-r1:1.5b的命令就是：

ollama run deepseek-r1:1.5b

运行deepseek-r1:8b

ollama run deepseek-r1:8b

不同模型的效果

关于“谁家大语言模型最好？”这个问题，deepseek-r1:1.5b的答卷：

deepseek-r1:8b的答卷：

  1. >>> 谁家大语言模型最好？
  2. <think>
  3. 嗯，用户之前问的是“ollama”是什么，我解释了它是由大疆创新开发的用于飞行器设计的AI工具。现在用户又问：“谁家大语言模
  4. 型最好？”看起来用户对大语言模型（LLM）有兴趣，想知道哪家公司开发的模型更好。
  5.  
  6. 首先，我需要理解什么是大语言模型。大语言模型是一类基于深度学习的自然语言处理技术，它们能够处理和生成人类语言的内容。
  7. 像GPT、Bard这样的模型都属于这一领域。用户想知道哪一家公司开发的模型最好，这取决于多个因素，比如模型的性能、功能、应
  8. 用场景等。
  9.  
  10. 接下来，我应该列举几家知名的大语言模型公司，并分析它们各自的优势和特点。比如，OpenAI的GPT系列，谷歌的Bard，微软的
  11. Copilot，还有深度求索的DeepSeek等等。每个模型都有不同的特色，比如GPT-4在多语言支持上表现不错，而Bard在理解上更为灵活
  12. 。
  13.  
  14. 然后，我需要比较这些模型的性能，指出它们各自的优势和可能的局限性。比如，GPT系列以生成能力著称，但在一些复杂任务上可
  15. 能不如特定模型。此外，还要提到新兴公司和开源项目的潜力，比如DeepSeek可能有更强的数学推理能力，而开源模型则在成本和灵
  16. 活性方面有优势。
  17.  
  18. 最后，我应该给出总结，指出哪些模型适合不同的应用场景，帮助用户根据自己的需求做出选择。比如，如果他们需要多语言支持，
  19. GPT-4可能更合适；如果注重理解能力，Bard或Copilot可能更好。
  20.  
  21. 整个思考过程中，我需要保持客观，不偏向任何一家公司，同时确保信息准确可靠。我还应该注意用户的潜在需求，比如他们可能是
  22. 开发者、研究人员还是普通用户，从而提供更有针对性的建议。
  23. </think>
  24.  
  25. 大语言模型（Large Language Model, LLM）是人工智能领域的一个重要研究方向，近年来取得了巨大的进步。以下是一些知名的大
  26. 语言模型及其开发公司的介绍：
  27.  
  28. ### 1. **GPT（Generative Pre-trained Transformer）系列**
  29.    - **开发公司**：OpenAI
  30.    - **特点**：
  31.      - GPT-3 是最早广泛使用的大型语言模型，具有强大的文本生成能力。
  32.      - GPT-4 在 2022 年发布，展示了更强的推理和多语言支持能力。
  33.    - **优势**：
  34.      - 开源，灵活易用。
  35.      - 支持多种语言，适合跨语言任务。
  36.  
  37. ### 2. **Bard**
  38.    - **开发公司**：谷歌（Google）
  39.    - **特点**：
  40.      - 结合了谷歌的搜索引擎优势，能够结合外部知识库进行更准确的回答。
  41.      - 强调自然对话和理解能力。
  42.    - **优势**：
  43.      - 与 OpenAI 的 GPT 系列相比，Bard 在一些对话任务上表现更加流畅和自然。
  44.  
  45. ### 3. **Copilot**
  46.    - **开发公司**：微软（Microsoft）
  47.    - **特点**：
  48.      - 结合了 Microsoft 的知识图谱和开发工具。
  49.      - 支持与代码协作，适合技术文档生成和问题解答。
  50.    - **优势**：
  51.      - 与谷歌的 Bard 一样，Copilot 也结合了搜索引擎优势。
  52.  
  53. ### 4. **DeepSeek-R1**
  54.    - **开发公司**：深度求索（DeepSeek）
  55.    - **特点**：
  56.      - 专注于数学推理和逻辑推理能力。
  57.      - 在一些专业领域（如数学、编程）表现优异。
  58.    - **优势**：
  59.      - 适合需要逻辑推理和技术支持的任务。
  60.  
  61. ### 5. **Llama**
  62.    - **开发公司**：Meta（现为社交平台公司）
  63.    - **特点**：
  64.      - Llama 系列（如 Llama 1 和 Llama 2）在自然语言生成方面表现出色。
  65.      - 支持多语言，并具备多模态能力（可以结合图像等其他数据）。
  66.  
  67. ### 6. **Claude**
  68.    - **开发公司**：Anthropic（由 Elon Musk 投资的初创公司）
  69.    - **特点**：
  70.      - 强调高效和安全性，适合商业应用。
  71.      - 提供多种模型版本，满足不同需求。
  72.  
  73. ### 7. **开源大语言模型**
  74.    - **特点**：
  75.      - 可能由学术机构或初创公司开发，通常是开放源代码的。
  76.      - 例如：**Alpaca-64**、**LLAMA** 等开源模型，由社区维护和优化。
  77.  
  78. ---
  79.  
  80. ### 总结
  81. - **如果你需要多语言支持和生成能力**：GPT-4 或 Llama 是不错的选择。
  82. - **如果你需要更强的理解能力和自然对话**：Bard 或 Copilot 可能更合适。
  83. - **如果你需要逻辑推理或技术应用**：DeepSeek-R1 或 Claude 会是好的选择。
  84.  
  85. 最终，选择哪种模型取决于你的具体需求，比如任务类型、语言支持以及是否需要与外部系统集成（如搜索引擎等）。
  86.  
  87. >>> Send a message (/? for help)

由此可见，还是模型越大，能力越强啊~

参考资料

Ollama常用命令（来自百度AI）

  1. ‌启动Ollama服务‌：使用命令 ollama serve，这将启动Ollama服务器，以便运行模型和处理请求。
  2. ‌创建模型‌：使用 ollama create [Modelfile路径]，从模型文件创建新模型。
  3. ‌显示模型信息‌：使用 ollama show，查看特定模型的详细信息。
  4. ‌运行模型‌：使用 ollama run [模型名称]，启动并运行所选模型。
  5. ‌从注册表拉取模型‌：使用 ollama pull [模型名称]，从注册表中拉取模型到本地使用。
  6. ‌推送模型到注册表‌：使用 ollama push [模型名称]，将本地模型推送到注册表中，以便他人或其他系统使用。
  7. ‌列出所有模型‌：使用 ollama list，列出本地所有可用的模型。
  8. ‌复制模型‌：使用 ollama cp [原模型名称] [新模型名称]，复制一个模型到另一个位置或给定名称的地方。
  9. ‌删除模型‌：使用 ollama rm [模型名称]，删除一个已安装的模型。
  10. ‌显示帮助信息‌：使用 ollama help 或 ollama --help，获取Ollama命令或具体命令的帮助信息。
  11. ‌查看版本信息‌：使用 ollama --version，显示当前Ollama工具的版本信息。

deepseek各版本所需硬件性能（来自百度Ai）：

  1. ‌DeepSeek-R1和DeepSeek-V3‌：

    • ‌模型大小‌：671B
    • ‌用途‌：DeepSeek-R1和V3在数学、代码以及各种复杂逻辑推理任务上表现出色。V3在推理速度上相比历史模型有大幅提升，并在开源模型中位列榜首‌1。
    • ‌硬件要求‌：对于DeepSeek-R1和V3，推荐使用高性能GPU，如NVIDIA RTX 3090或更高版本的显卡。内存需求较高，建议至少32GB DDR4内存‌23。

  2. ‌基础版本（如7B、13B）‌：

    • ‌用途‌：适用于通用文本生成、对话系统、中等复杂度的推理任务。
    • ‌硬件要求‌：训练阶段需要至少1x NVIDIA A100 40GB GPU，多卡训练推荐4x A100 80GB。推理阶段可以使用RTX 3090/4090或T4显卡‌3。

  3. ‌大型版本（如33B、70B）‌：

    • ‌用途‌：适用于复杂逻辑推理、长文本生成、专业领域任务（如法律、代码等）。
    • ‌硬件要求‌：训练阶段需要多卡并行，推荐8x A100 80GB或H100。推理阶段需要2x A100 40GB（33B模型）或4x A100 80GB（70B模型）‌3。

更多信息，可以参考下面这个文章，更详尽：

DeepSeek大模型，电脑性能要求全攻略！_deepseek性能要求-CSDN博客

注：本文转载自blog.csdn.net的正经教主的文章"https://blog.csdn.net/2501_90561511/article/details/145619090"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
复制链接
相关推荐
发表评论

评论记录：

未查询到任何数据！