1、前言
最近一直在研究大模型的部署,本地服务器、云服务器、PAI一键部署服务都统统试了一遍,各有各的不足。本地服务器资源比较紧张、云服务器收费高、PAI一键部署容易上手但功能阉割严重。
随着越来越多的用户开始使用 Olama 来探索模型应用,加之开源端部模型的出现,直接在自己电脑上部署大模型绝对是快速上手体验的不二之选。
本文基于windows10在本地电脑上部署使用Dify,其中必要用到的Ollama大模型管理框架,使用的大模型为deepseek-r1-1.5b。
2、Ollama
2.1、Ollama是什么
Ollama 是一个开源框架,专注于简化在本地运行大型语言模型(LLM)的流程。
作为一个轻量级且可扩展的工具,Ollama 提供了一个简洁的API,用于创建、运行和管理模型,并附带一个预构建的模型库,进一步降低了使用的难度。它不仅适用于自然语言处理的研究和产品开发,还特别适合初学者和非技术人员,尤其是那些希望在本地与大型语言模型进行交互的用户。
这款开源工具凭借其强大的功能,让用户能够在本地轻松运行多种大型开源模型,例如清华大学的 ChatGLM、阿里的千问以及 Meta 的 LLaMA 等。
总体而言,Ollama 是一个高效且功能完备的大模型服务工具。通过简单的安装指令和一条命令,用户即可在本地快速启动大型语言模型,极大地推动了其在更广泛场景中的发展和应用。
2.2、安装Ollama
官方下载地址:https://ollama.com/download
win10直接下载exe文件双击安装,安装完ollama之后,可以通过访问如下链接来判断ollama是否安装成功
http://127.0.0.1:11434/
class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">
评论记录:
回复评论: