以下是将 DeepSeek R1 部署到 Windows Server 并通过客户端远程连接的详细步骤:
一、在 Windows Server 上部署 DeepSeek R1
1. 安装 Ollama
- 访问 Ollama 官网,下载 Windows 版本的安装程序。
- 下载完成后,双击安装程序并点击 Install 进行安装。
- 安装完成后,通过命令提示符验证安装是否成功,执行以下命令:
ollama -v
如果显示版本号,则表示安装成功。
2. 配置 Ollama 以支持远程访问
- 退出正在运行的 Ollama 应用。
- 打开“设置”或“控制面板”,搜索并进入“环境变量”设置。
- 编辑用户环境变量,添加或修改以下两个变量:
- OLLAMA_HOST,值设为
0.0.0.0。 - OLLAMA_ORIGINS,值设为
*。
- OLLAMA_HOST,值设为
- 保存设置并重新启动 Ollama。
如果偏好使用命令行,可以通过以下命令设置环境变量:
setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"
然后重启 Ollama。
3. 下载并运行 DeepSeek R1 模型
- 打开命令提示符,执行以下命令下载并运行 DeepSeek R1 模型(以 1.5B 版本为例):
ollama run deepseek-r1:1.5b
若需要其他版本,可参考 Ollama 模型库中的可用版本。
二、客户端远程连接到 Windows Server 上的 DeepSeek R1
1. 获取服务器的 IP 地址
- 在 Windows Server 的命令提示符中输入以下命令来获取 IP 地址:
ipconfig
记下类似 192.168.X.X 的 IP 地址。
2. 配置客户端
使用 Chatbox 客户端:
- 下载并安装 Chatbox 客户端。
- 打开 Chatbox 设置,选择 Ollama API 作为模型提供方。
- 在“API 域名”字段中填写服务器的 IP 地址和端口(默认为 11434),例如:
http://192.168.0.210:11434
- 保存设置后,即可在客户端中使用远程服务器上的 DeepSeek R1 模型。
使用其他支持 Ollama API 的客户端(如 Page Assist 浏览器插件):
- 在插件的设置中,将 Ollama URL 参数设置为远程服务器的地址,例如:
http://192.168.0.210:11434
三、注意事项
- 防火墙设置: 确保服务器的防火墙允许 11434 端口的通信。
- 网络连接: 客户端和服务器需要在同一网络中(如局域网),或者通过 VPN 等方式连接。
- 关闭远程访问: 如果不再需要远程访问,可以通过以下命令取消远程访问设置:
Windows:
setx OLLAMA_HOST ""
setx OLLAMA_ORIGINS ""
MacOS:
launchctl unsetenv OLLAMA_HOST
launchctl unsetenv OLLAMA_ORIGINS
通过以上步骤,你可以在 Windows Server 上成功部署 DeepSeek R1 模型,并通过客户端远程连接使用该模型。