免费网站在哪里申请,全搜网,本地服务型网站开发,个人门户网站建设流程目录
一、引言
1.1 背景介绍
1.2 本地化部署的优势
二、deepseek概述
2.1 功能特点
2.2 核心优势
三、本地部署流程
3.1 版本选择
3.2 部署过程
3.2.1 下载Ollama
3.2.2 安装Ollama
3.2.3 选择 r1 模型
3.2.4 选择版本
3.2.5 本地运行deepseek模型
3.3.6 查看… 目录
一、引言
1.1 背景介绍
1.2 本地化部署的优势
二、deepseek概述
2.1 功能特点
2.2 核心优势
三、本地部署流程
3.1 版本选择
3.2 部署过程
3.2.1 下载Ollama
3.2.2 安装Ollama
3.2.3 选择 r1 模型
3.2.4 选择版本
3.2.5 本地运行deepseek模型
3.3.6 查看已有模型
3.3 使用客户端工具
4. 总结 一、引言
1.1 背景介绍
DeepSeek中文名为“深度求索”是一家位于杭州的人工智能公司由知名对冲基金 High-Flyer 投资支持。该公司专注于人工智能基础技术研究并以其开源的大型语言模型在业内脱颖而出。通过将这些模型开源深度求索不仅推动了技术的发展还让更多开发者能够参与到人工智能的进步中来这种开放的态度赢得了广泛的关注和认可。
1.2 本地化部署的优势
通过本地部署可以完全掌控数据的存储和传输过程减少了因第三方平台安全漏洞导致的数据泄露风险。避免了将敏感信息上传到云端的风险。这对于涉及个人隐私或商业机密的数据尤为重要。 二、deepseek概述
DeepSeek是由杭州深度求索人工智能基础技术研究有限公司开发的AI大模型具备强大的智能问答和多模态交互能力。它能够理解并生成自然语言提供精准的回答和建议适用于多个领域如教育、科技、生活等。DeepSeek的核心优势在于其低成本、高效率的训练和推理能力打破了传统N卡垄断降低了大模型的使用门槛。
2.1 功能特点
(1) 深层次逻辑推理
DeepSeek 不仅能够处理简单的问题还能在面对复杂问题时进行深入的逻辑分析。无论是多步骤的推理还是复杂的决策支持DeepSeek 都能提供有力的帮助帮助用户找到最佳解决方案。
(2) 文档解析与总结
无论您需要处理的是 PDF、Word 文档还是其他格式的文件DeepSeek 都能轻松应对。只需将文件上传给 DeepSeek它就能快速分析内容提取关键要点并生成简洁明了的总结报告。这一功能特别适合需要高效处理大量文档的专业人士如研究人员、律师或记者显著提升工作效率。
(3) 实时信息获取
通过其强大的联网搜索功能DeepSeek 能够实时抓取最新的信息和数据。这对于那些需要时刻了解最新动态的用户来说尤为重要比如新闻工作者、市场分析师或任何需要及时获取最新资讯的人士。您可以依赖 DeepSeek 获取最前沿的信息保持竞争力。当然这一点得结合实际可能最新消息更新得时间点有所延后。
(4) 全方位应用场景
无论是对话聊天、语言翻译、创意写作、编程辅助、解题答疑、文献解读还是旅行规划DeepSeek 都能派上用场。简直是居家旅行必备良品
2.2 核心优势
(1) 智能化
DeepSeek能够理解复杂的问题并提供精准的解决方案。它通过深度学习和自然语言处理技术能够理解用户的需求并提供个性化的建议。
(2) 多功能性
DeepSeek在多个领域都有广泛的应用包括学习、工作和生活。它可以用作学习助手、编程助手、写作助手、生活助手和翻译助手等满足用户在不同场景下的需求。
(3) 易用性
DeepSeek通过自然语言交互用户无需学习复杂的操作即可与模型进行对话。这种交互方式使得用户能够轻松地获取所需的信息和服务。
(4) 低成本
DeepSeek的训练和推理成本较低打破了传统N卡垄断降低了大模型的使用门槛。这使得更多的企业和个人能够使用高性能的AI服务。
(5) 高效率
DeepSeek在推理能力和响应速度上表现出色能够快速处理复杂的查询和任务提供准确的答案和解决方案。
(6) 开源生态
DeepSeek采用了开源策略吸引了大量开发者和研究人员的参与推动了AI技术的发展和应用。
(7) 本地部署优势
DeepSeek支持本地部署确保数据隐私和安全同时提供更高的性能和稳定性适合对数据安全要求较高的企业和机构。 三、本地部署流程
3.1 版本选择
本地部署就是自己部署DeepSeek-R1模型使用本地的算力
主要瓶颈内存显存的大小。
特点此方案不用联网。
适合有数据隐私方面担忧的或者保密单位根本就不能上网的。
使用满血版DeepSeek R1 671B 全量模型的文件体积高达 720GB对于绝大部分人而言本地资源有限很难达到这个配置
蒸馏版本 蒸馏版本链接https://huggingface.co/deepseek-ai
开源26个模型。R1预览版和正式版的参数高达660B非一般公司能用。为进一步平权 于是他们就蒸馏出了6个小模型并开源给社区。最小的为1.5B参数10G显存可跑。
如果你要在个人电脑上部署一般选择其他架构的蒸馏模型本质是微调后的Llama或Qwen模型基本32B以下并不能完全发挥出DeepSeek R1的实力。
3.2 部署过程
3.2.1 下载Ollama
Ollama 是一个开源的大型语言模型LLM平台旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。 Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型支持文本生成、翻译、代码编写、问答等多种自然语言处理任务。 Ollama 的特点在于它不仅仅提供了现成的模型和工具集还提供了方便的界面和 API使得从文本生成、对话系统到语义分析等任务都能快速实现。
访问链接 Ollama 根据自己的操作系统选择 ↓ ↓ ↓ 3.2.2 安装Ollama
就傻瓜式安装 安装完成后检验是否安装成功。 winr 输入 cmd 命令行输入
ollama -v
能显示版本就说明安装成功。 3.2.3 选择 r1 模型 3.2.4 选择版本 b代表10亿参数量7b就是70亿参数量。这里的671B是 HuggingFace经过4-bit 标准量化的所以大小是404GB
ollama 支持 CPU 与 GPU 混合推理。将内存与显存之和大致视为 系统的 “总内存空间”。 如果你想运行404GB的671B建议你的内存显存能达到500GB以 上
除了模型参数占用的内存显存空间比如671B的404GB以 外实际运行时还需额外预留一些内存显存空间用于上 下文缓存。预留的空间越大支持的上下文窗口也越大。所 以根据你个人电脑的配置评估你选择部署哪一个版本。如 果你想运行404GB的671B建议你的内存显存能达到500GB 以上
这里我们以7B为例大多数的电脑都能够运行起来。 3.2.5 本地运行deepseek模型
再命令中输入如下命令
ollama run deepseek-r1:7b 注意
下载支持断点续传如果下载中速度变慢可以鼠标点击命 令行窗口然后ctrlc取消取消后按方向键“上”可以找到 上一条命令即”ollama run deepseek-r1:7b“按下回车会重新链接按照之前进度接着下载。
下载完成后自动进入模型直接在命令行输入问题即可得到回复。 获取帮助
/?退出对话
/bye 3.3.6 查看已有模型
代码如下
ollama list 后续要运行模型仍然使用之前的命令
ollama run deepseek-r1:7b 3.3 使用客户端工具
本地部署好模型之后在命令行操作还是不太方便我们继 续使用一些客户端工具来使用。
我们使用 Cherry StudioCherry Studio 是一个支持多模型服务的桌面客户端为专业用户而打造内置 30 多个行业的智能助手帮助用户在多种场景下提升工作效率。
Cherry Studio的下载地址https://cherry-ai.com/ 就直接傻瓜式安装。
然后我们以Cherry Studio为例访问7b的蒸馏模型。 如何这里没有显示r1模型那么说明你之前没有安装好去重新安装。 然后去选择模型值得注意的是使用时要确保ollama客户端已启动。 然后提问 ↓ ↓ ↓ 4. 总结
以上就是deepseek本地化部署的全部内容部署流程参考B站尚硅谷 30-部署方式3本地算力部署_哔哩哔哩_bilibili
更多内容点击下面链接查看
专栏管理-CSDN创作中心
