part1 先谈前提#
ps：所有看不懂的名词都可以问问 ai
windows 的优势#
Windows 是全球使用最广泛的操作系统之一，拥有庞大的用户群体。因此，在 Windows 平台上开发和部署 AI 大模型可以更容易地接触到更广泛的用户群体，从而推动 AI 技术的普及和应用。
Windows 平台提供了丰富的开发工具和资源，例如 Visual Studio、Python 等，这使得开发人员能够更轻松地创建和部署 AI 大模型。此外，Windows 平台还支持多种硬件设备，包括 GPU、FPGA 等，这使得 AI 大模型能够在 Windows 平台上高效运行。
Windows 平台还拥有强大的安全性和稳定性，这使得 AI 大模型能够在 Windows 平台上安全地运行，并且保证其稳定性和可靠性。此外，Windows 平台还提供了丰富的应用程序和服务，这使得 AI 大模型能够更好地与其他应用程序和服务集成，从而提高其可用性和实用性。
总之，选择 Windows 平台作为 AI 大模型的开发和部署平台，可以充分利用 Windows 平台的优势，提高 AI 大模型的开发效率和应用价值。
Windows 的劣势#
- 硬件限制：Windows 平台通常需要较高的硬件配置才能运行 AI 大模型，这可能会限制其在一些低配置设备上的应用。
- 性能限制：Windows 平台的内存管理和多线程处理能力相对较弱，可能会影响 AI 大模型的性能和效率。
- 安全性问题：Windows 平台存在一些安全漏洞和风险，可能会导致 AI 大模型的数据泄露和安全问题。
- 开发工具限制：Windows 平台的开发工具和资源相对较少，可能会限制 AI 大模型的开发和定制能力。
综上所述，Windows 平台作为 AI 大模型的开发和部署平台，存在一些劣势和限制。因此，在选择 Windows 平台时，需要充分考虑其硬件、性能、安全性和开发工具等方面的因素，以确保 AI 大模型的顺利运行和应用。
为什么不用 Windows Copilot？#
国内用户想用也比较难，你说嘛
为什么不用国内大模型？#
用啊，但是我们今天不是要自己部署一个本地的模型么？
part2 准备阶段#
什么硬件能跑起来？#
- 操作系统：最新版的 Windows 11。
- 处理器：至少 Intel Core i5 或同等级别的 AMD 处理器。
- 内存：至少 8GB RAM，推荐 16GB 或更多。
- 存储空间：至少有 10GB 的空闲硬盘空间，具体取决于模型的大小。
- 网络：稳定的网络连接，用于下载模型和依赖项。
在本地部署 LLM 模型的优势包括：#
- 可扩展性：可以更好地控制用于运行服务的硬件、经过训练的模型、数据和软件。
- 性能：可以设置以遵守特定法规，优化训练和推理过程，并提高 LLM 的性能。
- 数据隐私：可以更好地保护数据隐私，防止数据泄露。
- 定制化：可以根据特定需求对 LLM 进行定制，构建专属模型。
part3 安装 ollama#
ollama 的官方文档可以在以下链接中找到：
3 月 14 日起，Ollama 现在支持 AMD 显卡，也就是说，对全平台兼容性最好的软件就是 ollama 了。
- ollama GitHub 主页 - 提供 ollama 项目的源代码以及相关文档。
- ollama API 文档 - 提供 ollama API 的使用方法和说明。
- ollama FAQ 文档 - 常见问题解答，包括更新、安装等问题。
- ollama 官方网站 - 提供 ollama 项目的概述和一些基本信息。
- ollama 使用教程 - 提供 ollama 的安装和使用指南。
- ollama 库资源 - 提供与 ollama 相关的资源和文档。
这些资源可以帮助您了解如何部署和使用 ollama，包括安装步骤、配置方法和 API 的使用。
部署第一个 llm 大模型#
安装完 ollama 后，去 models 页面
https://ollama.com/library
找到你要的 model 模型
直接复制命令
你的任务栏就会有个羊驼图标了
至此你的本地模型已经部署完毕，现在可以在命令行这个黑底白字的地方使用，但你肯定觉得不舒服，所以，我们接着配置一个客户端，调用 ollama 使用。
安装 ChatBox#
Chatbox 支持多款全球最先进的 AI 大模型服务，支持 Windows、Mac 和 Linux。AI 提升工作效率，深受全世界专业人士的好评。
下载链接 https://chatboxai.app/zh
链接 ollama 和 ChatBox#
安装好 ChatBox 后，需要配置 api
开问！
至此，篇一已结束，接下来的篇二，我们玩玩 docker。