part1 先談前提#
ps：所有看不懂的名詞都可以問問 ai
windows 的優勢#
Windows 是全球使用最廣泛的操作系統之一，擁有龐大的用戶群體。因此，在 Windows 平台上開發和部署 AI 大模型可以更容易地接觸到更廣泛的用戶群體，從而推動 AI 技術的普及和應用。
Windows 平台提供了豐富的開發工具和資源，例如 Visual Studio、Python 等，這使得開發人員能夠更輕鬆地創建和部署 AI 大模型。此外，Windows 平台還支持多種硬件設備，包括 GPU、FPGA 等，這使得 AI 大模型能夠在 Windows 平台上高效運行。
Windows 平台還擁有強大的安全性和穩定性，這使得 AI 大模型能夠在 Windows 平台上安全地運行，並且保證其穩定性和可靠性。此外，Windows 平台還提供了豐富的應用程序和服務，這使得 AI 大模型能夠更好地與其他應用程序和服務集成，從而提高其可用性和實用性。
總之，選擇 Windows 平台作為 AI 大模型的開發和部署平台，可以充分利用 Windows 平台的優勢，提高 AI 大模型的開發效率和應用價值。
Windows 的劣勢#
- 硬件限制：Windows 平台通常需要較高的硬件配置才能運行 AI 大模型，這可能會限制其在一些低配置設備上的應用。
- 性能限制：Windows 平台的內存管理和多線程處理能力相對較弱，可能會影響 AI 大模型的性能和效率。
- 安全性問題：Windows 平台存在一些安全漏洞和風險，可能會導致 AI 大模型的數據泄露和安全問題。
- 開發工具限制：Windows 平台的開發工具和資源相對較少，可能會限制 AI 大模型的開發和定制能力。
綜上所述，Windows 平台作為 AI 大模型的開發和部署平台，存在一些劣勢和限制。因此，在選擇 Windows 平台時，需要充分考慮其硬件、性能、安全性和開發工具等方面的因素，以確保 AI 大模型的順利運行和應用。
為什麼不用 Windows Copilot？#
國內用戶想用也比較難，你說嘛
為什麼不用國內大模型？#
用啊，但是我們今天不是要自己部署一個本地的模型嗎？
part2 準備階段#
什麼硬件能跑起來？#
- 操作系統：最新版的 Windows 11。
- 處理器：至少 Intel Core i5 或同等級別的 AMD 處理器。
- 內存：至少 8GB RAM，推薦 16GB 或更多。
- 儲存空間：至少有 10GB 的空閒硬盤空間，具體取決於模型的大小。
- 網絡：穩定的網絡連接，用於下載模型和依賴項。
在本地部署 LLM 模型的優勢包括：#
- 可擴展性：可以更好地控制用於運行服務的硬件、經過訓練的模型、數據和軟件。
- 性能：可以設置以遵守特定法規，優化訓練和推理過程，並提高 LLM 的性能。
- 數據隱私：可以更好地保護數據隱私，防止數據泄露。
- 定制化：可以根據特定需求對 LLM 進行定制，構建專屬模型。
part3 安裝 ollama#
ollama 的官方文檔可以在以下鏈接中找到：
3 月 14 日起，Ollama 現在支持 AMD 顯卡，也就是說，對全平台兼容性最好的軟件就是 ollama 了。
- ollama GitHub 主頁 - 提供 ollama 項目的源代碼以及相關文檔。
- ollama API 文檔 - 提供 ollama API 的使用方法和說明。
- ollama FAQ 文檔 - 常見問題解答，包括更新、安裝等問題。
- ollama 官方網站 - 提供 ollama 項目的概述和一些基本信息。
- ollama 使用教程 - 提供 ollama 的安裝和使用指南。
- ollama 庫資源 - 提供與 ollama 相關的資源和文檔。
這些資源可以幫助您了解如何部署和使用 ollama，包括安裝步驟、配置方法和 API 的使用。
部署第一個 llm 大模型#
安裝完 ollama 後，去 models 頁面
https://ollama.com/library
找到你要的 model 模型
直接複製命令
你的任務欄就會有個羊駝圖標了
至此你的本地模型已經部署完畢，現在可以在命令行這個黑底白字的地方使用，但你肯定覺得不舒服，所以，我們接著配置一個客戶端，調用 ollama 使用。
安裝 ChatBox#
Chatbox 支持多款全球最先進的 AI 大模型服務，支持 Windows、Mac 和 Linux。AI 提升工作效率，深受全世界專業人士的好評。
下載鏈接 https://chatboxai.app/zh
連接 ollama 和 ChatBox#
安裝好 ChatBox 後，需要配置 api
開問！
至此，篇一已結束，接下來的篇二，我們玩玩 docker。