【WindowsでAIの大規模モデルを展開する】第1章：なぜオープンソースのLLMをWindowsプラットフォームで展開するのか

llm

part1 先谈前提#

ps：所有看不懂的名词都可以问问 ai

windows の利点#

Windows は世界で最も広く使用されているオペレーティングシステムの一つであり、大規模なユーザーベースを持っています。そのため、Windows プラットフォームで AI モデルの開発と展開を行うことで、より広範なユーザーベースにアクセスしやすくなり、AI 技術の普及と応用を推進することができます。

Windows プラットフォームは、Visual Studio、Python などの豊富な開発ツールやリソースを提供しており、開発者が AI モデルをより簡単に作成および展開できるようにしています。さらに、Windows プラットフォームは GPU、FPGA などのさまざまなハードウェアデバイスもサポートしており、AI モデルを効率的に実行することができます。
Windows プラットフォームは、強力なセキュリティと安定性も備えており、AI モデルを安全に実行し、安定性と信頼性を確保することができます。さらに、Windows プラットフォームは豊富なアプリケーションとサービスも提供しており、AI モデルを他のアプリケーションやサービスとより良く統合することができます。これにより、利用性と実用性が向上します。

要するに、AI モデルの開発と展開のプラットフォームとして Windows プラットフォームを選択することで、Windows プラットフォームの利点を最大限に活用し、AI モデルの開発効率と応用価値を向上させることができます。

Windows のデメリット#

ハードウェアの制約：Windows プラットフォームでは、AI モデルを実行するためには比較的高いハードウェア構成が必要となる場合があり、低構成のデバイスでの利用が制限される可能性があります。
パフォーマンスの制約：Windows プラットフォームのメモリ管理やマルチスレッド処理能力は比較的弱いため、AI モデルのパフォーマンスや効率に影響を与える可能性があります。
セキュリティの問題：Windows プラットフォームにはいくつかのセキュリティの脆弱性やリスクが存在し、AI モデルのデータ漏洩やセキュリティの問題を引き起こす可能性があります。
開発ツールの制約：Windows プラットフォームの開発ツールやリソースは比較的少ないため、AI モデルの開発やカスタマイズの能力が制限される可能性があります。

以上のように、AI モデルの開発と展開のプラットフォームとして Windows プラットフォームを選択する際には、ハードウェア、パフォーマンス、セキュリティ、開発ツールなどの要素を十分に考慮し、AI モデルのスムーズな実行と応用を確保する必要があります。

なぜ Windows Copilot を使用しないのですか？#

国内のユーザーが使用するのは難しいですよね。

なぜ国内の大規模モデルを使用しないのですか？#

使用しますが、今日はローカルモデルをデプロイすることにしましたよね？

part2 準備段階#

どのハードウェアで実行できますか？#

オペレーティングシステム：最新の Windows 11。
プロセッサ：少なくとも Intel Core i5 または同等の AMD プロセッサ。
メモリ：少なくとも 8GB の RAM、推奨は 16GB 以上です。
ストレージスペース：少なくとも 10GB の空きディスク容量が必要ですが、モデルのサイズによって異なります。
ネットワーク：モデルと依存関係をダウンロードするための安定したネットワーク接続が必要です。

LLM モデルをローカルでデプロイする利点は次のとおりです：#

スケーラビリティ：実行サービスに使用するハードウェア、トレーニング済みモデル、データ、ソフトウェアをより制御できます。
パフォーマンス：特定の規制に準拠するように設定し、トレーニングおよび推論プロセスを最適化し、LLM のパフォーマンスを向上させることができます。
データプライバシー：データプライバシーをよりよく保護し、データの漏洩を防止することができます。
カスタマイズ：特定の要件に基づいて LLM をカスタマイズし、専用のモデルを構築することができます。

part3 ollama のインストール#

ollama の公式ドキュメントは以下のリンクで見つけることができます：
2022 年 3 月 14 日から、Ollama は AMD グラフィックスカードをサポートしています。つまり、最もプラットフォームに互換性のあるソフトウェアは ollama です。

ollama GitHub ページ - ollama プロジェクトのソースコードと関連ドキュメントを提供しています。
ollama API ドキュメント - ollama API の使用方法と説明を提供しています。
ollama FAQ ドキュメント - 更新、インストールなどのよくある質問についての回答を提供しています。
ollama 公式ウェブサイト - ollama プロジェクトの概要と基本情報を提供しています。
ollama の使用方法チュートリアル - ollama のインストールと使用方法のガイドを提供しています。
ollama ライブラリリソース - ollama に関連するリソースとドキュメントを提供しています。

これらのリソースは、ollama のデプロイと使用方法、インストール手順、設定方法、および API の使用方法などを理解するのに役立ちます。

amd

最初の LLM モデルをデプロイする#

ollama をインストールしたら、モデルのページに移動します。
https://ollama.com/library
必要なモデルを見つけて、コマンドをコピーします。

タスクバーにラマのアイコンが表示されます。

これでローカルモデルのデプロイが完了しました。これからは、コマンドラインの黒い背景に白い文字で使用できますが、不便だと思いますので、次はクライアントの設定と ollama の呼び出しを行います。

ChatBox のインストール#

ChatBox は、複数の先進的な AI モデルサービスをサポートしており、Windows、Mac、Linux に対応しています。AI による作業効率の向上は、世界中の専門家から高い評価を受けています。
ダウンロードリンク https://chatboxai.app/zh

ollama と ChatBox の接続#

ChatBox をインストールしたら、API を設定する必要があります。

質問してみましょう！

以上で、パート 1 は終了です。次のパート 2 では、Docker を使って遊びましょう。