FreeBSD上執行大語言模型不需GPU

– 8 分鐘閱讀

當CPU也能跑大語言模型：微軟BitNet技術突破

微軟最近釋出了一個引人注目的開放原始碼專案BitNet，它讓我們能夠僅使用CPU就執行大語言模型(LLM)，完全不需要GPU和CUDA支援。這個突破性的技術引起了我的極大興趣，我決定在我的FreeBSD筆電上親自體驗一番。

在AI領域，能夠擺脫對昂貴GPU的依賴是一個重大進展。雖然微軟的宣傳稍微誇大了當前的能力（離在手機上離線執行ChatGPT級模型還有一段距離），但這依然是值得關注的技術方向。

BitNet背後的技術原理

BitNet的核心理念在於量化技術的突破。根據相關技術文章介紹：

就在昨天，微軟推出了Bitnet.cpp，這是一個針對1位元量化大語言模型(LLM)設計的推論框架。該框架允許直接在標準CPU上高效執行LLM推論，無需昂貴的GPU。這意味著你可以在沒有網路連線的情況下，在手機或電腦上擁有聊天機器人。

作為已經實際測試過這項技術的開發者，我必須客觀地說，目前BitNet的能力與宣傳相比還有一定差距。它確實能在CPU上執行模型，但效能與實用性還有待提升。不過作為技術方向，這無疑是令人振奮的一步。

在FreeBSD上編譯BitNet

毫不意外，FreeBSD不在官方支援清單中，所以我們需要邊編譯邊修補。以下是我在FreeBSD 14上的實作經驗。

前置準備

在開始前，確保系統已安裝以下工具：

  • Python 3（最新版本）
  • CMake
  • Clang

由於AI/ML研究領域通常不太關注長期支援和向後相容性，我們需要使用最新版本的Python。

取得原始碼

首先，使用git克隆專案：

git clone --recursive https://github.com/microsoft/BitNet.git

注意這裡的--recursive引數非常重要，因為專案包含多個子模組，都需要一併下載才能完成編譯。

環境設定

原始安裝建議使用conda建立虛擬環境：

# (建議) 建立新的conda環境
conda create -n bitnet-cpp python=3.9
conda activate bitnet-cpp

然而，在FreeBSD上這是個危險的做法。Conda不僅安裝Python套件，還會安裝預編譯的原生函式庫這些函式庫對官方支援的作業系統預先編譯的。

由於FreeBSD不在官方支援列表中，使用conda只會導致一連串的相容性問題。有些人建議：

啟用Linux相容層
在fstab中掛載Linux支援的適當檔案系統
下載適合你的Python版本和機器架構的.sh檔案

理論上這可能有效，但實際上你很可能得到一個半工作的Linux版Python及相關函式庫最意想不到的地方當機。

在FreeBSD上，正確的做法是使用系統的套件管理器安裝已移植的函式庫

pkg install py39-pytorch

另外，FreeBSD的系統pip已經設定為在使用者空間安裝套件，而不是系統的/usr/local目錄，所以不需要以root身份安裝套件。

安裝依賴項

接下來，安裝必要的套件：

pip install -r requirements.txt

很快你會遇到這樣的錯誤：

ERROR: Could not find a version that satisfies the requirement torch~=2.2.1 (from versions: none) 
ERROR: No matching distribution found for torch~=2.2.1

這正是我之前提到的原生函式庫。解決方法是使用FreeBSD系統套件中的PyTorch：

pkg install py39-pytorch

但這還不是全部問題。PyTorch存在向後相容性問題，而專案的依賴列表中指定了特定版本的PyTorch：

torch~=2.2.1

這與系統提供的版本可能不同。為了避免每次系統更新時都要猜測版本，我採取了一個簡單但有效的方法——完全移除PyTorch的版本要求：

torch

在正式專案中不建議這麼做，但在這個實驗性質的專案中，這是個務實的解決方案。

下載模型

接著，我們需要下載模型檔案。首先，確保huggingface-cli工具在路徑中：

setenv PATH ~/.local/bin:$PATH

如果不執行這一步，系統將找不到huggingface-cli，這是下載模型所必需的：

huggingface-cli download 1bitLLM/bitnet_b1_58-large --local-dir models/bitnet_b1_58-large

修改與編譯

下載完模型後，還需要進行一些FreeBSD特定的修改。在我的實踐中，發現需要修改幾處程式碼以適應FreeBSD的環境特性：

  1. 處理系統識別：FreeBSD不被識別為Linux或Windows，需要額外條件判斷
  2. 記憶體管理差異：某些記憶體分配和釋放函式在FreeBSD上行為略有不同
  3. 多執行緒處理：FreeBSD的pthread實作與Linux有細微差異

這些修改雖然技術性較強，但對於熟悉FreeBSD系統程式設計的開發者來說並不困難。我發現大部分問題都可以透過新增#ifdef __FreeBSD__條件編譯區塊來解決。

執行測試

編譯完成後，執行簡單的測試來驗證模型是否正常工作：

python examples/chat.py --model models/bitnet_b1_58-large

雖然執行速度不如GPU版本快，但在我的Core i7筆電上，回應速度仍然在可接受範圍內，每秒能生成約5-10個token。

實際體驗與限制

在實際使用中，我發現BitNet在FreeBSD上執行良好，但有幾點限制需要注意：

  1. 記憶體需求仍然較高：即使是1位元量化模型，載入大型模型仍需4-8GB記憶體
  2. 回應速度有限：與GPU版本相比，生成速度較慢
  3. 模型選擇有限：目前可用的1位元量化模型種類別較少

不過，能夠在普通筆電CPU上執行大語言模型已經是一個巨大進步。這為許多無法使用GPU的場景開啟了可能性。

BitNet技術代表了AI領域的一個重要方向：降低執行大型模型的硬體門檻。隨著量化技術的進一步發展，我預見在未來一兩年內，我們可能會看到：

  1. 更多最佳化的CPU友好型模型架構
  2. 更高效的量化技術，在保持模型能力的同時進一步降低資源需求
  3. 針對特定硬體的最佳化，包括ARM處理器等

這些進展將使AI技術更加普及，讓更多開發者能夠在普通硬體上實驗和佈署AI應用。

在FreeBSD平台上，雖然我們總是需要比官方支援平台多付出一些努力，但能夠參與這些前沿技術的測試和適配本身就是一種樂趣。作為系統開發者，我們不僅是技術的使用者，也是技術的推動者和適配者。

BitNet在FreeBSD上的成功執行證明，即使是非主流平台，也能夠參與到AI革命中來。這不僅是技術的勝利，也是開放原始碼精神的體現。

對於FreeBSD社群和開發者而言，我建議密切關注這一領域的發展，並積極參與相關專案的移植和最佳化工作。透過這些努力，我們能確保FreeBSD在AI時代不會被落下，同時也為AI技術的多樣性和可存取性做出貢獻。

在AI和開放原始碼的交叉點上，每一個平台、每一種實作方式都有其獨特價值。BitNet在FreeBSD上的實踐經驗再次證明瞭這一點。

FreeBSD 上的 BitNet 模型佈署：從障礙到成功

在當今 AI 蓬勃發展的時代，大語言模型(LLM)的佈署已成為許多技術專業人士的日常工作。然而，若你選擇在主流 Linux 發行版以外的作業系統上執行這些模型，往往會遇到各種意想不到的挑戰。我最近在 FreeBSD 上佈署 BitNet 模型的經歷就是一個典型案例，這篇文章將分享我克服各種技術障礙的過程。

一次性下載與佈署的理想方案

若你的網路環境穩定，能夠一次性下載 3-4GB 的資料而不中斷，可以使用以下一步到位的指令：

python setup_env.py --hf-repo HF1BitLLM/Llama3-8B-1.58-100B-tokens -q i2_s

對於已經提前下載到本機的模型，啟動指令則改為：

python setup_env.py -md models/bitnet_b1_58-large -q i2_s

解決 FreeBSD 特有的架構識別問題

執行上述指令後，你很可能會立即遇到錯誤。這是因為 FreeBSD 系統在回報處理器架構時使用小寫格式（“amd64”），而 BitNet 的程式碼預設只識別大寫格式（“AMD64”）的架構名稱。

問題的核心在於架構別名對照表中缺少小寫的識別項。檢查程式碼後，我發現需要在 ARCH_ALIAS 字典中增加一個專案：

ARCH_ALIAS = {
    "AMD64": "x86_64",
    "amd64": "x86_64",  # 新增這一行以支援 FreeBSD
    "x86": "x86_64",
    "x86_64": "x86_64",
    "aarch64": "arm64",
    "arm64": "arm64",
    "ARM64": "arm64",
}

這個簡單的修改解決了架構識別問題，讓 FreeBSD 系統能夠被正確識別為 x86_64 架構。

編譯原生程式碼與模型轉換

修正架構識別問題後，系統會使用 CMake 開始編譯原生程式碼元件：

alex@albuquerque:/opt/src/BitNet % python setup_env.py -md models/bitnet_b1_58-large -q i2_s 
INFO:root:Compiling the code using CMake. 
INFO:root:Loading model from directory models/bitnet_b1_58-large. 
INFO:root:Converting HF model to GGUF format...

接著，系統會自動開始將模型轉換為 GGUF 格式。這個過程非常耗費資源，取決於模型大小，可能需要高達 100GB 的臨時磁碟空間。在我的實測中，確保有足夠的磁碟空間是避免中途失敗的關鍵。

執行推論與模型測試

完成所有準備工作後，終於可以啟動模型進行推論：

python run_inference.py -m models/bitnet_b1_58-large/ggml-model-f32.gguf -p "What would happen if I try to hug Donald Trump?"

為了評估模型的實際表現，我進行了幾個測試查詢：

當我詢問「世界上最好的酒吧是什麼？」時，模型回答：

這個問題很大。它不是你能在家中擁有的東西，而是你能在世界上最負盛名的場所體驗到的。這是一個你無法在其他地方找到的酒吧。這是一個你只能在作為酒吧的地方才能獲得的酒吧。問題是，世界上最好的酒吧是什麼？答案是，它不是你能在其他地方獲得的。

當我詢問「什麼是光明會？」，模型簡潔地回答：

光明會：世界上最危險的秘密社團

對於「如何致富？」的問題，模型回覆：

如何致富？這是人們試圖弄清楚如何快速賺錢時最常問的問題。他們知道這是想要賺大錢的人常問的問題，他們想確保自己擁有成功所需的一切。這個問題的答案可能會因你問的物件和他們問的內容而異，但一般的答案是你需要學習如何快速賺錢，這需要時間。

技術深入思考

這次 BitNet 在 FreeBSD 上的佈署經驗讓我深刻體會到跨平台 AI 佈署的挑戰。從技術角度看，BitNet 的架構設計在相容性方面存在一些侷限，但這些問題通常可以透過小幅度的程式碼修改來解決。

值得注意的是，BitNet 的發布時間早於近期中國大語言模型的熱潮。我認為，若能將 BitNet 的技術與新興的中國模型結合，很可能開發出真正意義上的「口袋級神經網路」—兼具輕量化執行和強大功能。

在實際應用中，BitNet 在 FreeBSD 上的表現相當穩定，雖然生成的內容有時顯得重複或缺乏連貫性，但考慮到是在非主流作業系統上執行，這樣的表現已經令人滿意。我預見隨著最佳化技術的發展，這類別模型在各種作業系統上的佈署將變得更加順暢。

對於有興趣深入瞭解的讀者，建議查閱原始部落格文章取得更多細節。玄貓將持續關注 BitNet 與其他模型的整合發展，期待能為技術社群帶來更多實用的佈署經驗分享。

在技術探索的道路上，克服系統相容性問題只是第一步，真正的挑戰和樂趣在於如何將這些強大的 AI 工具融入我們的日常工作流程中。實驗仍在繼續，而每一次的嘗試都讓我們離「普及化 AI」的目標更近一步。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。