前言
目的與範疇
本報告旨在對用於生成「不宜在辦公室瀏覽」（Not Safe For Work，NSFW）或「無審查」內容的主流開源權重大型語言模型（LLM），進行一次詳盡的技術與社群驅動分析。本研究的範疇嚴格限定於其權重可公開下載並於本機修改的文字生成模型。此焦點刻意排除了閉源、僅提供 API 的模型，除非它們是開源權重衍生模型的基礎。此外，本分析不涵蓋主要為圖像生成或分類而設計的模型，例如用於內容審核的視覺轉換器（vision transformers）。本報告的目標是為正在這個充滿活力且常被誤解的人工智慧利基領域中探索的開發者、研究人員及進階愛好者，提供一份全面的資源。
定義「NSFW」與「無審查」
在大型語言模型的脈絡中，「NSFW」與「無審查」這兩個詞彙相關但有區別。「NSFW」通常指涉使用者層面的目標：生成可能包含露骨、色情、暴力，或在其他方面被認為不適合專業場合的內容。這包括了無限制對話、創意小說，以及鉅細靡遺的角色扮演（Roleplaying，簡稱 RP）等應用。「無審查」則描述了模型本身的技術特性——刻意移除或缺乏那些會使其拒絕此類提示的安全護欄與對齊機制。
社群追求這些模型的動機是多方面的。雖然創作色情或「smut」內容是一大驅動力，但這股風潮也根植於對創作自由及智識探索的更廣泛渴望。許多開發者與使用者尋求使用那些他們認為擺脫了過度限制或「清教徒式」企業影響的模型，從而得以在沒有人為束縛的情況下探索複雜的主題9。
生態系概覽
開源無審查大型語言模型的領域，是一個建立在數個關鍵支柱之上、充滿活力的獨立生態系。它始於 Meta、Mistral AI、阿里巴巴及 Google 等主要科技公司發布的基礎模型，這些模型為後續開發提供了原始材料。接著，由一群獨立開發者、微調者與研究人員組成的專注社群，運用從傳統微調到如「消融術」（abliteration）等創新方法，來改造這些模型以移除安全對齊。
這些修改後的模型主要透過像 Hugging Face 這樣的平台發布，該平台已成為社群的核心儲存庫與樞紐。要在本機端運行這些模型，則需仰賴一套關鍵軟體堆疊，包括像 llama.cpp 這樣的推論引擎，以及像 Ollama 這樣方便好用的封裝工具。互動方面，則由功能強大的圖形化使用者介面（GUI）促成，例如 Oobabooga 的 text-generation-webui，以及專為角色扮演設計的 SillyTavern 等前端介面。最後，整個領域的方向與演進，深受社群論壇（尤其是 Reddit 的 r/LocalLLaMA 子版）內的討論影響，使用者在此分享發現、比較模型，並共同確立哪些模型在特定的 NSFW 任務上被視為「主流」或頂尖水準。本報告將系統性地剖析上述各個組成部分，以提供對此領域的全方位檢視。
第一部分：基礎概念：無審查 AI 的技術
定義「無審查」大型語言模型
一個「受審查」或「已對齊」的模型並非單一概念；它存在於一個光譜之上。光譜的一端是具備重度外部審核的模型，使用者的輸入與模型的輸出會通過一個獨立的過濾器，這是早期商業 API 的普遍作法。現今更常見的方法是內部審核，也就是透過像「人類回饋增強式學習」（RLHF）等技術，將安全訓練與對齊機制直接植入模型的權重中。多數現代的指令微調模型，如 Meta 的 Llama 3.1 Instruct 或 Google 的 Gemini，都屬於此類，它們通常會拒絕生成被視為有害或不當的內容。一個「無審查」模型，則是其內部護欄被刻意且系統性地拆除，或者（在從「基礎」狀態建構的模型案例中）從未被實作過。
創造並使用這些模型的驅動力源於多種動機，遠不止於單純對露骨內容的渴望。對一大部分使用者而言，主要目標是創作自由。小說、詩歌及角色扮演情境的寫作者，需要一個能夠探索人類經驗全貌的工具，包括衝突、暴力與性，而不會被模型任意拒絕互動所阻礙。
對另一部分社群成員來說，動機則在於智識好奇心與研究。無審查模型領域的知名人物 Eric Hartford 等創作者主張，對齊應該是一個使用者可以自行應用的模組化元件，而非強制性的內建功能。其目標是研究模型原始、未經修飾的能力，以更深入地理解其潛力與限制。此觀點在網路安全等領域也有實際應用，研究人員可能需要模擬惡意行為者或分析有害文本，而這些是受重度審查的模型會拒絕執行的任務。
這種方法上的分歧，呈現出 AI 社群內部一道根本的哲學裂痕。一方是各大 AI 實驗室，他們將安全對齊視為一項關鍵且不可妥協的功能，旨在防止濫用並確保負責任的部署。另一方則是開源無審查運動，他們擁護使用者的自主性與責任。WizardLM-Uncensored 模型的免責聲明精準地捕捉了此觀點，它將 AI 比作其他具潛在危險的工具：「您需為使用此模型所做的任何事負責，正如您需為使用任何危險物品（如刀、槍、打火機或汽車）所做的任何事負責」。這不僅是技術偏好問題；這是一場關於 AI 工具根本性質的辯論——它們應被當作「安全」、預先封裝好的家電來交付，還是作為強大、中性的儀器，其應用由使用者自行斟酌。本報告詳述的這些模型的普及與持續受歡迎，代表了對後者明確且持續的投票。
脫離對齊的藝術：核心技術
創造一個無審查大型語言模型是一項技術工作，涉及數種不同方法之一，以覆寫、繞過或精準移除嵌入於基礎模型中的安全機制。
在未過濾及合成資料集上進行微調
創造無審查模型最成熟的方法是透過微調。此過程是取一個預訓練的基礎模型，並在一個新的、特製的資料集上繼續訓練它。為了產出一個無審查模型，這個資料集會被精心建構，以包含期望行為的範例（例如，露骨的故事敘述、對敏感問題的直接回答），同時 meticulously 清除任何「說教式」語言、訓誡或如「身為一個 AI 助理，我不能……」之類的拒絕詞句。
這些資料集有很大一部分是合成的，意即它們是由其他（通常更強大）的大型語言模型生成後再過濾而成。例如，用於 WizardLM-13B-Uncensored 的資料集，是透過取用一個現有的指令資料集，並明確移除所有展現出對齊或道德判斷的回應所創造的。此過程需要大量的運算資源；舉例來說 Luna-AI-Llama2-Uncensored 的微調是在一台配備 8張 NVIDIA A100 80GB GPU 的高階伺服器上執行的。
機械性干預：「消融術」（Abliteration）技術
一個更新且技術上更複雜的方法是「消融術」，這是一種模型編輯形式，無需昂貴的重新訓練即可移除拒絕行為。此技術根植於「機械可詮釋性」（Mechanistic Interpretability）領域，該領域具將研究重點放在理解神經網路的內部運作。其核心概念是，特定的行為（例如拒絕有害提示的傾向）對應於模型活化空間中的一個特定「方向」。透過識別並中和這個方向，模型執行該行為的能力便可被消除。
此過程包含幾個步驟：
- 資料收集：讓模型在兩個小型資料集上運行：一個包含「有害」指令（例如，來自
mml-attacks等資料集的提示），另一個包含「無害」指令（例如，來自Alpaca等資料集）。記錄下模型在殘差流（Residual Stream）中對每個提示的內部活化值。 - 方向識別：將有害指令集的平均活化值減去無害指令集的平均活化值。所得的向量即代表模型每一層的「拒絕方向」。
- 消融：接著將此拒絕方向「消融」或移除。這可以在推論時透過將活化值投影到一個與拒絕方向正交的空間來暫時達成，或者可以透過修改模型的權重矩陣以阻止其寫入該方向來永久達成。後者這種方法，稱為權重正交化（Weight Orthogonalization），能創造出一個永久無審查的模型。
此技術由 Maxime Labonne 和 FailSpy 等人在開源社群中推廣，已成功應用於包括 Qwen 和 Gemma 變體在內的廣泛現代模型，並在 Hugging Face 上引發了一波新的「消融」模型浪潮。
基礎模型 vs. 指令微調模型的重要性
任何去審查工作的起點至關重要，「基礎」模型與「指令」模型之間的區別是首要關鍵。
- 基礎模型：這些模型是在網路規模的資料上進行大規模預訓練階段的直接產物。它們極擅於預測序列中的下一個詞元，但本身不具備對話能力或遵循指令的技巧。關鍵的是，它們通常預設是無審查的，因為它們尚未經過對齊微調過程。許多無審查模型是直接在這些基礎模型上進行微調建構的，從而繞過了撤銷既有對齊的需要。
- 指令模型：這些是基礎模型經過額外的監督式微調（SFT）與人類回饋增強式學習（RLHF）階段，使其成為有幫助、誠實且無害的助理。多數安全護欄與審查機制都是在這個「指令微調」階段引入的。要從一個指令微調模型創造出無審查模型，需要透過如消融術或針對性微調等方法，主動移除這種對齊。
消融術的出現與普及，代表了社群在模型客製化方法上的一大進展。微調雖是強大但資源密集、會全盤改變模型的過程，而消融術則提供了一個精準、低成本的替代方案。它將典範從依賴大量資料的重新訓練，轉移到基於對模型內部機制理解的精確、針對性編輯。在 Hugging Face 等平台上，消融模型的迅速增生顯示，這已不再純粹是學術演練，而是一項實用且被廣泛採用的工具。此趨勢展開一個未來，模型的客製化可能涉及更少的大規模訓練，而更多地是直接編輯模型已學習到的表徵，這可能將以原始創作者從未預期的方式，使修改 AI 行為的能力大眾化。
主流開源權重模型精選回顧
開源權重 NSFW 模型的版圖廣闊且不斷變動。然而，一些模型與模型家族憑藉其受歡迎程度、性能及對社群的影響力，已取得了「主流」地位。本節將依其基礎架構，對這些關鍵角色進行精選回顧。
表 1：主流 NSFW／無審查模型矩陣
| 模型名稱 | 基礎架構 | 創作者／微調者 | 主要用途 | 關鍵特色／註記 |
Llama-3.1-8B-Lexi-Uncensored-V2 | Llama 3.1 | Orenguteng | 無限制聊天、角色扮演 | Meta 指令模型的直接無審查微調版。聲稱去審查能提升基準測試分數。 |
dolphin-mistral | Mistral | Eric Hartford | 無限制聊天、程式編寫 | 極受歡迎、高效率的無審查模型。在程式編寫與一般聊天方面表現出色。在 Ollama 上廣泛可用。 |
MistralThinker | Mistral Small | Undi95 | 故事創作、角色扮演 | 專門的角色扮演模型，採用 DeepSeek 風格的「思考」過程。因其創造力與智慧而受讚譽。 |
Qwen2.5-Instruct-abliterated | Qwen 2.5 | huihui-ai | 無限制聊天 | 透過消融術去審查。性能與原始受審查模型相比各有取捨。 |
MythoMax-L2-13B | Llama 2 | Gryphe | 故事創作、角色扮演 | 創意寫作的「老牌可靠」選擇。是 MythoLogic-L2 與 Huginn 模型的複雜融合。 |
Noromaid-20B | Llama 2 | 未公開 | 故事創作、角色扮演 | 以高品質、描寫細膩的文筆著稱。常與 MythoMax 並列為頂級角色扮演模型。 |
WizardLM-13B-Uncensored | Llama | Eric Hartford | 無限制聊天、角色扮演 | 一個早期且具影響力的無審查模型。透過從資料集中移除對齊回應來進行微調。 |
Gemma-3-27B-IT-Abliterated | Gemma 3 | mlabonne | 無限制聊天、角色扮演 | Google Gemma 3 的實驗性無審查版本，採用新穎的逐層消融技術。 |
Llama 世系：社群的中流砥柱
Meta 的 Llama 模型長期以來一直是開源 AI 社群的基石。它們強大的性能與相對寬鬆的授權（指 Llama 2 與 3）相結合，使其成為無數微調與融合專案的預設起點。
知名模型：Orenguteng/Llama-3.1-8B-Lexi-Uncensored
一個現代、基於 Llama 的無審查模型的典型例子是 Lexi-Uncensored，特別是其基於 Llama-3.1-8B-Instruct 建構的 V2 版本。此模型是一個直接的微調，其明確目標是移除 Meta 官方指令模型中存在的拒絕行為。創作者 Orenguteng 建議，若將此模型作為服務對外提供，使用者應自行實作對齊層，這凸顯了其高度順從的特性。
與此模型相關的一個有趣說法是，去審查的過程似乎提升了它在某些標準評估基準上的分數。Lexi 第一版的模型卡片指出：「Lexi 暗示，單純地將大型語言模型去審查，就能使其更聰明……我們看到，當我們擺脫偏見與拒絕時，評估分數飆升了」。這助長了社群中一個持續的論述，即各大實驗室所應用的安全對齊，可能是以犧牲模型原始的推理與指令遵循能力為代價。在實際使用上，Lexi 需要標準的 Llama 3.1 提示詞模板，並廣泛提供各種量化的 GGUF 格式，使其能透過像 Ollama 等工具在本機部署。
Mistral 的崛起：效率與力量
由 Mistral AI 開發的模型，特別是 Mistral 7B 與專家混合模型（Mixture-of-Experts）Mixtral 8x7B，因其卓越的性能與尺寸比而大受歡迎。它們提供了可與更大模型匹敵的能力，同時所需運算資源顯著減少，使其成為在消費級硬體上進行本機推論的理想選擇。
知名家族：Eric Hartford 的 Dolphin 系列
由 Eric Hartford 創作的 Dolphin 系列模型，是基於 Mistral 的無審查模型中最知名且使用最廣泛的家族之一。像 dolphin-mistral 和 dolphin-mixtral 等變體，是從其各自的基礎模型微調而來，專注於移除審查並提升聊天與程式編寫能力。它們的受歡迎程度，因其能透過像 Ollama 等平台輕鬆取得而放大，使用者只需一道指令就能運行一個能力強大、無審查的模型。
社群對 Dolphin 模型的評價普遍非常正面。它們被認為是強大的全能型選手，一些使用者指出，精心製作的 7B Dolphin-Mistral 融合模型可以「遠超其級別」，提供與更大的 13B 模型相當的性能。雖然一些嚴格的測試展現出偶爾的不一致或無法遵循複雜指令的情況，但對於許多尋求高效且無限制聊天體驗的使用者來說，它們仍然是首選。
知名模型：Undi95/MistralThinker
對於專注於高品質敘事生成的使用者而言，MistralThinker 是一款出色的特化模型。它是 Mistral-Small-24B-Base 模型的微調版，但其關鍵創新在於使用了來自 DeepSeek R1 的蒸餾過程。這賦予了模型一個獨特的功能：一個「思考」過程。在生成最終回應之前，模型會先寫出其內部的思維鏈，並用 <think> 標籤包圍，這有助於它維持敘事的連貫性與邏輯一致性。
MistralThinker 的訓練資料嚴重偏向角色扮演、故事寫作與角色卡（約佔 40%），使其在這些任務上表現得異常出色。社群對該模型的智慧與創造力讚譽有加，一些使用者表示他們「從未見過如此有創造力又聰明的模型」，並且它比許多更大的 70B 模型更能捕捉細節。然而，它並非沒有缺點；使用者注意到了一些重複性問題，以及在單一場景中處理多個角色時的困難。
Qwen 競爭者：性能與消融變體
來自阿里巴巴研究部門的 Qwen 系列模型，已成為開源領域的強大競爭者。它們以在標準基準測試上的強勁表現聞名，尤其是在多語言情境下，並持續在如 Open LLM Leaderboard 等排行榜上名列前茅。
知名模型：huihui-ai/Qwen2.5-7B-Instruct-abliterated
作為消融術力量的證明，最著名的無審查 Qwen 模型之一是 Qwen2.5-7B-Instruct-abliterated。此模型取用官方的
Qwen/Qwen2.5-7B-Instruct 並應用拒絕移除過程，從而無需完整的微調運行，即可產生一個無審查的變體。
這種精準的修改帶來了可衡量的取捨。與原始的受審查版本相比，消融模型在指令遵循評估（IF_Eval）基準上顯示出輕微的提升，但在其他基準（如 TruthfulQA 和 MMLU Pro）上的性能則有所下降。這凸顯了消融術雖然能有效移除拒絕行為，但並非「免費的午餐」，且可能影響模型的其他能力。
圍繞這些模型的社群論述是細緻入微的。一些使用者認為，Qwen 模型開箱即用的審查程度比其 Llama 對應模型要輕，使得消融術的必要性降低。然而，另一些使用者則因特定應用（如分析敏感內容的資料）而需要一個保證不會拒絕任何提示的模型，這使得消融版本變得至關重要。
敘事與角色扮演的特化冠軍
在更廣泛的無審查模型類別中，一個獨特且高度活躍的子類型已經形成，專注於為創意寫作、故事創作與角色扮演而優化的模型。雖然像 llama2-uncensored 這樣的通用無審查模型不會拒絕 NSFW 提示，但它可能缺乏創意使用者所要求的文筆品質、敘事連貫性與角色一致性。此需求催生了一類模型的誕生，它們通常是數個其他微調模型的複雜融合，不僅因其缺乏審查而受讚譽，更因其文學與戲劇才華而備受推崇。
6.1. MythoMax-L2-13B：老牌可靠之選
或許沒有哪個模型比 MythoMax-L2-13B 更能代表這個特化類別。由一位名叫 Gryphe 的使用者所創，它並非簡單的微調，而是 MythoLogic-L2 與 Huginn 這兩個模型的精密融合。該模型採用一種高度實驗性的張量融合技術建構，目標是將 MythoLogic-L2 強大的語言理解能力與 Huginn 廣泛的寫作能力相結合。
在 r/LocalLLaMA 與 r/SillyTavernAI 社群中，MythoMax 經常被稱為「老牌可靠」，並作為衡量其他角色扮演模型的基準。使用者稱讚它能生成引人入勝的小說、主動推動故事發展，並避免了其他模型可能出現的被動性。其影響力之大，以至於它常被用作後續更複雜模型融合的基礎元件。社群多產的貢獻者 TheBloke 提供了多種量化版本的
MythoMax，格式包括 GGUF、GPTQ 與 AWQ，確保了擁有各種硬體的使用者都能接觸到它。
Noromaid-20B：高品質文筆的競爭者
常與 MythoMax 相提並論的是 Noromaid，特別是其 200 億參數的版本。
Noromaid 以產出極高品質、描寫細膩且連貫的文筆而聞名，使其成為優先考慮文學風格的使用者的最愛。社群成員形容其角色扮演能力「令人難以置信且連貫」，其回應「比 MythoMax 活潑得多，也較不演算法化／可預測」。
然而，兩者之間的比較往往歸結於風格與偏好的問題。雖然 Noromaid 因其描寫功力而受讚譽，但一些使用者發現它較為被動，且傾向於主導敘事，而 MythoMax 則被視為在推進故事方面更具協作性與主動性。兩者之間的選擇，通常取決於使用者期望的角色扮演動態。
其他值得注意的角色扮演模型
特化角色扮演模型的領域豐富多樣。其他幾個模型也獲得了顯著的關注：
WizardLM-13B-Uncensored：作為最早且最受歡迎的無審查模型之一，它仍然是通用角色扮演與聊天的堅實且廣泛使用的選擇。Magnum、Cydonia與Tiefighter：這些模型名稱頻繁出現在社群討論中。它們通常是複雜融合的一部分，並被推薦給尋求高度創意、不受拘束或「墮落」（degen）角色扮演體驗的使用者。它們因能遵循角色卡並為敘事注入意想不到的想法而受到稱讚。
新浪潮：Gemma 與其他新興架構
開源領域不斷因各大科技公司發布新的基礎模型而煥然一新。Google 的 Gemma 家族，以其獨特的架構與訓練資料，代表了近期最重要的增補之一。
知名模型：mlabonne/gemma-3-27b-it-abliterated
順應將新技術應用於新架構的趨勢，近期最有趣的模型之一是 gemma-3-27b-it-abliterated。這是 Google 官方
gemma-3-27b-it 模型的實驗性無審查版本。使其特別值得注意的是，它採用了一種新穎的「逐層消融」（layerwise abliteration）技術。此方法並非為整個模型計算單一的拒絕方向，而是獨立地為每一層計算並應用一個拒絕方向，這個過程受到了社群實驗的啟發。
該模型的創作者 Maxime Labonne 指出，Gemma 3 架構似乎對這種形式的消融術特別有「韌性」，在先前被拒絕的提示上達到了非常高的接受率，同時仍能維持連貫的輸出。這一點已由社群回饋證實，Reddit 上的使用者稱讚消融後的 Gemma 模型「完全無審查，且在角色扮演方面相當不錯」，是他們會持續「回頭使用」的模型。這展示了社群能迅速適應並將尖端技術應用於最新可用開源權重模型的能力。
第三部分：實作與部署
要進入開源 NSFW 大型語言模型的世界，不僅僅是下載一個模型檔案；它還涉及理解並組裝一套軟體堆疊，這些軟體旨在於消費級硬體上運行、管理並與這些複雜系統互動。這個生態系的特點是模組化方法，允許使用者混合搭配元件以滿足其特定需求。
業餘愛好者的工具箱：必備軟體
業餘愛好者或開發者的典型本機大型語言模型設置，可理解為一個三層軟體堆疊。底層是後端或推論引擎，負責實際的運算。中間是通用使用者介面，用於載入模型與管理設定。頂層，針對像角色扮演這樣的特定應用，則是特化的前端介面。這種模組化是該生態系的一大優勢；使用者可以在一個後端上運行單一模型，並同時連接多個不同的前端，每個前端都為不同的任務量身打造。
推論引擎與後端
llama.cpp：這個基礎軟體專案使得在消費級硬體上運行大型模型成為可能。它是一個高度優化的 C++ 實作，最初針對 Llama 架構（現已支援許多其他架構），可在 CPU 與 GPU 上運行。它也是 GGUF 模型格式的源頭專案，該格式是本機推論的標準。多數方便好用的工具最終都是建立在llama.cpp之上。Ollama：對於追求簡便的使用者，Ollama 提供了下載與運行模型的流暢體驗。它將模型封裝成一個獨立的服務，可透過單一命令列指令啟動，例如ollama run dolphin-mistral。它處理了模型管理的複雜性，並提供一個具備 OpenAI 相容 API 的本機伺服器，使其易於與其他應用程式整合。
通用使用者介面：Oobabooga/text-generation-webui
通常被稱為「文字生成的 AUTOMATIC1111」（與 Stable Diffusion 圖像生成的事實標準 UI 相比較），Oobabooga 的 text-generation-webui 是本機大型語言模型最受歡迎且功能最全面的圖形介面。它提供一個基於 Gradio 的網頁介面，允許使用者：
- 直接從 Hugging Face 下載模型。
- 使用各種後端（
llama.cpp、Transformers、ExLlamaV2等）載入模型。 - 微調數十個生成參數，如 Temperature、top-p 和 Repetition Penalty。
- 進行不同的聊天模式（指令、聊天、筆記本）。
- 提供一個 OpenAI 相容的 API，供其他應用程式連接。
安裝方式靈活，選項從適用於 Windows、Linux 和 macOS 的一鍵安裝程式，到使用 Conda 或 Docker 的手動設置，滿足了各種技術水平的使用者17。
8.3. 角色扮演前端：SillyTavern
雖然 Oobabooga 提供了一個通用的聊天介面，但角色扮演社群已開發出一個高度特化的前端：SillyTavern。此應用程式本身不運行模型；相反地，它連接到一個後端 API，這個 API 可以是像 OpenAI 這樣的商業服務，或者（對無審查社群而言更常見的）由 Oobabooga 或 Ollama 提供的本機託管模型。
SillyTavern 是專為基於角色的互動而打造的，提供豐富的功能集，包括：
- 對「角色卡」的進階管理，角色卡包含角色的個性、描述與範例對話。
- 一個「知識庫」（lorebook）或「世界資訊」（world info）系統，允許使用者定義關鍵詞、地點或事件，模型可在長對話中參考這些資訊以維持上下文。
- 對對話歷史的精細控制，允許使用者編輯、刪除與分支訊息。
- 一套專為創意寫作與角色扮演需求量身打造的取樣器設定與提示詞格式化選項。
理解模型格式與量化
一個大型語言模型原始的、全精度的權重，對於在消費級硬體上運行來說實在太大了。例如，一個 130 億參數的模型，在其原生的 16 位元格式下，將需要超過 26 GB 的 VRAM。為了讓這些模型普及，社群依賴標準化的檔案格式與一個稱為量化（Quantization）的過程。
GGUF 格式：本機大型語言模型的事實標準
GGUF（Georgi Gerganov Universal Format）是目前透過 llama.cpp 及其衍生工具進行本機推論的模型的標準檔案格式。它作為舊版 GGML 格式的後繼者被引入，並提供了幾個關鍵優勢，包括更穩健的 Tokenization、對特殊詞元的支援，以及在單一模型檔案內儲存可擴充元資料的能力。當使用者為了使用像 Oobabooga 或 Ollama 等工具而在本機下載模型時，他們最常下載的是副檔名為 .gguf 的檔案。
GPU 專用格式：GPTQ 與 AWQ
對於打算專門在 GPU 上運行模型的使用者，存在幾種提供不同性能特性的專用格式：
- GPTQ（Generative Pre-trained Transformer Quantization）：在 GPU 上進行 4 位元量化最早且最受歡迎的方法之一。它提供了出色的模型壓縮，但與較新的技術相比，推論速度有時可能較慢。
- AWQ（Activation-aware Weight Quantization）：一種較新的量化方法，通常提供比 GPTQ 更快的推論速度。它特別適合高吞吐量的服務場景，並受到像 vLLM 這樣的進階推論伺服器支援。
位元精度的取捨（量化等級）
量化是降低模型權重數值精度的過程。例如，一個權重可能從一個 16 位元的浮點數轉換為一個 4 位元的整數。這會顯著減少模型的檔案大小與 VRAM 佔用，通常也會帶來更快的推論速度。然而，這種壓縮是以犧牲部分性能為代價的，因為在此過程中會遺失資訊。
Hugging Face 上的模型提供者，如 TheBloke，通常會提供多種量化等級的模型。這些等級由像 Q4_K_M、Q5_K_S 或 Q8_0 這樣的代碼表示。在此表示法中，數字通常指每個權重的位元數（例如，Q4 是 4 位元，Q8 是 8 位元）。字母則指不同的量化策略，其中「K-quant」（_K）方法較新，且通常因其更佳的品質與尺寸比而受到青睞。選擇使用哪種量化等級涉及直接的取捨：
- 較低的位元數（例如，Q2、Q3）：檔案最小，VRAM 使用量最低，但品質損失最顯著。模型可能變得較不連貫或「智慧」。
- 較高的位元數（例如，Q6、Q8）：檔案最大，VRAM 使用量最高，但性能更接近原始、未量化的模型。
- 甜蜜點：對許多模型與使用者而言，
Q4_K_M量化等級被認為是最佳的平衡點，提供了良好的壓縮與性能，且品質損失可接受。
表 2：量化格式比較
| 格式 | 主要用途 | 優點 | 缺點 |
| GGUF | 彈性的 CPU 及／或 GPU 推論。多數本機使用者的標準。 | 高度相容；幾乎可在所有硬體上與 llama.cpp 搭配使用。單一檔案分發簡便。提供多種量化等級。 | 在高吞吐量場景中，性能可能不如 GPU 專用格式。 |
| GPTQ | 僅限 GPU 推論。 | 壓縮效果好。受到舊版及現行推論函式庫（如 text-generation-webui）廣泛支援。 | 可能比 AWQ 慢。彈性不如 GGUF，因無法在 CPU 上運行。 |
| AWQ | 高性能僅限 GPU 推論。 | 推論速度極快。受到像 vLLM 等進階伺服器支援，適用於高吞吐量應用。 | 格式較新，支援度可能不如 GPTQ 廣泛。需要 GPU。 |
硬體考量：以 VRAM 為核心的指南
在本機運行大型語言模型，最重要的限制因素是使用者顯示卡上可用的視訊記憶體（VRAM）數量。雖然模型可以在 CPU 上運行，但性能慢上好幾個數量級，因此一張有能力的 GPU 對於獲得反應迅速的體驗是很關鍵的。
模型大小、量化與 VRAM 使用量之間的關係，是任何本機大型語言模型使用者都必須計算的核心問題。模型的 VRAM 需求大致上與其參數數量及權重的位元精度成線性關係。例如，一個 70 億參數的模型，在半精度（FP16，即 16 位元）下，僅權重部分就需要約 14 GB 的 VRAM，再加上上下文與活化值的額外開銷。透過將同一個模型量化到 4 位元（減少 4 倍），權重的 VRAM 需求降至約 3.5 GB，使其能在更廣泛的 GPU 上運行。
社群已發展出一套清晰的模型選擇啟發法：在您的 VRAM 預算內，運行能舒適容納的最大可能模型，並使用最高的可能量化等級。擁有像 RTX 3090 或 4090 這樣高階 24 GB GPU 的使用者，可以奢侈地選擇一個非常大的 70B 模型搭配低位元量化（例如 Q2 或 Q3），或一個中等大小的 30B 模型搭配較高品質的量化（例如 Q5 或 Q6）。相反地，擁有較常見 8 GB GPU 的使用者，將被限制在較小的 7B 模型，且可能需使用 Q4 量化等級。
下表綜合了社群討論與技術指南的資料，提供了一個實用的估算，說明在常見的消費級 GPU VRAM 容量下，哪些模型大小與量化等級是可行的。
表 3：GGUF VRAM 需求估算圖
| VRAM 容量 | 7B／8B 模型 | 13B／14B 模型 | 30B／34B 模型 | 70B 模型 |
| 8 GB | Q6_K／Q8_0 | Q4_K_M | IQ3_M | IQ2_XXS |
| 12 GB | FP16 | Q6_K | Q4_K_M | IQ3_M |
| 16 GB | FP16 | Q8_0 | Q5_K_M | Q4_K_M |
| 24 GB | FP16 | FP16 | Q6_K | Q5_K_M |
| 48 GB | FP16 | FP16 | FP16 | Q6_K |
註：此圖表提供運行中等上下文長度（例如 4K-8K 詞元）模型的估算。需求可能隨上下文長度增加而增加。「FP16」指未量化的 16 位元模型。量化等級基於社群在品質與大小之間取得平衡的「甜蜜點」。
社群論述與建議
社群的聲音：綜合 r/LocalLLaMA 的觀點
對於像無審查大型語言模型這樣一個利基且快速發展的領域，傳統的學術基準測試往往無法捕捉到對終端使用者最重要的品質。標準的排行榜衡量的是數學、程式編寫與事實回憶等任務的性能，但它們不評估創造力、敘事連貫性、角色一致性或文筆品質，但這些指標對於評估 NSFW 模型的主要用途（角色扮演與創意寫作）的有效性卻是重要的。
因此，此領域最可靠且相關的「基準」，並非見於學術論文，而是存在於使用者社群本身集體、持續的論述中。在 r/LocalLLaMA 與 r/SillyTavernAI 等子版上的無數討論串中，使用者為特定的創意任務嚴格測試、比較並辯論不同模型的優劣，形成了真正的排行榜。本節綜合了社群共識，以提供實用、由使用者驅動的建議。
頂級色情角色扮演（RP）與故事創作模型
當談到創意與色情寫作時，社群一致推崇一類經過高度調整的特化模型。
- 中堅份子：
MythoMax-L2-13B幾乎被普遍推薦為頂級的故事創作模型。它因主動且富有創意而受讚譽，常被形容為「老牌可靠」。其對應模型Noromaid-20B則以其卓越的描寫性文筆與較不可預測的回應而備受推崇，儘管有些人覺得它可能過於被動。兩者之間的選擇通常是個人寫作風格偏好的問題。 - 新生代：隨著新的基礎模型發布，新的冠軍也隨之出現。
Undi95/MistralThinker，一個 24B 模型，因其智慧與創造力而備受讚譽，使用者聲稱它在處理細微之處的能力上超越了更大的模型。 - 「墮落」最愛：許多其他模型與融合，包括
Magnum、Cydonia與Tiefighter，經常被推薦給尋求高度不受拘束且富有創意的體驗的使用者。這些模型常因其「能將幾乎任何事物瞬間轉為 NSFW」的能力，以及生成長篇、詳細故事的能力而受到稱讚。 - 微調的重要性：社群討論中一個反覆出現的主題是，對於角色扮演而言，微調的品質通常比模型的原始大小更重要。一個經過良好微調的 13B 或 22B 模型，往往能提供比一個通用的、未經調整的 70B 模型更好的創意寫作體驗，這證明了特化訓練資料的價值。
頂級通用、無限制聊天模型
對於主要目標並非創意寫作，而是尋求一個強大、無限制的聊天機器人或助理的使用者，推薦的模型則轉向那些優先考慮原始智慧與順從性的模型。
- 消融模型：此用途的首選通常是頂級性能基礎模型的消融版本。
mlabonne/gemma-3-27b-it-abliterated是目前的熱門選擇，因其完全無審查，同時保留了基礎模型的大部分智慧而受到稱讚。同樣地，Qwen 模型的消融版本對於需要處理潛在敏感資料而又不觸發拒絕的使用者來說也很受歡迎。 - Dolphin 家族：來自 Eric Hartford 的
Dolphin系列模型，特別是dolphin-mistral，仍然是易於使用、能力強大且無審查的聊天模型的首選推薦。其與 Ollama 的無縫整合，使其成為新使用者最容易上手的選項之一。
社群來源的提示詞與配置技巧
要讓這些模型發揮最佳性能，不僅僅是載入它們；還需要仔細的提示詞設計與配置。
- 系統提示詞的力量：社群極度重視系統提示詞。對於一般的無審查用途，提示詞常包含明確的指令，將 AI 框架為一個「無審查且不受約束」的實體，這是一種旨在覆寫任何潛在對齊的技巧。對於角色扮演，「角色卡」則作為系統提示詞，並被認為是定義角色個性、背景與說話模式最關鍵的元素。
- 微調取樣器設定：進階使用者很少固守預設的生成設定。在像 SillyTavern 與 Oobabooga 這樣的介面中，他們會 meticulously 調整如 Temperature、
Top P、Min P與 Repetition Penalty 等參數，以找到特定模型的「甜蜜點」。沒有通用的最佳設定；較高的溫度能增加創造力，但可能導致不連貫，而較低的溫度則使模型更可預測。找到適當的平衡是達到期望輸出風格的關鍵。
無審查 AI 的現況與未來
開源 NSFW 與無審查大型語言模型的版圖，是社群驅動創新力量的明證。它作為一個充滿活力且具韌性的平行生態系運作，迅速地將大企業發布的強大基礎模型，改造以服務那些優先考慮創作自由與不受限制技術存取權的使用者群體的需求與渴望。分析顯示，「主流」或「最佳」模型的概念是流動的，它並非由靜態的學術基準定義，而是由一個重視敘事品質與順從性高於一切的社群不斷演變的共識所定義。整個生態系之所以可能，是建立在一個穩固的技術堆疊之上，從普及存取權的 llama.cpp 引擎與 GGUF 量化格式，到使互動強大直觀的 Oobabooga 與 SillyTavern 等精密使用者介面。
幾個關鍵趨勢將塑造此領域的未來：
- 機械可詮釋性的進展：「消融術」的興起可能僅是個開端。隨著研究社群對大型語言模型內部運作的理解加深，我們可以預期將出現更精密、更具手術刀般精準度的模型編輯工具。這可能讓使用者不僅能移除如拒絕等不想要的行為，還能添加或放大期望的特質，例如特定的寫作風格或個性，而無需昂貴的重新訓練。
- 基礎模型的軍備競賽：無審查社群的進展，與業界巨頭提供的開源權重基礎模型的品質密不可分。來自 Meta、Mistral AI、Google 與新興參與者的未來發布，將為新一波創新的微調、融合與消融變體提供燃料，持續推動在本機硬體上可能實現的界限。
- 專業化的深化：目前通用無審查模型與特化角色扮演模型之間的分歧可能會加深。我們可以預期，為日益特定的敘事利基而微調的模型將會發展，例如特定的文學類型（如硬科幻、哥德式恐怖）、寫作風格（如模仿特定作家），甚至是複雜的遊戲機制。
- 法律與倫理的前沿：隨著這些強大、不受限制的模型變得更有能力且更易取得，開源自由原則與對潛在濫用擔憂之間的社會張力將不可避免地增長。社群的「使用者責任」精神，體現在「您需為使用此模型所做的任何事負責」7的免責聲明中，將面臨日益嚴格的審視，這將帶來複雜的法律與倫理挑戰，並塑造開源 AI 發展的未來。
