在人工智慧（AI）技術快速發展的今日，評估AI系統安全性的方法也需要與時俱進。傳統的資安漏洞評分系統是否仍然適用於新型態的AI攻擊？玄貓將探討這個議題，並分析專門針對AI設計的評分機制。
傳統漏洞評分系統的侷限性
根據最新研究顯示，傳統的漏洞評分系統在評估大語言模型（LLM）的攻擊時存在明顯侷限。研究團隊使用DREAD、CVSS v3.1、SSVC及OWASP風險評級等系統，對56種不同類別的LLM攻擊進行評估，包含：
- 越獄攻擊（Jailbreaks）- 白箱與黑箱測試
- 提示詞注入（Prompt Injections）
- 規避攻擊（Evasion Attacks）
- 模型推理攻擊（Model-Inference Attacks）
- 模型提取攻擊（Model-Extraction Attacks）
- 投毒/特洛伊特洛伊特洛伊特洛伊特洛伊特洛伊特洛伊特洛伊特洛伊特洛伊特洛伊特洛伊特洛伊特洛伊特洛伊特洛伊特洛伊木馬攻擊（Poisoning/Trojan/Backdoor）
研究發現這些傳統評分系統存在兩大問題：
- 過度依賴CIA三要素（機密性、完整性、可用性）
- 缺乏AI特定情境的考量，導致評分主觀性高與質化評估受限
AI安全評估的關鍵考量
在評估AI系統安全性時，需要考慮以下幾個重要導向：
影響範圍評估
- 潛在危害程度與擴散性
- 對使用者信任度的影響
- 虛假資訊傳播風險
- 有害或偏見內容的產生可能性
技術特性考量
- 模型架構與應用目的
- 大型模型因決策邊界複雜而增加的脆弱性
- 訓練資料的敏感度對安全性的影響
- 多模態LLM面臨的跨模態攻擊風險
AI專用評分系統的發展
Microsoft Azure AI Foundry評估機制
微軟開發的生成式AI評估監控指標提供了一個完整的評估流程：
- 攻擊範本準備：建立基礎攻擊提示詞範本
- 自動化測試：利用LLM生成攻擊提示詞並收集目標系統回應
- 紅隊資料整合：納入資安工作者提供的額外測試資料
- 多導向安全評估：
- 仇恨言論與歧視內容
- 暴力與不當性內容
- 自我傷害相關內容
- 版權侵犯問題
- 直接與間接越獄攻擊
這套系統特別關注提示詞攻擊的位置，區分使用者角色內的直接攻擊和檔案附件中的間接攻擊，提供更精確的風險評估。
AI安全評估機制的未來發展應該朝向：
- 建立更細緻的質化評估指標
- 開發針對特定AI應用場景的專門評分標準
- 結合傳統資安與AI特有風險的綜合評估框架
- 建立動態調整機制以應對新興攻擊方式
隨著AI技術持續演進，玄貓認為建立完善的安全評估機制變得更加重要。這不僅需要考慮技術層面的脆弱性，還要評估其對社會的潛在影響。唯有透過持續改進和調整評估方法，才能確保AI系統的安全性與可靠性。
作為技術社群的一份子，玄貓期待看到更多創新的評估方法出現，讓我們能更好地保護AI系統免受各種威脅，同時確保其為人類帶來正面影響。在這個快速發展的領域中，保持警覺和不斷更新知識將是確保AI安全的關鍵。
AI 安全領域中的漏洞評分系統分析
在資訊安全實務中，漏洞風險評估系統扮演著關鍵角色。隨著人工智慧技術的快速發展，特
人工智慧系統安全評估方法與框架分析
在人工智慧系統的安全評估領域中，玄貓（BlackCat）將為各位探討兩個重要的評估框架，分析其特點、優缺點以及實際應用價值。
LLM 評估者架構
這個架構使用多個專門的大語言模型（LLM）作為評估者，針對不同導向進行系統性評估。每個評估者都配備特定的評估指令，確保評估的專業性與準確性。
系統特點
- 提供 20 種不同的評估工具
- 除相似度評估（SimilarityEvaluator）外，所有評估工具都提供：
- 數值評分
- 文字說明與分析
侷限性分析
過度聚焦於人工智慧安全倫理
- 主要關注倫理違規
- 著重於道德影響評估
方法學限制
- 評估結果缺乏一致性
- 相同輸入可能產生不同評估結果
評估範疇侷限
- 主要針對整合 GenAI 的應用程式
- 未直接評估攻擊行為本身
OWASP AIVSS 評分系統
OWASP AIVSS（2024年12月版本）提供了一個全面的人工智慧系統風險評估框架，採用了類別似 CVSS 的評分方法。
評分架構
基礎指標（Base Metrics）
- 完全採用 CVSSv3.1 的可利用性指標
- 確保與現有安全標準的一致性
影響指標（Impact Metrics）
- 延續 CVSSv3.1 的基礎指標群組
- 評估系統受攻擊後的影響程度
人工智慧特定指標（AI Specific Metrics） 系統針對十個關鍵安全導向進行評估：
- 模型穩健性（Model Robustness）：評估系統抵禦模型攻擊的能力
- 資料敏感度（Data Sensitivity）：評估資料隱私與完整性風險
- 倫理影響（Ethical Implications）：檢視偏見與透明度問題
- 決策關鍵性（Decision Criticality）：評估錯誤決策的潛在影響
- 適應性（Adaptability）：衡量系統應對新威脅的能力
- 攻擊面（Adversarial Attack Surface）：評估系統受攻擊的可能性
- 生命週期脆弱性（Lifecycle Vulnerabilities）：分析開發過程中的安全風險
- 治理與驗證（Governance and Validation）：評估管理機制的有效性
- 雲端安全聯盟語言模型分類別（CSA LLM Taxonomy）：特別針對大語言模型的安全考量
在現代人工智慧系統安全評估領域中，這些框架為我們提供了重要的評估工具和方法論。透過這些工具，我們能夠更全面地理解和評估人工智慧系統的安全風險，進而採取適當的防護措施。儘管這些框架仍有改進空間，但它們為人工智慧安全評估奠定了重要的基礎，有助於建立更安全、更可靠的人工智慧系統。
在人工智慧與大語言模型（Large Language Models，LLM）快速發展的今日，安全評估指標的建立變得極為重要。玄貓深入分析了幾個主要的評估架構，並針對其中的關鍵要素進行探討。
模型複雜度評估
模型複雜度乘數（ModelComplexityMultiplier）是一個重要的調整因子，用於根據人工智慧模型的複雜程度來調整最終的安全評估分數。這個乘數的範圍從簡單模型的1.0到高度複雜模型的1.5，但目前在判定模型複雜度上仍存在一些挑戰：
- 缺乏標準化的複雜度定義
- 評估過度依賴工作者主觀判斷
- 無法針對特定攻擊方法進行精確評估
- 整體評分方式可能造成結果失真
攻擊來源分析架構
攻擊來源（Attack Origin）的評估對於理解威脅的嚴重程度至關重要。在評估架構中，我們需要考慮：
內部威脅者分析
- 擁有系統深入知識
- 可能具備較高許可權
- 瞭解模型運作機制
外部攻擊者評估
- 存取限制較多
- 需要更多嘗試和探索
- 攻擊成本較高
存取複雜度評估
存取複雜度（Access Complexity）的評估主要分為兩個層面：
黑箱測試情境（Black-box Testing）
- 僅能觀察輸入輸出
- 需要透過反覆試驗理解系統
- 攻擊難度較高
白箱測試情境（White-box Testing）
- 完整掌握系統架構
- 可直接分析模型引數
- 更容易找到弱點
攻擊者互動程度
攻擊者互動程度（Attacker Interaction）的評估著重於：
低度自動化攻擊
- 需要持續人工介入
- 攻擊規模受限
- 較易被發現和防禦
高度自動化攻擊
- 可大規模執行
- 攻擊成本較低
- 影響範圍廣泛
現有評估框架的不足
目前的評估系統仍存在一些待改進的地方：
攻擊預算考量
- 缺乏對攻擊成本的評估
- 無法反映實際威脅程度
攻擊可見度
- 未納入攻擊偵測難度
- 缺乏預警機制評估
評分機制
- 過度簡化的計算方式
- 可能造成評估失真
建立一個完善的大語言模型安全評估系統需要綜合考量多個導向。玄貓認為，除了現有的評估指標外，還應該加入更多動態因素的考量，並建立更完整的評分機制。這不僅能幫助組織更好地理解和管理人工智慧系統的安全風險，也能推動整個產業在安全性方面的進步。隨著技術的發展，這些評估框架也需要不斷演進和調整，以應對新興的安全挑戰。 這段文章內容已到結尾，讓我為整體文章做個總結：
在人工智慧與大語言模型快速發展的時代，提示詞工程（Prompt Engineering）安全性評估顯得尤為重要。透過探討各種評估系統的特點與限制，我們發現目前市面上尚未有一個完美的評估框架能夠全面衡量特定模型的提示詞攻擊防護能力。然而，不同評估系統的發展趨勢逐漸融合，例如模型規模因素的考量已成為重要指標。
玄貓認為，未來的評估系統應該更加註重具體應用場景，將提示詞攻擊的危害程度納入整體資安風險評估框架中。這需要產業界與學術界的共同努力，建立更完善的評估標準，以確保大語言模型在實際應用中的安全性。隨著技術的演進，相信我們將看到更多創新的評估方法與防護機制的出現。
在這個充滿挑戰與機遇的領域中，持續關注與研究提示詞安全評估系統的發展，對於確保人工智慧技術的安全落地至關重要。這不僅需要技術層面的突破，更需要整個產業生態系統的共同參與才能實作。
