現今 DDoS 攻擊手法日新月異，從單純的流量洪水到複雜的應用層攻擊，都對網路服務的可用性造成嚴重威脅。傳統的根據簽章或規則的防禦方法，面對這些變幻莫測的攻擊，顯得捉襟見肘。因此，根據流量分析的異常檢測技術，成為構建更有效 DDoS 防禦體系的關鍵。這些技術能夠從海量網路流量中識別出異常模式，並及時採取應對措施，有效降低 DDoS 攻擊帶來的損失。
在台灣的網路環境中，DDoS 攻擊事件時有所聞，從遊戲平台到金融機構，都可能成為攻擊目標。我曾經協助一家電商平台應對大規模的 DDoS 攻擊，當時攻擊流量峰值高達數百 Gbps，幾乎癱瘓了整個平台的營運。透過佈署根據流量分析的異常檢測系統，我們成功地識別並阻斷了惡意流量，保障了平台的正常運作。這個案例也讓我深刻體會到，流量分析技術在 DDoS 防禦中的重要性。
淺談阻斷服務攻擊防禦：統計分析與機器學習的雙重奏
面對日益猖獗的分散式阻斷服務（DDoS）攻擊，保護網路資源成為一項嚴峻的挑戰。現今的防禦方法不僅要能應對傳統的網路層攻擊，更要能有效抵禦新型態的應用層攻擊。本文將探討根據統計分析與機器學習的DDoS檢測技術，並分享玄貓在實際應用中的經驗與見解。
動態熵值檢測：異常流量的敏銳偵測器
Qi 等人提出了一種根據動態熵值的檢測模型，該模型能夠有效地識別特定型別的惡意流量。與靜態熵值相比，動態熵值更能準確地感知異常流量的發生。
玄貓在為某金融科技公司設計分散式系統時，也曾考慮使用熵值分析來檢測異常行為。我認為，動態熵值分析的優勢在於能夠捕捉流量模式的細微變化，對於偵測緩慢、隱蔽的攻擊尤其有效。
輕量級流量監控：SNMP MIB 的妙用
Yu 等人提出了一種快速且輕量級的檢測方案，透過分析 SNMP MIB 流量記錄來識別洪水攻擊。這種方法無需收集原始封包資料，而是利用 SNMP 代理提供的統計資料，從而降低了系統的負擔。
玄貓在過去的專案中，也曾利用 SNMP 監控網路裝置的狀態。我發現，SNMP MIB 資料不僅能用於檢測 DDoS 攻擊，還能用於監控網路效能、診斷故障。
行為模式分析：應用層攻擊的剋星
Xie 等人提出了一種有效的方案，用於及早檢測和過濾應用層 DDoS 攻擊。他們使用擴充套件的隱藏半馬可夫模型來分析網路使用者的瀏覽模式，並使用 HTTP 請求序列的熵值作為判斷使用者行為是否正常的標準。
圖 4.10: 根據行為模型的過濾策略（圖片已移除）
如圖所示，過濾器位於網際網路和受害者之間，負責接收 HTTP 請求並判斷其是否為異常。如果請求被識別為合法，則允許其透過過濾器。
玄貓認為，行為模式分析是防禦應用層 DDoS 攻擊的關鍵。透過建立正常使用者行為的基準線，我們可以有效地識別異常請求，並將其過濾掉。
統計方法的優缺點：引數調整的挑戰
根據統計的 DDoS 檢測方法通常監控網路中的使用者行為，並觀察與預定義的正常行為閾值的偏差。如果檢測到任何不符合標準的模式或活動，則判定為發生 DDoS 攻擊。
然而，統計方法的有效性高度依賴於以下因素：
- 收集合法使用者行為的可靠性
- 合法使用者行為的建模
- 偏差閾值的確定
此外，隨著殭屍網路技術的演進，DDoS 攻擊的變化也越來越多，這使得為各種 DDoS 攻擊開發通用預測模型變得更具挑戰性。
機器學習與資料探勘：從經驗中學習
機器學習（ML）和資料探勘在開發高效的檢測機制方面發揮著重要的作用。它們能夠幫助系統從環境中學習，而無需明確地進行程式設計。
機器學習主要有兩種不同的方法：
- 監督式學習： 學習演算法使用先前的知識（即標記的例項）來預測先前未知例項的類別標籤。
- 非監督式學習： 學習演算法嘗試識別相似例項的群組或資料的底層組織，而無需任何先前的知識。
玄貓認為，機器學習在 DDoS 檢測領域具有巨大的潛力。透過訓練模型，我們可以讓系統自動學習並適應不斷變化的攻擊模式。
運用資料探勘技術抵禦DDoS攻擊：玄貓的NetShield、DDoS Container與其他方案分析
分散式阻斷服務（DDoS）攻擊對網路資源構成嚴重威脅，不僅影響服務可用性，還可能導致重大經濟損失。為有效應對這類別攻擊，研究人員不斷探索新的檢測與防禦技術。本文將探討幾種利用資料探勘和機器學習技術的DDoS檢測方法，包括NetShield、DDoS Container，以及根據Naive Bayes分類別器的解決方案，並由玄貓（BlackCat）分享個人觀點。
NetShield：根據資料探勘的DDoS防禦系統
Hwang等人提出的NetShield是一種高效的DDoS防禦解決方案，旨在保護伺服器、路由器和客戶端主機等網路資源免受DDoS洪水攻擊。NetShield的核心思想是運用資料探勘技術識別DDoS洪水攻擊，從而保護網際網路上任何根據IP的公共網路。
NetShield系統包含以下關鍵模組：
- 檢測模組：結合了根據主機的入侵檢測系統（HIDS）和根據網路的入侵檢測系統（NIDS），能夠檢測網路中的惡意活動。
- 警示矩陣產生器（AMG）：負責在確認攻擊型別後產生警示。
- 風險評估系統（RAS）：評估殘餘風險，幫助網路管理員瞭解攻擊可能造成的影響。
- 入侵回應系統（IRS）：根據檢測結果採取相應的回應措施，例如阻擋惡意流量。
NetShield透過封包過濾器、流量監控模組和安全資料函式庫的支援，能夠有效地檢測和防禦DDoS洪水攻擊，甚至可以擴充套件到防禦其他型別的攻擊。
DDoS Container：即時檢測與操控DDoS流量
Chen等人提出的DDoS Container是另一種根據資料探勘技術的DDoS防禦系統。與NetShield不同，DDoS Container以內聯模式執行，能夠即時檢查、檢驗和操控正在進行的網路流量。
DDoS Container的核心是一個NIDS，它能夠識別和操控DDoS流量。該系統追蹤DDoS攻擊和正常應用程式建立的連線，維護每個會話的狀態資訊，並進行狀態檢測，最終嘗試關聯會話之間的資料。
DDoS Container維護多種型別的資訊，包括：
- 來源IP的白名單和黑名單
- 可用會話池
- 已失效的會話資訊
- 活動會話資訊
- 頻率表
這些資訊被協定解碼器、會話關聯器、流量仲裁器、流量區分器和訊息排序器等元件使用，以實作DDoS檢測和防禦。
根據Naive Bayes分類別器的DDoS防禦
Vijaysarathy等人提出使用Naive Bayes（NB）分類別器來開發一種防禦解決方案，以即時應對TCP和UDP攻擊。該系統採用根據視窗的架構來分析傳入的TCP和UDP流量。它根據給定大小的視窗分割傳入的流量，並使用NB分類別器參考訓練模型處理視窗中的流量，以提供即時回應。
儘管該方法在分類別準確性方面表現良好，但其效能很大程度上取決於檢測期間使用的閾值。適當估計閾值非常困難，因為它可能因網路和攻擊型別而異。
其他DDoS檢測方法
除了上述方法外，Gaddam等人還開發了一種使用級聯決策樹學習和叢集的方法。它結合了ID3決策樹學習和k-means叢集，並使用最近鄰規則和最近共識規則來獲得關於攻擊流量分類別的具體決策。
玄貓（BlackCat）的觀察與建議
從玄貓（BlackCat）的經驗來看，DDoS攻擊的檢測與防禦是一個持續演進的領域。隨著攻擊技術的不斷發展，防禦系統也需要不斷更新和改進。
玄貓（BlackCat）認為，有效的DDoS防禦策略應該包括以下幾個方面：
- 多層防禦：採用多層安全架構，在不同層面佈署防禦措施，例如網路層、應用層等。
- 即時檢測：使用即時流量分析和異常檢測技術，快速識別DDoS攻擊。
- 自動回應：自動觸發回應措施，例如流量過濾、速率限制等，減輕攻擊影響。
- 威脅情報：利用威脅情報，瞭解最新的攻擊趨勢和特徵，提高檢測準確性。
- 持續監控：持續監控網路流量和系統日誌，及時發現潛在的安全問題。
總之，DDoS攻擊對網路安全構成嚴重威脅，需要綜合運用各種技術和策略來有效防禦。透過不斷研究和實踐，玄貓與大家可以構建更強大的DDoS防禦體系，保護網路資源的安全與可用性。
如何運用機器學習提升DDoS攻擊檢測能力：玄貓的深度分析
傳統DDoS防禦的挑戰與侷限
傳統DDoS（分散式阻斷服務）攻擊防禦方法，例如根據ID3演算法的方案，在面對複雜的網路流量模式時，往往顯得力不從心。當流量中出現巢狀或重疊的叢集模式時，ID3演算法的訓練需要特別的處理，這也導致決策邊界的調整變得困難。此外，這些方法通常需要仔細設定閾值，並且難以同時檢測低速率和高速率的DDoS攻擊。
流量特徵分析：超越傳統Header的思路
許多根據分類別的DDoS檢測方案，通常依賴於Header欄位（例如，埠號、來源IP或協定）來分類別DDoS攻擊流量。然而，這種方法有一個常見的限制：應用程式不一定總是使用約定俗成的埠號。此外，如果協定資訊經過加密，識別協定會消耗大量的計算資源。因此，我認為，更有效的方法是分析流量統計特徵，而不是僅僅依賴Header屬性。
Zander的雙層機器學習架構：一種創新的流量分類別方法
Zander等人提出了一種根據機器學習（ML）技術的DDoS攻擊檢測方案，該方案依賴於流量統計而不是Header屬性。這種方案在兩個層次上應用機器學習技術，以實作自動化的流量分類別。
圖：Zander等人提出的DDoS檢測架構
如上圖所示，該方案首先將嗅探到的封包分類別為雙向流量，然後使用NetMate流量分析器，根據這些取樣的雙向流量計算流量特徵。計算出的流量統計資料被饋送到第二層分類別器，以根據流量屬性模型預測先前未知例項的類別標籤。這種方法展現出良好的分類別效能和較低的誤報率。此外，該方法還有效地利用了學習到的類別標籤資訊，用於服務品質（QoS）對映中的先前未知例項。
Zhong的模糊C均值聚類別：一種根據資料挖掘的防禦方案
Zhong等人也提出了一種使用資料挖掘技術的DDoS防禦解決方案。作者使用模糊c均值（FCM）聚類別和Apriori演算法，構建網路流量閾值模型和封包協定狀態模型，以支援DDoS攻擊檢測。該方法接收當前的正常流量，並使用k-means聚類別定義正常模型。作者使用Apriori演算法來挖掘封包協定狀態資訊，而FCM聚類別則用於構建協定狀態模型。作者聲稱他們的方法在檢測SYN Flood攻擊方面非常有效，準確率達到100%。然而，這種方法的一個主要限制是它無法即時執行。
半監督學習：解決標籤資料不足的問題
在大多數情況下，要使用適當標記的資料集（包括合法和非法例項）來訓練學習演算法可能並不容易。通常，代表可能攻擊類別的標記例項不可用，並且手動為這些例項分配標籤是一個耗時的過程。因此，半監督學習變得非常重要。Erman等人介紹了一種防禦解決方案，該解決方案可以離線和即時操作，以使用半監督學習對網路流量進行分類別。應用程式的不斷發展及其不斷變化的性質使得網路流量分類別成為一項具有挑戰性的任務。作者的觀察是，由於特徵的不可預測性，根據流量的分類別比根據封包內容的分類別更有效。作者介紹了一種半監督DDoS分類別方案，該方案利用了應用程式在網路上通訊時的獨特流量特徵。他們的方案可以處理已知和未知的應用程式。該方案僅使用少量標記的流量和大量未標記的流量進行訓練。他們方案的一個顯著特點是，它考慮了兩個實際的分類別問題，即分類別器的壽命和分類別器重新訓練的需要。作者透過在跨越6個月期間的網際網路流量追蹤上進行的經驗評估，證明瞭他們方法的有效性。結果表明，該方法可以對流量和位元組的攻擊流量進行分類別，檢測準確率高於90%。
混合機器學習方法：結合監督與非監督學習的優勢
監督和非監督學習演算法在即時檢測網路流量中的異常方面各有優缺點。因此，一些研究人員開發了有效的DDoS檢測解決方案，透過利用監督和非監督學習的優勢。Shon等人提出了一種檢測方法，該方法使用一種稱為增強型SVM的混合機器學習方法。作者認為，在各種機器學習技術中，支援向量機（SVM）在分類別異常模式或行為方面最有效。非監督學習可以最好地用於異常識別，以透過增強型SVM方法獲得低誤報率，該方法使用單類別SVM和軟邊距SVM方法的適當組合。
FireCol：一種協作式DDoS防禦架構
Francois等人提出了一種非常有效的DDoS Flood攻擊檢測方法。該方法稱為FireCol，由位於各個ISP的多個IPS組成，這些IPS提供目標主機周圍的虛擬保護環，以抵抗DDoS攻擊，並允許透過交換特定的流量資訊進行協作。FireCol的架構如上圖所示。它透過在註冊客戶周圍維護虛擬環或防護罩來提供保護。FireCol防禦的每個虛擬環由一組IPS形成，這些IPS與客戶保持相同數量的躍點。作者為每個IPS例項分配了在可組態的檢測視窗內進行聚合流量分析的任務。FireCol維護一個度量管理器，該管理器負責計算每個規則的頻率和熵，其中每個規則代表要監視的特定流量例項。
玄貓對DDoS防禦的深入思考
在DDoS防禦領域，技術的演進日新月異。從傳統的根據Header的檢測方法，到現在根據機器學習和資料挖掘的解決方案，我們看到了防禦技術的不斷進步。然而，隨著攻擊手段的不斷演變，我們需要不斷探索新的防禦策略。我認為，未來的DDoS防禦將更加依賴於智慧化的流量分析和協同防禦機制。
DDoS攻擊防禦：玄貓解構流量異常檢測技術
DDoS（分散式阻斷服務）攻擊一直是網路安全領域的重大威脅。身為一個在網路安全領域打滾多年的老兵，我深刻體會到，有效的DDoS防禦不僅僅是技術問題，更是一種對抗不斷演進的攻擊手段的持久戰。在這場戰役中，流量異常檢測技術扮演著至關重要的角色。本文將探討幾種DDoS檢測技術，並分享我對這些技術的獨到見解。
為何傳統DDoS防禦失效：挑戰與反思
傳統的DDoS防禦方法，例如根據簽章的檢測，往往難以應對新型態的攻擊。這些攻擊手法多變，例如Slowloris、應用層DDoS等，它們模仿正常流量，繞過傳統的防禦機制。這讓我反思，我們需要更智慧、更具適應性的檢測方法。
FireCol：早期DDoS檢測的先鋒
FireCol是一種根據流量過濾的DDoS檢測系統，它透過分析連線埠或IP位址來識別惡意流量。FireCol的核心在於其選擇管理器和分數管理器。選擇管理器負責評估近期流量與預先記錄的流量模型的偏差，並根據偏差選擇相關的規則。分數管理器則根據熵、頻率資訊以及上游IPS提供的分數，為每個規則分配一個分數。
如果分數低於閾值，則認為攻擊潛力低，流量被轉發到下游IPS。如果分數顯著偏高，則觸發環級通訊，驗證決策，確認實際封包速率是否超過預定義的客戶端容量。FireCol的主要優勢在於它能有效減少誤判，因為每個潛在的攻擊都會經過驗證。此外，FireCol具有良好的擴充套件性，能夠在早期階段檢測到DDoS攻擊。
玄貓的觀點： FireCol的設計思路在當時是相當先進的，它引入了多層驗證機制，降低了誤判的風險。然而，FireCol也存在一些侷限性。例如，它依賴於預先定義的流量模型，這使得它難以應對新型態的、未知的攻擊。
根據SVM的異常檢測：ESVM的進階應用
為了提高DDoS檢測的準確性，研究人員開始嘗試使用機器學習技術。Ramamoorthi等人提出了一種根據增強型SVM（ESVM）的異常檢測系統。ESVM使用字串核心，能夠在網路層和傳輸層檢測DDoS攻擊，並具有較高的準確性。實驗結果表明，ESVM在字串核心方面的檢測準確性優於傳統的SVM方法。
玄貓的觀點： SVM是一種強大的分類別器，它能夠有效地處理高維度的資料。ESVM的成功應用，證明瞭機器學習在DDoS檢測領域的潛力。然而，ESVM也存在一些挑戰。例如，它需要大量的訓練資料，並且對異常資料的定義非常敏感。
決策樹的自適應入侵檢測：Farid的創新方法
Farid等人提出了一種根據決策樹的自適應入侵檢測方法，該方法能夠以98%的準確度區分攻擊和正常行為。這種方法使用隨機方法將資料集分割成子資料集，直到所有子資料集都屬於同一個類別。
玄貓的觀點： 決策樹是一種易於理解和實作的分類別器。Farid等人的方法，透過自適應地分割資料集，提高了檢測的準確性。然而，決策樹容易過擬合，這可能會影響其在實際應用中的效能。
LADS：大規模自動化DDoS檢測系統
Sekar等人設計並實作了一種名為LADS（大規模自動化DDoS檢測系統）的系統。LADS充分利用了ISP readily available的資料，例如來自路由器的NetFlow和SNMP feeds。LADS採用觸發式、多階段的方法，兼顧了擴充套件性和準確性。
玄貓的觀點： LADS的設計思路非常務實，它充分利用了現有的網路基礎設施，降低了佈署成本。LADS的多階段檢測方法，能夠有效地應對不同規模和型態的DDoS攻擊。
Wavelet分析：DDoS檢測的新視角
Dainotti等人提出了一種根據小波分析的DDoS攻擊檢測架構。該系統結合了自適應閾值和累積和，以及連續小波轉換，用於異常模式識別。Li和Lee則進一步探討了小波分析在捕捉和建模跨多個時間尺度的複雜時間相關模式方面的能力。他們有效地利用能量分佈來檢測DDoS攻擊流量。
玄貓的觀點： 小波分析是一種強大的訊號處理技術，它能夠在時域和頻域同時分析訊號。Dainotti和Li等人的研究表明，小波分析在DDoS檢測領域具有很大的應用潛力。
人工智慧模糊邏輯：Xia的DDoS防禦系統
Xia, Lu, and Li introduce a defense system for DDoS flooding attacks using intelligent fuzzy logic. The system provides a real-time solution for DDoS attacks in two stages. In stage 1, they detect the change point(s) of Hurst parameters caused by DDoS flooding attacks based on statistical analysis of network traffic using discrete wavelet transform (DWT) and Schwartz Information Criteria (SIC).
玄貓的觀點： 模糊邏輯是一種處理不確定性和模糊資訊的有效方法。Xia等人的系統，透過結合小波轉換和模糊邏輯，提高了DDoS檢測的準確性和魯棒性。
