文字挖掘技術已成為從大量非結構化文字資料中提取價值的重要工具。本文從技術層面解析了 LSI 和 Word2Vec 等關鍵方法，並結合實際案例，展示如何構建詞彙-檔案矩陣、概念矩陣，以及如何應用 TF-IDF 等技術進行文字分析和預測。此外，我們也關注模型評估和責任式資料科學的議題，強調避免模型偏差和不公平性的重要性，以確保技術的合理應用。
文字挖掘技術
文字挖掘是一種從大量文字資料中提取有用資訊和模式的技術。在本文中，我們將探討文字挖掘的基本概念和技術，包括潛在語義索引（Latent Semantic Indexing, LSI）和Word2Vec。
潛在語義索引（LSI）
LSI是一種文字表示技術，將詞彙對映到一個高維度的向量空間中，以便捕捉詞彙之間的語義關係。例如，在一個汽車維修檔案集合中，詞彙“alternator”和“battery”可能經常一起出現，而詞彙“brake”和“pads”也可能一起出現。LSI可以將這些詞彙對映到兩個不同的概念：煞車失靈和交流發電機失靈。
實施LSI
LSI可以使用ASDM（Analytic Solver Data Mining）工具實施。以下是ASDM中LSI的示例：
flowchart TD
A[文字資料] --> B[LSI]
B --> C[概念1: 煞車失靈]
B --> D[概念2: 交流發電機失靈]
圖表翻譯：
此圖表示LSI如何將詞彙對映到不同的概念。詞彙“alternator”和“battery”被對映到概念1：煞車失靈，而詞彙“brake”和“pads”被對映到概念2：交流發電機失靈。
Word2Vec
Word2Vec是一種詞彙嵌入技術，將詞彙表示為高維度向量，以便捕捉詞彙之間的語義關係。Word2Vec使用神經網路模型和預測基礎模型來獲得詞彙向量表示。
實施Word2Vec
Word2Vec可以使用RapidMiner或R等工具實施。以下是Word2Vec的示例：
flowchart TD
A[文字資料] --> B[Word2Vec]
B --> C[詞彙向量1: alternator]
B --> D[詞彙向量2: brake]
圖表翻譯：
此圖表示Word2Vec如何將詞彙對映到高維度向量空間中。詞彙“alternator”和“brake”被對映到不同的向量，以便捕捉其語義關係。
文字挖掘應用
文字挖掘可以應用於各種領域，包括：
- 分類別：將檔案分類別為不同的類別，例如汽車相關或電子相關。
- 聚類別：將檔案聚類別為不同的群組，例如醫學報告或技術支援票據。
- 預測：預測檔案的特徵，例如解決問題的時間。
示例：線上討論文字挖掘
以下是ASDM使用者中的一個示例，展示瞭如何使用文字挖掘對線上討論進行分類別：
flowchart TD
A[文字資料] --> B[分類別]
B --> C[汽車相關]
B --> D[電子相關]
圖表翻譯：
此圖表示如何使用文字挖掘對線上討論進行分類別。文字資料被輸入到分類別模型中，然後被分類別為汽車相關或電子相關。
文字挖掘與分類別：汽車和電子產品線上討論案例
文字挖掘是一種從非結構化文字資料中提取有用資訊的技術。在這個案例中，我們將使用文字挖掘技術來分析汽車和電子產品的線上討論。這些討論來自網際網路論壇，已經被預先標記為汽車或電子產品相關。
資料匯入和標記
首先，我們需要匯入文字資料。每個檔案都是一個單獨的檔案，檔名以“1”開頭的為汽車相關檔案，以“5”開頭的為電子產品相關檔案。匯入資料後，我們需要對文字進行預處理，包括分詞、去除停用詞和歸一化等步驟。
分詞和文字還原
分詞是指將文字分解成單個詞彙或術語的過程。ASDM會自動進行分詞，並去除空白字元、標點符號和數字。例如，“4WD”會被視為一個單獨的術語，因為它在兩個例項中被空格圍繞著。在分詞後，我們可以進行文字還原，將多個詞彙的不同形式還原成一個核心形式。例如，“road”和“Rd.”都會還原成“road”。
文字還原和過濾
在還原後，ASDM會自動過濾掉那些還原後的詞彙長度少於2個字元的詞彙。但是，使用者可以修改這個設定。另外，使用者也可以選擇移除停用詞和進行歸一化。
詞彙-檔案矩陣
在進行了分詞、文字還原和過濾後，我們就可以得到詞彙-檔案矩陣。這個矩陣描述了每個詞彙在每個檔案中出現的次數。下面是汽車和電子產品檔案的詞彙-檔案矩陣的一部分：
| 詞彙 | 檔案1 | 檔案2 |… | | — | — | — |… | | appreci | 1 | 0 |… | | articl | 0 | 1 |… | | back | 1 | 1 |… | |… |… |… |… |
分類別模型建立
在得到詞彙-檔案矩陣後，我們就可以使用分類別演算法來建立分類別模型。ASDM提供了多種分類別演算法，包括決策樹、隨機森林等。使用者可以根據自己的需求選擇合適的演算法。
內容解密：
在上面的案例中，我們使用了ASDM的文字挖掘工具來分析汽車和電子產品的線上討論。首先，我們匯入了文字資料，每個檔案都是一個單獨的檔案。然後，我們對文字進行了預處理，包括分詞、去除停用詞和歸一化等步驟。在分詞後，我們進行了文字還原，將多個詞彙的不同形式還原成一個核心形式。最後，我們建立了分類別模型，使用決策樹演算法來自動地將新來的檔案分類別為汽車或電子產品相關。
flowchart TD
A[匯入文字資料] --> B[分詞]
B --> C[文字還原]
C --> D[過濾]
D --> E[建立分類別模型]
E --> F[自動分類別]
圖表翻譯：
上面的流程圖描述了我們在案例中使用的文字挖掘流程。首先，我們匯入了文字資料，每個檔案都是一個單獨的檔案。然後，我們對文字進行了預處理，包括分詞、去除停用詞和歸一化等步驟。在分詞後，我們進行了文字還原，將多個詞彙的不同形式還原成一個核心形式。最後，我們建立了分類別模型，使用決策樹演算法來自動地將新來的檔案分類別為汽車或電子產品相關。
文字降維與概念矩陣生成
在進行文字分析時，首先需要對文字資料進行預處理，包括分詞（tokenization）和文字減少（text reduction）。這些步驟的目的是去除停用詞、特殊字元等無用資訊，保留下來的詞彙被稱為詞項（term）。接下來，我們可以根據詞項在檔案中的出現情況構建詞檔矩陣（term-document matrix）。
詞檔矩陣的構建
詞檔矩陣是一種二維表格，它的行代表詞項，列代表檔案。矩陣中的每個元素可以表示為一個二元值（presence/absence），即某個詞項是否出現在某個檔案中，也可以表示為該詞項在檔案中的頻率（term frequency, TF）。此外，還有一種稱為TF-IDF（term frequency-inverse document frequency）的測度方法，它不僅考慮了詞項在某個檔案中的頻率，也考慮了該詞項在整個檔案集中的分佈情況。
TF-IDF 矩陣
TF-IDF 矩陣是根據 TF-IDF 測度方法構建的詞檔矩陣。它的優點在於能夠有效地反映詞項在整個檔案集中的重要性。TF-IDF 的計算公式為：
[ \text{TF-IDF} = \text{TF} \times \text{IDF} ]
其中，TF 是詞項在某個檔案中的頻率，IDF 是詞項在整個檔案集中的逆檔案頻率。
概念矩陣的生成
概念矩陣（concept matrix）是根據詞檔矩陣進一步加工得到的結果。它可以用於捕捉詞項之間的語義關係，從而實作文字的降維和概念抽取。概念矩陣的生成可以透過對詞檔矩陣進行奇異值分解（Singular Value Decomposition, SVD）或非負矩陣分解（Non-negative Matrix Factorization, NMF）等方法實作。
內容解密：
上述內容主要介紹瞭如何從原始文字資料中構建詞檔矩陣和概念矩陣。首先，需要對文字進行分詞和文字減少，以去除無用資訊。然後，可以根據詞項在檔案中的出現情況構建詞檔矩陣。接下來，可以透過TF-IDF 測度方法對詞檔矩陣進行加工，得到TF-IDF 矩陣。最後，透過對TF-IDF 矩陣進行SVD 或NMF 等方法，可以得到概念矩陣。
圖表翻譯：
FIGURE 21.6 所示的是一個簡單的詞檔矩陣示例，它展示了10 個詞項在10 個檔案中的出現情況。每個元素為1 表示該詞項出現在該檔案中，為0 表示未出現。這種矩陣可以用於捕捉詞項之間的語義關係，但由於其尺寸通常很大，因此需要進行降維處理以便於分析。
文字分析與預測模型
在進行文字分析時，Latent Semantic Indexing（LSI）是一種強大的工具，可以幫助我們從大量文字資料中提取有用的資訊。LSI透過將文字轉換為一個數值矩陣，然後使用奇異值分解（SVD）來提取最重要的特徵。這些特徵被稱為「概念」，它們代表了文字資料中的潛在語義結構。
概念提取
在本例中，我們使用LSI從10篇檔案中提取20個概念。這些概念代表了文字資料中的最重要的語義結構。圖21.7顯示了這20個概念中的10個，對應於10篇檔案。這些概念將被用於訓練一個預測模型，以區分汽車和電子產品的檔案。
標籤檔案
現在，我們有一個緊湊的數值矩陣，包含80行和20列。接下來，我們需要為每篇檔案新增標籤。標籤將被用於訓練預測模型，以區分汽車和電子產品的檔案。標籤為「1」表示汽車，「0」表示電子產品。
資料準備
以下是新增標籤後的資料樣本：
| 類別 | 檔案ID | 概念1 | 概念2 |… | 概念20 | | — | — | — | — |… | — | | 0 | 53867 | -0.601103 | -0.127793 |… | 0.3063533 | | 0 | 53854 | -0.391326 | -0.30248 |… | -0.0857365 | |… |… |… |… |… |… |
這個資料集將被用於訓練一個預測模型，以區分汽車和電子產品的檔案。
內容解密：
- LSI是一種強大的工具，可以幫助我們從大量文字資料中提取有用的資訊。
- 概念提取是LSI的核心步驟，透過將文字轉換為一個數值矩陣，然後使用奇異值分解（SVD）來提取最重要的特徵。
- 標籤檔案是為每篇檔案新增標籤，以區分汽車和電子產品的檔案。
- 資料準備是為了訓練預測模型而準備的資料集，包含了新增標籤後的資料樣本。
圖表翻譯：
flowchart TD
A[文字資料] --> B[LSI]
B --> C[概念提取]
C --> D[標籤檔案]
D --> E[資料準備]
E --> F[預測模型]
這個流程圖顯示了從文字資料到預測模型的整個過程，包括LSI、概念提取、標籤檔案、資料準備和預測模型。
檔案分類別模型評估
在進行檔案分類別任務時，我們首先需要將原始文字資料轉換為適合預測模型的形式。這涉及將檔案分為兩類別：電子產品（0）和汽車（1）。根據檔案名稱，我們可以看到前39行應該被分類別為“0”，而剩下的41行應該被分類別為“1”。
資料轉換和模型訓練
經過資料轉換後，我們獲得了一個單一的目標變數（1 = 汽車，0 = 電子產品）和20個預測變數（概念）。接下來，我們可以將資料分割為訓練集（60%）和驗證集（40%），然後嘗試應用不同的分類別模型。以下是我們使用邏輯迴歸模型的結果，目標變數為“類別”，預測變數為20個概念變數，使用ASDM 2020版本的預設值。
混淆矩陣分析
混淆矩陣（圖21.8，左）顯示了模型在區分兩類別檔案方面的效能不佳，錯誤率達31.25%。這表明模型在區分電子產品和汽車檔案方面存在困難。驗證結果如下：
| 實際\預測 | 0 | 1 |
|---|---|---|
| 0 | 14 | 3 |
| 1 | 7 | 8 |
類別 # 案例 # 錯誤 % 錯誤
0 17 3 17.65
1 15 7 46.67 總計 32 10 31.25
錯誤報告分析
錯誤報告顯示了模型在不同_decile_中的錯誤率。這有助於我們瞭解模型在哪些區間的效能最差。
1 2 3 4 5 6 7 8 9 10
十分位 0.0 0.2 0.4 0.6
內容解密：
以上內容介紹瞭如何使用邏輯迴歸模型進行檔案分類別，並分析了模型的效能。這涉及將原始文字資料轉換為適合預測模型的形式，然後使用混淆矩陣和錯誤報告來評估模型的效能。
圖表翻譯：
圖21.8顯示了混淆矩陣和錯誤報告。這有助於我們瞭解模型在區分電子產品和汽車檔案方面的效能，以及錯誤率在不同_decile_中的分佈。透過分析這些結果，我們可以找出模型效能不佳的原因，並採取相應的措施來改善它。
文字分類別與預測：深入探討
在文字分類別的領域中，機器學習模型扮演著重要的角色。然而，模型的選擇和評估標準往往取決於具體的應用場景。在本文中，我們將探討文字分類別的一個特定例子，即汽車和電子產品檔案的分類別，並深入分析模型的表現和評估指標。
文字分類別模型的選擇
在進行文字分類別時，選擇合適的模型至關重要。邏輯迴歸模型是一種常見的選擇，但其表現可能會受到樣本大小的影響。尤其是在樣本量較小的情況下，模型可能難以捕捉到資料的真實分佈。然而，在排名方面，邏輯迴歸模型仍然可以提供合理的效能，特別是在選擇前20%最可能被分類別為汽車的檔案時。
評估指標：混淆矩陣和提升圖
評估文字分類別模型的表現需要使用適當的指標。混淆矩陣是其中一種常用的工具，可以清晰地展示模型在不同類別上的正確率和錯誤率。另一方面，提升圖（Lift Chart）則可以用來評估模型在排名方面的效能，特別是在選擇最可能屬於某一類別的檔案時。
預測數值：維護和支援票據分析
除了分類別以外，文字挖掘還可以用於預測數值。例如，維護或支援票據可以用來預測維修的長度或成本。這種應用與分類別非常相似，不同之處在於標籤化的步驟，數值預測需要的是一個數值，而不是類別標籤。
機器學習工作流程
機器學習工作流程對於實作文字分類別和預測至關重要。工作流程包括資料預處理、模型選擇、訓練和評估等步驟。對於線上討論檔案的分類別，工作流程需要根據具體需求進行調整，以確保模型能夠有效地捕捉文字中的相關資訊。
內容解密：邏輯迴歸模型在文字分類別中的應用
邏輯迴歸模型是一種廣泛使用的文字分類別演算法，其基礎思想是將文字特徵對映到一個機率空間中，以此來預測文字屬於某一類別的機率。然而，邏輯迴歸模型對於小樣本資料可能會表現不佳，因此需要考慮其他模型選擇或是對資料進行特徵工程，以提高模型的泛化能力。
圖表翻譯：混淆矩陣和提升圖的視覺化
flowchart TD
A[文字資料] --> B[預處理]
B --> C[模型訓練]
C --> D[評估]
D --> E[混淆矩陣]
E --> F[提升圖]
F --> G[效能評估]
在上述流程圖中，我們可以看到從文字資料到最終效能評估的整個過程。混淆矩陣和提升圖是評估模型效能的重要工具，它們可以清晰地展示出模型在不同類別上的表現，以及在排名方面的優劣。
文字挖掘技術應用
文字挖掘是一種從大量文字資料中提取有用資訊和知識的過程。它涉及多個步驟，包括文字預處理、詞彙減少、概念提取等。在本章中，我們將探討文字挖掘的基本概念和技術，並透過實際案例來演示其應用。
文字預處理
文字預處理是文字挖掘的第一步，它涉及將原始文字資料轉換為適合分析的格式。這包括分詞（tokenization）、停用詞移除（stopword removal）、詞幹提取（stemming）等步驟。分詞是指將文字分解為個別的詞彙或符號，停用詞移除是指刪除那些對分析沒有意義的常見詞彙，如「the」、「and」等，詞幹提取是指將詞彙還原為其基本形式。
詞彙減少
詞彙減少是指減少文字資料中的詞彙數量，以便於分析和建模。這可以透過刪除低頻詞彙、合併同義詞彙等方法來實作。詞彙減少可以幫助提高文字挖掘的效率和準確性。
概念提取
概念提取是指從文字資料中提取出代表文字主題或內容的概念或主題。這可以透過主題模型（topic modeling）等方法來實作。主題模型是一種統計模型，用於從大規模文字資料中提取出潛在的主題或概念。
文字挖掘應用
文字挖掘有很多實際應用，包括文字分類別、情感分析、主題模型等。文字分類別是指將文字分類別為不同的類別，如 spam 或非 spam 郵件等。情感分析是指分析文字的情感傾向，如正面或負面評價等。主題模型可以用於從大規模文字資料中提取出潛在的主題或概念。
案例：汽車和電子產品文字分類別
在這個案例中，我們將使用文字挖掘技術來分類別汽車和電子產品相關的文字資料。首先，我們需要收集和預處理文字資料，包括分詞、停用詞移除和詞幹提取等步驟。然後，我們可以使用主題模型來提取出代表文字主題或內容的概念或主題。最後，我們可以使用這些概念或主題來分類別文字資料為汽車或電子產品相關。
案例：農業廣告分類別
在這個案例中，我們將使用文字挖掘技術來分類別農業廣告為相關或不相關。首先，我們需要收集和預處理廣告文字資料，包括分詞、停用詞移除和詞幹提取等步驟。然後，我們可以使用主題模型來提取出代表廣告主題或內容的概念或主題。最後，我們可以使用這些概念或主題來分類別廣告為相關或不相關。
責任式資料科學
在本章中，我們將超越模型適配、選擇和效能的技術考量，探討機器學習的潛在有害影響。有害行為的目錄已經很全面，包括許多案例，其中人工智慧（AI）被故意用於大規模監控和國家對少數群體的壓制。然而，我們的重點是那些模型開發者的初衷是好的，但結果卻出現了無意的偏差或不公平性。
我們將回顧責任式資料科學（Responsible Data Science, RDS）的原則，並討論一個可以實踐這些原則的具體框架。我們將討論該框架的一些關鍵元素：資料表、模型卡和模型稽核。
22.1 簡介
機器學習和AI帶來了無窮無盡的好處。畢竟，能夠處理任意大小、結構化程度最小的資料集，並為這些資料產生預測或解釋的能力幾乎適用於每個領域。然而，我們的社會關注點往往集中在這種潛力的革命性未來應用上：能夠自行駕駛的汽車、能夠與人類進行自然對話的電腦、根據特定基因組量身定製的精確藥物、能夠瞬間識別任何物體的相機以及能夠自動生成新影像或影片的軟體。然而，這些益處的討論往往忽略了機器學習模型可能造成的危害。
預測再犯率：一個例子
在美國司法系統中，對被告的決定是在多個階段根據機率證據進行的：是否逮捕、是否開庭、判決和量刑。在量刑階段，法官根據被告再犯率等因素決定刑期長度和條件。法院開始越來越依賴機器學習再犯率演算法來告知量刑決定。COMPAS演算法是其中最著名的一個，其批評者指責它對非裔美國人有偏見。該演算法不公開，涉及170多個預測變數。其支援者反駁說，COMPAS具有良好的整體預測效能，其準確性（以接收者操作特性曲線衡量）對非裔美國人和白人被告相同。問題在於錯誤是不同的：非裔美國人被告被過度預測會再犯（導致更嚴厲的刑罰），而白人被告被低估會再犯（導致更輕的刑罰）。過度預測錯誤（懲罰非裔美國人）平衡了低估錯誤（偏袒白人），因此整體錯誤率對兩組人都相同。對單一整體準確性指標的狹隘關注掩蓋了對非裔美國人的偏見。
22.2 無意中的危害
COMPAS演算法並沒有旨在懲罰非裔美國人。其目的是使量刑決定更加一致和“科學”。對非裔美國人的偏見是無意的和不想要的。
另一個無意中的危害例子是Optum醫療演算法。2001年，醫療公司Optum推出了Impact-Pro，一種預測模型工具，聲稱能夠預測患者未來的後續護理需求，並根據各種預測輸入分配風險評分。結果將是為患者提供更好的醫療服務，因為後續干預可以更好地安排和校準。醫院可以使用此工具更好地管理資源，保險公司可以使用它更好地設定保險費率。不幸的是，經驗證明該演算法對非裔美國人有偏見：由玄貓長官的研究團隊發現，對於任何給定的風險評分，非裔美國人患者一致地經歷了更多慢性健康狀況，而白人患者則沒有。
22.3 法律考慮
許多對資料科學倫理方面的論述都集中在法律問題上。這是可以理解的，因為避免法律陷阱是一個強大的動機。法律合規性最終是律師而不是資料科學家的問題。後者可能透過提供專業知識做出最大的貢獻，因此我們的法律討論將簡短而集中在兩個要點上：歐盟的通用資料保護條例（GDPR）和“受保護群體”的概念。
內容解密：
在這個例子中，我們看到機器學習模型如何無意中造成危害，即使模型開發者的初衷是好的。COMPAS演算法和Optum醫療演算法都是無意中造成偏見和不公平性的例子。這些例子表明，即使模型開發者的初衷是好的，機器學習模型仍然可能造成危害，因此需要採取責任式資料科學方法來避免這些問題。
圖表翻譯：
graph LR
A[資料收集] --> B[模型訓練]
B --> C[模型佈署]
C --> D[結果評估]
D --> E[偏差檢測]
E --> F[模型調整]
在這個流程圖中，我們看到資料科學工作流程中各個階段如何相關聯。從資料收集到模型佈署，再到結果評估和偏差檢測，每個階段都需要仔細考慮以避免無意中的危害。透過採取責任式資料科學方法，我們可以減少機器學習模型造成危害的風險，並確保模型對社會具有積極影響。
從技術架構視角來看，本文介紹的文字挖掘技術，涵蓋了從詞彙向量化到概念矩陣生成，再到模型訓練和評估的完整流程。LSI 和 Word2Vec 作為兩種主流的詞彙表徵方法，各有其優劣。LSI 擅長捕捉詞彙間的潛在語義關係，而 Word2Vec 則更注重詞彙的上下文關係。這兩種技術的應用，有效地提升了文字分類別和預測模型的準確性。然而，模型的效能並非唯一指標，資料偏差和演算法公平性同樣至關重要。責任式資料科學的原則提醒我們，需謹慎處理潛在的偏差問題，避免模型加劇社會不公。對於模型開發者而言，理解不同模型的特性，並根據實際應用場景選擇合適的技術方案，是確保模型效能和公平性的關鍵。展望未來，隨著深度學習技術的發展，文字挖掘技術將持續演進，為處理和理解海量文字資料提供更強大的工具。玄貓認為，在追求技術創新的同時，更應重視資料倫理和社會責任，讓科技真正造福人類。
