文本分析基礎：程式化建構詞彙共現網路

import networkx as nx
import re # 引入正規表達式模組

# 定義停用詞集合 (可根據需要擴充)
stop_words = set(['the', 'of', 'and', 'a', 'to', 'in', 'is', 'it', 'that', 'this', 'i', 'you', 'he', 'she', 'they', 'we', 'for', 'on', 'with', 'as', 'by', 'at', 'from', 'or', 'be'])

def co_occurrence_network(text):
    """
    從文本字串建構詞彙共現網路。

    Args:
        text (str): 輸入的文本內容。

    Returns:
        nx.Graph: 建構好的詞彙共現網路圖。
    """
    G = nx.Graph() # 初始化一個無向圖

    # 1. 文本預處理：分句
    sentences = text.split('.') # 以句號分割句子

    for s in sentences:
        # 2. 文本預處理：清理句子 (去除標點、轉換小寫)
        # [^\w\n ]+ 匹配任何非字母數字、換行符或空格的字元
        clean = re.sub('[^\w\n ]+', '', s).lower()
        # 移除可能因正規表達式產生的多餘底線或空白
        clean = re.sub('_+', '', clean).strip()

        # 3. 文本預處理：分詞並過濾停用詞
        words = re.split('\s+', clean) # 以空白分割成詞彙列表
        # 過濾掉停用詞和空字串
        filtered_words = [word for word in words if word and word not in stop_words]

        # 4. 網路建構：為句子中的詞彙對創建邊界
        # 遍歷句子中的所有詞彙對
        for i in range(len(filtered_words)):
            for j in range(i + 1, len(filtered_words)):
                word1 = filtered_words[i]
                word2 = filtered_words[j]

                # 如果邊界已存在，增加權重；否則，創建新邊界並設定權重為 1
                if G.has_edge(word1, word2):
                    G[word1][word2]['weight'] += 1
                else:
                    G.add_edge(word1, word2, weight=1)

    return G

# --- 範例使用 ---
# 假設 'frankenstein_text' 包含小說的文本內容
# frankenstein_text = "..." # 實際使用時，請載入完整的文本

# 為了示範，我們使用一個簡短的範例文本
sample_text = """
It was the best of times, it was the worst of times.
The age of wisdom, it was the age of foolishness.
We had everything before us, we had nothing before us.
"""

# 建構網路
word_network = co_occurrence_network(sample_text)

# 輸出網路中的節點和邊界數量 (用於驗證)
print(f"節點數量: {word_network.number_of_nodes()}")
print(f"邊界數量: {word_network.number_of_edges()}")

# 輸出一些邊界的權重
print("\n部分邊界及其權重:")
for u, v, data in word_network.edges(data=True):
    if u in ['age', 'times', 'wisdom', 'foolishness', 'everything', 'nothing']: # 選擇一些關鍵詞
        print(f"({u}, {v}): weight={data['weight']}")

# ... (前面已定義 stop_words 和 co_occurrence_network 函數) ...

# 假設 G 是一個 NetworkX 圖物件，並且已經處理了一些句子
# 這裡展示函數內部處理詞彙和邊界計數的部分

# 假設當前句子處理到詞彙 v
# 更新節點 v 的出現次數
try:
    G.nodes[v]['count'] += 1
except KeyError:
    # 如果節點 v 不存在，則添加節點並初始化計數
    G.add_node(v)
    G.nodes[v]['count'] = 1

# 遍歷句子中的所有詞彙 w，以創建或更新邊界 (v, w)
for w in words: # words 是當前句子清理後的詞彙列表

    # 跳過相同詞彙、停用詞或空字串
    if v == w or v in stop_words or w in stop_words or len(v) == 0 or len(w) == 0:
        continue

    # 更新邊界 (v, w) 的共現次數
    try:
        G.edges[v, w]['count'] += 1
    except KeyError:
        # 如果邊界 (v, w) 不存在，則創建新邊界並設定初始計數為 1
        G.add_edge(v, w, count=1)

# ... (函數繼續處理下一個詞彙或句子) ...

from pathlib import Path
import networkx as nx
import re
import json # 引入 json 模組以備後用

# --- 前面定義的 stop_words 和 co_occurrence_network 函數 ---
stop_words = set(['the', 'of', 'and', 'a', 'to', 'in', 'is', 'it', 'that', 'this', 'i', 'you', 'he', 'she', 'they', 'we', 'for', 'on', 'with', 'as', 'by', 'at', 'from', 'or', 'be', 'was', 'were', 'had', 'have', 'has', 'will', 'would', 'should', 'could', 'do', 'does', 'did', 'but', 'so', 'if', 'then', 'than', 'what', 'when', 'where', 'why', 'how', 'all', 'any', 'some', 'such', 'no', 'nor', 'not', 'only', 'own', 'same', 'so', 'than', 'too', 'very', 's', 't', 'can', 'just', 'don', 'should', 'now'])

def co_occurrence_network(text):
    G = nx.Graph()
    sentences = text.split('.')
    for s in sentences:
        clean = re.sub('[^\w\n ]+', '', s).lower()
        clean = re.sub('_+', '', clean).strip()
        words = re.split('\s+', clean)
        filtered_words = [word for word in words if word and word not in stop_words]

        # 更新節點計數
        for v in filtered_words:
            try:
                G.nodes[v]['count'] += 1
            except KeyError:
                G.add_node(v)
                G.nodes[v]['count'] = 1

        # 更新邊界計數
        for i in range(len(filtered_words)):
            for j in range(i + 1, len(filtered_words)):
                v = filtered_words[i]
                w = filtered_words[j]
                # 確保 v 和 w 是有效的詞彙且不同
                if v and w and v != w:
                    if G.has_edge(v, w):
                        G.edges[v, w]['count'] += 1
                    else:
                        G.add_edge(v, w, count=1)
    return G
# --- 函數定義結束 ---

# 指定數據目錄和檔案路徑
data_dir = Path('.') / 'data' # 假設 'data' 目錄存在於當前路徑下
frankenstein_file = data_dir / 'shelley1818' / 'frankenstein.txt'

# 讀取《科學怪人》文本
try:
    with open(frankenstein_file, 'r', encoding='utf-8') as f:
        frankenstein_text = f.read()

    # 建構詞彙共現網路
    print("正在建構《科學怪人》的詞彙共現網路...")
    frankenstein_network = co_occurrence_network(frankenstein_text)
    print("網路建構完成！")

    # 輸出網路的基本統計資訊
    print(f"\n《科學怪人》詞彙共現網路統計:")
    print(f"節點數量: {frankenstein_network.number_of_nodes()}")
    print(f"邊界數量: {frankenstein_network.number_of_edges()}")

    # 顯示一些高權重的邊界 (表示詞彙共現頻繁)
    # 我們可以根據 'count' 屬性對邊界進行排序
    sorted_edges = sorted(frankenstein_network.edges(data=True), key=lambda x: x[2]['count'], reverse=True)

    print("\n共現頻率最高的 10 對詞彙:")
    for i in range(min(10, len(sorted_edges))):
        u, v, data = sorted_edges[i]
        print(f"- ({u}, {v}): 共現 {data['count']} 次")

except FileNotFoundError:
    print(f"錯誤：找不到檔案 '{frankenstein_file}'。請確保檔案存在於正確的路徑。")
except Exception as e:
    print(f"處理過程中發生錯誤: {e}")