Python 英文內容自動偵測模組實作

– 9 分鐘閱讀

在密碼學與自然語言處理領域，判斷一段文字是否為英文是一項基礎且重要的工作。本文將探討如何使用 Python 開發一個可重複使用的模組，用於自動偵測英文內容。此模組的核心功能是載入一個大型英文單詞字典，並提供 isEnglish() 函式，讓其他程式可以方便地呼叫並判斷給定字串是否為英文。實作上，模組會先將輸入字串轉換為大寫並移除非字母字元，再將其分割成單詞，接著計算這些單詞在字典中的匹配比例。最後，結合單詞匹配率和字母比例，判斷該字串是否符合英文的特性。透過調整 isEnglish() 函式的引數，可以根據不同應用場景的需求，設定單詞匹配率和字母比例的門檻值，提高偵測的靈敏度和準確性。

自動偵測英文內容的程式模組實作

在密碼學的應用中，如何讓電腦自動判斷一段文字是否為有意義的英文內容，是一項重要的技術挑戰。本章節將探討如何透過程式設計實作這一功能，並介紹相關的實作細節。

字典檔案的運用

要讓電腦判斷一段文字是否為英文，首先需要一個包含大量英文單詞的字典檔案。該檔案通常為純文字格式，每行包含一個單詞，所有單詞均以大寫形式儲存。透過下載特定的字典檔案（如 dictionary.txt），我們可以獲得一個包含超過45,000個英文單詞的資料函式庫。

程式邏輯解析

我們的目標是開發一個名為 detectEnglish.py 的模組，該模組能夠被其他加密程式匯入，以呼叫 detectEnglish.isEnglish() 函式來判斷給定字串是否為英文。以下是該模組的核心功能與實作方法：

1. 載入字典檔案

首先，需要將字典檔案載入記憶體中，並將其轉換為一個以單詞為鍵的字典結構，以便於快速查詢。

def loadDictionary():
    dictionaryFile = open('dictionary.txt')
    englishWords = {}
    for word in dictionaryFile.read().split('\n'):
        englishWords[word] = None
    dictionaryFile.close()
    return englishWords

ENGLISH_WORDS = loadDictionary()

2. 移除非字母字元

為了提高判斷的準確性，需要移除輸入字串中的非字母字元（如標點符號、數字等），只保留字母和空格。

def removeNonLetters(message):
    lettersOnly = []
    for symbol in message:
        if symbol in LETTERS_AND_SPACE:
            lettersOnly.append(symbol)
    return ''.join(lettersOnly)

3. 計算英文單詞比例

接下來，需要計算輸入字串中英文單詞的比例。這涉及到將字串分割成單詞，並檢查每個單詞是否存在於字典中。

def getEnglishCount(message):
    message = message.upper()
    message = removeNonLetters(message)
    possibleWords = message.split()
    
    if possibleWords == []:
        return 0.0
    
    matches = 0
    for word in possibleWords:
        if word in ENGLISH_WORDS:
            matches += 1
    return float(matches) / len(possibleWords)

4. 判斷是否為英文

綜合考慮單詞匹配率和字元有效性（即字母和空格的比例），最終判斷給定字串是否為有意義的英文內容。

def isEnglish(message, wordPercentage=20, letterPercentage=85):
    wordsMatch = getEnglishCount(message) * 100 >= wordPercentage
    numLetters = len(removeNonLetters(message))
    messageLettersPercentage = float(numLetters) / len(message) * 100
    lettersMatch = messageLettersPercentage >= letterPercentage
    return wordsMatch and lettersMatch

#### 內容解密：

  1. loadDictionary 函式的作用：此函式負責載入字典檔案並將其內容轉換為一個字典結構，以便於快速查詢單詞是否存在。
  2. removeNonLetters 函式的邏輯：該函式遍歷輸入字串，過濾掉非字母和非空格字元，確保後續處理的純淨度。
  3. getEnglishCount 函式的核心：計算輸入字串中英文單詞的比例，透過與字典對比實作。
  4. isEnglish 函式的判斷標準：綜合單詞匹配率和字元有效性兩大指標，預設門檻值分別為20%和85%，可根據實際需求調整。

以程式檢測英文內容

在進行文字分析或自然語言處理時，判斷一段文字是否為英文是一項基本且重要的任務。本章節將探討如何使用Python程式語言來檢測一段文字是否為英文。

建立檢測機制

要檢測一段文字是否為英文，首先需要建立一個基本的檢測機制。這涉及載入一個英文單字字典，並將待檢測的文字與字典中的單字進行比對。

載入字典

首先，我們需要載入一個包含大量英文單字的字典檔案。這可以透過開啟一個名為dictionary.txt的檔案來實作。

def loadDictionary():
    dictionaryFile = open('dictionary.txt')
    englishWords = {}
    for word in dictionaryFile.read().split('\n'):
        englishWords[word] = True
    dictionaryFile.close()
    return englishWords

內容解密：

  1. loadDictionary()函式開啟了名為dictionary.txt的檔案，該檔案預計包含大量的英文單字，每行一個單字。
  2. 函式將檔案中的單字讀入一個名為englishWords的字典中，其中每個單字作為鍵（key），其值（value）設為True。這樣做的目的是為了快速查詢某個單字是否存在於字典中。
  3. 檔案讀取完成後，關閉檔案以釋放資源。

字典資料型別介紹

在Python中，字典（dictionary）是一種非常有用的資料結構，它允許我們以鍵值對（key-value pair）的形式儲存和存取資料。與列表（list）不同，字典的索引不是整數，而是可以是任何不可變的型別，如字串或整數。

使用字典

spam = {'key1': 'This is a value', 'key2': 42}
print(spam['key1'])  # 輸出：This is a value
print(spam['key2'])  # 輸出：42

內容解密：

  1. 建立了一個名為spam的字典，包含兩個鍵值對。
  2. 透過鍵（key）來存取對應的值（value）。

字典的操作

  • 新增或修改字典中的專案：可以直接透過鍵來指定。
  • 檢查鍵是否存在：使用in運算元。
  • 遍歷字典：使用for迴圈遍歷字典中的鍵。

新增或修改專案

spam = {42: 'hello'}
spam[42] = 'goodbye'
print(spam[42])  # 輸出：goodbye

內容解密：

  1. 建立了一個包含一個鍵值對的字典spam。
  2. 修改了鍵42對應的值。

檢查鍵是否存在

eggs = {'foo': 'milk', 'bar': 'bread'}
print('foo' in eggs)  # 輸出：True
print('milk' in eggs)  # 輸出：False

內容解密：

  1. 使用in運算元檢查鍵'foo'是否存在於字典eggs中。
  2. 注意，in運算元檢查的是鍵，而不是值。

字典與列表的比較

  1. 無序性：字典中的專案是無序的。
  2. 索引靈活性：字典的索引可以是任意不可變型別，不限於整數。
  3. 不支援串接：字典不支援使用+運算元進行串接。

以程式檢測英文的技術解析

字典查詢效能最佳化

在開發 detectEnglish.py 模組時，作者採用字典（dictionary）資料結構儲存英文單字，相較於串列（list），字典在執行 in 運算元時具有明顯的效能優勢。以範例來說：

listVal = ['spam', 'eggs', 'bacon']
dictionaryVal = {'spam':0, 'eggs':0, 'bacon':0}

測試結果顯示，Python 在評估 'bacon' in dictionaryVal 時的速度明顯快於 'bacon' in listVal。雖然在小型資料結構中這種差異並不明顯，但當處理數萬筆資料且頻繁執行 word in ENGLISH_WORDS 檢查時，累積的效能差距將相當可觀。

技術解密：

  1. 字典使用雜湊表實作，平均查詢時間複雜度為 O(1)
  2. 串列則需線性搜尋，時間複雜度為 O(n)
  3. 當資料量龐大時，字典的查詢效率明顯優於串列

字串分割技術

Python 的 split() 方法可將字串依照指定分隔符號（預設為空白字元）分割成串列。例如：

>>> 'My very energetic mother just served us Nutella.'.split()
['My', 'very', 'energetic', 'mother', 'just', 'served', 'us', 'Nutella.']

技術解密：

  1. split() 方法預設以空白字元作為分隔依據
  2. 可傳入自訂分隔字串（如 'XXX'）進行分割
  3. 分割結果為串列格式，原始字串中的連續空白字元會被忽略

字典載入實作

在 loadDictionary() 函式中，程式讀取字典檔案並建立對應的字典結構：

for word in dictionaryFile.read().split('\n'):
    englishWords[word] = None

技術解密：

  1. dictionaryFile.read() 讀取整個檔案內容
  2. .split('\n') 將內容依照換行符號分割成單字串列
  3. 將每個單字作為字典鍵值，儲存 None 作為對應值
  4. 使用 None 是因為只需檢查鍵值是否存在，而非儲存實際資料

英文檢測邏輯

getEnglishCount() 函式負責計算輸入字串中可辨識的英文單字比例：

def getEnglishCount(message):
    message = message.upper()
    message = removeNonLetters(message)
    possibleWords = message.split()
    # 後續邏輯實作...

技術解密：

  1. 將輸入訊息轉換為大寫以統一比對基準
  2. 移除非英文字母字元以提高辨識準確度
  3. 將處理後的字串分割成單字串列進行分析
  4. 後續流程將計算這些單字在英文字典中的匹配比例

自動偵測英文程式的實作細節

在進行程式語言的自動偵測時，特別是在加密或解密的過程中，判斷一段文字是否為英文具有重要的意義。本篇將探討如何使用Python實作自動偵測英文的功能，主要根據detectEnglish.py模組的解析。

取得英文單詞的比例

首先，我們需要計算一段給定的文字中英文單詞的比例。這可以透過getEnglishCount()函式來實作。

程式碼實作

def getEnglishCount(message):
    message = message.upper()
    message = removeNonLetters(message)
    possibleWords = message.split()
    
    if possibleWords == []:
        return 0.0
    
    matches = 0
    for word in possibleWords:
        if word in ENGLISH_WORDS:
            matches += 1
    
    return float(matches) / len(possibleWords)

內容解密：

  1. message.upper()：將輸入的訊息轉換成大寫，以避免因大小寫不同而導致的單詞匹配問題。
  2. removeNonLetters(message)：移除輸入訊息中的非字母字元，包括數字和標點符號，以乾淨地提取單詞。
  3. message.split()：將處理後的字串分割成單個單詞，儲存在possibleWords列表中。
  4. 檢查possibleWords是否為空列表：如果是，則傳回0.0，避免除以零的錯誤。
  5. 計算匹配的英文單詞數量：遍歷possibleWords中的每個單詞，檢查是否出現在ENGLISH_WORDS字典中。如果存在，則計數器matches加一。
  6. 傳回英文單詞的比例：將匹配的單詞數量除以總單詞數量，得到一個介於0.0到1.0之間的浮點數，表示該段文字的英文程度。

移除非字母字元

removeNonLetters()函式負責從輸入訊息中移除非字母字元，保證了後續處理的準確性。

程式碼實作

def removeNonLetters(message):
    lettersOnly = []
    for symbol in message:
        if symbol in LETTERS_AND_SPACE:
            lettersOnly.append(symbol)
    return ''.join(lettersOnly)

內容解密：

  1. 初始化空列表lettersOnly：用於儲存過濾後的字元。
  2. 遍歷輸入訊息的每個字元：檢查每個字元是否出現在LETTERS_AND_SPACE字串中（該字串包含了所有字母和空格）。
  3. 過濾非字母字元：只有當字元是字母或空格時，才將其新增到lettersOnly列表中。
  4. 傳回過濾後的字串：使用''.join(lettersOnly)將列表中的字元連線成一個字串並傳回。

避免除以零錯誤

在計算英文單詞比例時，需要注意避免除以零的錯誤。當輸入訊息經過處理後變為空列表時，直接傳回0.0以避免錯誤。

資料型別轉換函式

Python中的float()、int()和str()函式可以在不同的資料型別之間進行轉換。特別是在Python 2中，為了確保進行浮點數除法，需要將其中一個運算元轉換為浮點數。

程式碼實作

return float(matches) / len(possibleWords)

內容解密：

  1. float(matches)：將匹配的單詞數量轉換為浮點數，以保證在Python 2中也能進行正確的浮點數除法。
  2. 除法運算：將轉換後的浮點數除以總單詞數量，得到英文單詞的比例。

偵測英文程式的技術深度解析

在程式設計中，偵測一段文字是否為英文是一項常見的需求。這不僅需要理解英文的語言特性，還需要透過演算法來實作。以下將探討如何使用Python來偵測一段文字是否為英文。

使用 removeNonLetters() 函式移除非字母字元

在進行英文偵測之前，首先需要對輸入的文字進行清理，移除非字母字元。這可以透過 removeNonLetters() 函式來實作。

def removeNonLetters(message):
    lettersOnly = []
    for symbol in message:
        if symbol in LETTERS_AND_SPACE:
            lettersOnly.append(symbol)
    return ''.join(lettersOnly)

內容解密：

  1. lettersOnly = []：初始化一個空列表，用於儲存清理後的字元。
  2. for symbol in message:：遍歷輸入文字中的每個字元。
  3. if symbol in LETTERS_AND_SPACE:：檢查當前字元是否為字母或空格。如果是，則將其新增至 lettersOnly 列表中。
  4. return ''.join(lettersOnly)：將 lettersOnly 列表中的字符合併成一個字串，並傳回。

使用 isEnglish() 函式進行英文偵測

isEnglish() 函式接受一個字串引數，並傳回一個布林值，指示該字串是否為英文。

def isEnglish(message, wordPercentage=20, letterPercentage=85):
    # 省略實作細節

內容解密：

  1. wordPercentage=20 和 letterPercentage=85：這兩個引數具有預設值，分別表示單詞和字母的百分比門檻。
  2. 當呼叫 isEnglish() 函式時，如果未提供第二和第三個引數，則預設使用20%和85%的門檻值。

百分比計算

百分比計算是偵測英文的關鍵步驟之一。它用於評估一段文字中英文單詞和字母的比例。

wordsMatch = getEnglishCount(message) * 100 >= wordPercentage

內容解密：

  1. getEnglishCount(message)：這個函式計算輸入文字中英文單詞的比例，傳回一個浮點數，範圍在0.0至1.0之間。
  2. 乘以100：將比例轉換為百分比。
  3. >= wordPercentage：檢查計算出的百分比是否大於或等於設定的門檻值。

技術深度與差異化觀點

在實務上，偵測一段文字是否為英文需要綜合考慮多個因素，包括但不限於單詞辨識率、字母比例等。本篇介紹的方法透過設定合理的門檻值，能夠在大多數情況下準確地偵測出英文文字。然而，在實際應用中，可能需要根據具體需求調整這些門檻值，以達到最佳的偵測效果。

此外，使用預設引數值的技術，使得 isEnglish() 函式具有更高的靈活性，可以根據不同的應用場景調整偵測的嚴格程度。

玄貓 BlackCat

玄貓 BlackCat

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。