Python 語法解析與抽象語法樹 AST 的深入理解

Python 程式碼的執行仰賴一套精密的解析機制，將程式碼轉換為機器可理解的指令。這個過程的核心便是詞法分析和語法分析，最終生成抽象語法樹（AST）。詞法分析將程式碼分解成一系列的詞彙單元（Token），例如變數名稱、運算子號、關鍵字等。語法分析則根據 Python 的語法規則，將這些詞彙單元組織成具有層次結構的 AST。AST 以樹狀結構呈現程式碼的語法和邏輯關係，每個節點代表一個語法單元，例如指定陳述式、函式呼叫、運算式等。透過 AST，Python 解譯器可以更有效率地理解和執行程式碼。理解 AST 的結構和型別，有助於開發者深入理解 Python 的編譯過程，並應用於程式碼分析、最佳化和轉換等方面。

什麼是 Token？

Token 是 Python 程式碼中最小的單位，例如變數名稱、數字、字串等。Python 的 token 分為以下幾類別：

NAME：變數名稱或函式名稱
NUMBER：整數或浮點數
STRING：字串
NEWLINE：換行符
INDENT：縮排
DEDENT：縮出
LPAR、RPAR、LSQB、RSQB：括號和方括號
COLON：冒號

Syntax 解析

在 Lexical 分析之後，Python 會將 token 組合成抽象語法樹（Abstract Syntax Tree, AST）。AST 是一個樹狀結構，描述了程式碼的語法結構。

以下是一個簡單的例子：

x = 5

這行程式碼可以被拆分成以下 token：

NAME：x
ASSIGN：=
NUMBER：5

然後，Python 會將這些 token 組合成 AST，如下所示：

Module(
    body=[
        Assign(
            targets=[Name(id='x', ctx=Store())],
            value=Constant(value=5)
        )
    ]
)

在這個 AST 中，Module 代表整個程式碼，Assign 代表指定運算，Name 代表變數名稱，Constant 代表常數值。

Python 的 Grammar

Python 的語法規則定義在 Grammar/Grammar 檔案中。這個檔案描述了 Python 的語法結構，包括變數宣告、函式定義、控制結構等。

以下是一個簡單的例子：

expr: xor_expr ('|' xor_expr)*
xor_expr: and_expr ('^' and_expr)*
and_expr: shift_expr ('&' shift_expr)*
shift_expr: arith_expr (('<<' | '>>') arith_expr)*
arith_expr: term (('+' | '-') term)*
term: factor (('*' | '/' | '//') factor)*
factor: NUMBER | NAME | '(' expr ')'

這個例子描述了 Python 的運算式語法規則，包括位元運算、算術運算等。

Python 的語法和詞彙分析

Python 的語法是由一系列的詞彙和語法規則組成的。詞彙是指 Python 中的基本單位，例如變數名稱、函式名稱、類別名稱等。語法規則則定義瞭如何使用這些詞彙來構成有效的 Python 程式。

變數名稱

在 Python 中，變數名稱是由字母、數字和下劃線組成的。變數名稱不能以數字開頭，也不能是 Python 的保留關鍵字。例如，1 不能作為變數名稱，因為它是數字；而 await 不能作為變數名稱，因為它是 Python 的保留關鍵字。

數值

Python 支援多種數值型別，包括整數、浮點數、複數等。整數可以用十進位制、八進位制或十六進製表示。浮點數可以用科學記號表示。複數可以用 j 來表示虛部。

識別符號

Python 的識別符號包括變數名稱、函式名稱、類別名稱等。識別符號必須以字母或下劃線開頭，後面可以跟著任意多個字母、數字或下劃線。

關鍵字

Python 有一些保留關鍵字，不能用作變數名稱或函式名稱。這些關鍵字包括 await、async、break、continue 等。

標點符號

Python 的標點符號包括括號、方括號、花括號、大括號等。括號用於表示函式呼叫或元組；方括號用於表示列表；花括號用於表示集合；大括號用於表示字典。

運運算元

Python 的運運算元包括算術運運算元、比較運運算元、邏輯運運算元、指定運運算元等。算術運運算元包括 +、-、*、/ 等；比較運運算元包括 ==、!=、>、< 等；邏輯運運算元包括 and、or、not 等；指定運運算元包括 =、+=、-= 等。

程式結構

Python 的程式結構包括序列、條件判斷、迴圈等。序列是指程式中的一系列陳述式；條件判斷是指根據條件執行不同的陳述式；迴圈是指重複執行某些陳述式。

模組和套件

Python 的模組和套件是指一組相關的函式和類別的集合。模組可以用 import 關鍵字匯入；套件可以用 from 關鍵字匯入特定的模組或函式。

物件導向程式設計

Python 支援物件導向程式設計。物件導向程式設計是指以物件為中心的程式設計方法。物件具有屬性和方法；屬性是指物件的資料；方法是指物件的行為。

例外處理

Python 的例外處理是指程式中出現錯誤時的處理機制。例外處理可以用 try 和 except 關鍵字實作。

錯誤處理

Python 的錯誤處理是指程式中出現錯誤時的處理機制。錯誤處理可以用 try 和 except 關鍵字實作。

語法分析

Python 的語法分析是指程式中語法的分析過程。語法分析可以用 ast 模組實作。

詞彙分析

Python 的詞彙分析是指程式中詞彙的分析過程。詞彙分析可以用 tokenize 模組實作。

解譯器

Python 的解譯器是指程式中將原始碼轉換為機器碼的過程。解譯器可以用 compile 函式實作。

編譯器

Python 的編譯器是指程式中將原始碼轉換為目標碼的過程。編譯器可以用 compile 函式實作。

執行器

Python 的執行器是指程式中將目標碼執行的過程。執行器可以用 exec 函式實作。

輸出

Python 的輸出是指程式中將結果輸出到螢幕或檔案的過程。輸出可以用 print 函式實作。

輸入

Python 的輸入是指程式中將資料輸入到程式中的過程。輸入可以用 input 函式實作。

檔案操作

Python 的檔案操作是指程式中對檔案進行讀寫操作的過程。檔案操作可以用 open 函式實作。

網路操作

Python 的網路操作是指程式中對網路進行讀寫操作的過程。網路操作可以用 socket 模組實作。

資料函式庫操作

Python 的資料函式庫操作是指程式中對資料函式庫進行讀寫操作的過程。資料函式庫操作可以用 sqlite3 模組實作。

多執行緒

Python 的多執行緒是指程式中多個執行緒同時執行的過程。多執行緒可以用 threading 模組實作。

多程式

Python 的多程式是指程式中多個程式同時執行的過程。多程式可以用 multiprocessing 模組實作。

平行處理

Python 的平行處理是指程式中多個任務同時執行的過程。平行處理可以用 concurrent.futures 模組實作。

圖表翻譯：

  graph LR
    A[變數名稱] --> B[數值]
    B --> C[識別符號]
    C --> D[關鍵字]
    D --> E[標點符號]
    E --> F[運運算元]
    F --> G[程式結構]
    G --> H[模組和套件]
    H --> I[物件導向程式設計]
    I --> J[例外處理]
    J --> K[錯誤處理]
    K --> L[語法分析]
    L --> M[詞彙分析]
    M --> N[解譯器]
    N --> O[編譯器]
    O --> P[執行器]
    P --> Q[輸出]
    Q --> R[輸入]
    R --> S[檔案操作]
    S --> T[網路操作]
    T --> U[資料函式庫操作]
    U --> V[多執行緒]
    V --> W[多程式]
    W --> X[平行處理]

Python程式語言的解析過程

Python程式語言的解析過程涉及多個步驟，包括詞法分析（Lexical Analysis）和語法分析（Syntax Analysis）。在這個過程中，Python的解析器會將原始碼轉換為抽象語法樹（Abstract Syntax Tree, AST）。

詞法分析

詞法分析是將原始碼分解為個別的詞彙（Token）的過程。Python的詞法分析器會將原始碼分解為以下幾種詞彙：

字串（String）
數值（Number）
運算子（Operator）
識別符號（Identifier）
閉包（Closure）

Python的詞法分析器使用了一個叫做tok_get()的函式來實作詞法分析。這個函式會將原始碼的一部分作為輸入，並傳回下一個詞彙。

語法分析

語法分析是將詞彙序列轉換為抽象語法樹（AST）的過程。Python的語法分析器會使用一個叫做parsetok()的函式來實作語法分析。這個函式會將詞彙序列作為輸入，並傳回抽象語法樹。

抽象語法樹是一個樹狀結構，描述了原始碼的語法結構。每個節點在樹中代表了一個語法結構，例如函式定義、類別定義、迴圈等。

抽象語法樹

抽象語法樹是Python解析過程的最終產物。它是一個樹狀結構，描述了原始碼的語法結構。抽象語法樹可以用來實作各種功能，例如：

程式碼最佳化：抽象語法樹可以用來最佳化程式碼，例如刪除無用的程式碼、合並相鄰的運算子等。
程式碼生成：抽象語法樹可以用來生成機器碼，例如將Python程式碼轉換為C程式碼。
程式碼分析：抽象語法樹可以用來分析程式碼，例如計算程式碼的複雜度、檢查程式碼的安全性等。

以下是抽象語法樹的一個簡單範例：

import ast

# 定義一個簡單的Python程式
source_code = """
def add(a, b):
    return a + b
"""

# 將原始碼轉換為抽象語法樹
tree = ast.parse(source_code)

# 印出抽象語法樹
print(ast.dump(tree))

這個範例定義了一個簡單的Python程式，然後使用ast.parse()函式將其轉換為抽象語法樹。最後，使用ast.dump()函式印出抽象語法樹。

瞭解抽象語法樹（AST）和詞法分析

在電腦科學中，抽象語法樹（Abstract Syntax Tree, AST）是一種樹狀結構，代表了原始碼的抽象語法結構。它是編譯器或解譯器在處理原始碼時的中間表示形式。

詞法分析（Lexical Analysis）

詞法分析是編譯器或解譯器的第一個階段，負責將原始碼分解為一個個的詞彙（Token）。詞彙可以是關鍵字、識別符號、運算子、字面量等。

抽象語法樹（AST）

抽象語法樹是詞法分析之後的產物，它代表了原始碼的抽象語法結構。AST是一種樹狀結構，每個節點代表了一個語法結構，例如函式、迴圈、條件判斷等。

AST 節點型別

AST 節點可以分為以下幾種型別：

BinOp：二元運算節點，代表兩個運算元之間的運算。
UnaryOp：一元運算節點，代表對一個運算元進行的運算。
Call：函式呼叫節點，代表對一個函式的呼叫。
Name：識別符號節點，代表一個變數或函式的名稱。
Constant：常數節點，代表一個字面量。

AST 的優點

AST 有以下幾個優點：

提高編譯效率：AST 可以幫助編譯器或解譯器更快速地處理原始碼。
改善程式碼分析：AST 可以提供更好的程式碼分析能力，例如程式碼最佳化、程式碼檢查等。
增強程式碼安全性：AST 可以幫助檢測程式碼中的安全漏洞。

Python 中的 AST

Python 提供了 ast 模組，可以用於處理 AST。以下是一個簡單的例子：

import ast

# 定義一個簡單的 Python 程式碼
code = """
x = 5
y = x + 3
"""

# 將程式碼解析為 AST
tree = ast.parse(code)

# 印出 AST
print(ast.dump(tree))

這個例子將輸出以下 AST：

Module(
  body=[
    Assign(
      targets=[
        Name(id='x', ctx=Store())
      ],
      value=Constant(n=5)
    ),
    Assign(
      targets=[
        Name(id='y', ctx=Store())
      ],
      value=BinOp(
        left=Name(id='x', ctx=Load()),
        op=Add(),
        right=Constant(n=3)
      )
    )
  ]
)

這個 AST 表示了 Python 程式碼的抽象語法結構，其中包括兩個指定陳述式和一個二元運算。

2.1 抽象語法樹（AST）簡介

抽象語法樹（Abstract Syntax Tree, AST）是一種樹狀結構，代表了程式碼的抽象語法結構。它是編譯器或解譯器在分析程式碼時建立的內部表示法，描述了程式碼的語法結構和語義。

2.1.1 AST 的結構

AST 的結構由多個節點組成，每個節點代表了一個語法單元，例如運運算元、運算元、函式呼叫等。每個節點都有一個特定的型別，例如 BinOp、Name、Num 等，代表了該節點的語法意義。

例如，對於表示式 a + 1，其 AST 結構如下：

Expr
  BinOp
    Name: a
    Op: +
    Num: 1

在這個例子中，Expr 是根節點，代表了整個表示式。BinOp 節點代表了二元運算，具有 Name、Op 和 Num 三個子節點，分別代表了運算元 a、運運算元 + 和運算元 1。

2.1.2 AST 的應用

AST 在編譯器或解譯器中扮演著重要角色，它可以用於：

語法分析：AST 可以用於分析程式碼的語法結構，檢查是否存在語法錯誤。
最佳化：AST 可以用於最佳化程式碼，例如消除無用程式碼、合併常數等。
程式碼生成：AST 可以用於生成機器碼或中間碼。

2.1.3 Python 的 AST

Python 的 AST 是由 ast 模組提供的，它可以用於分析 Python 程式碼的語法結構。使用 ast 模組，可以將 Python 程式碼轉換為 AST 結構，然後進行分析或最佳化。

例如，可以使用 ast.parse() 函式將 Python 程式碼轉換為 AST 結構：

import ast

code = "a = 1 + 2"
tree = ast.parse(code)
print(ast.dump(tree))

這會輸出 AST 結構的字串表示。

2.1.4 Instaviz

Instaviz 是一個 Python 套件，可以用於視覺化 AST 結構。它可以將 AST 結構轉換為圖形表示，方便開發者瞭解程式碼的語法結構。

例如，可以使用 instaviz.show() 函式將 AST 結構轉換為圖形表示：

import instaviz

code = "a = 1 + 2"
tree = ast.parse(code)
instaviz.show(tree)

這會啟動一個網頁伺服器，顯示 AST 結構的圖形表示。

抽象語法樹（AST）編譯

抽象語法樹（Abstract Syntax Tree, AST）是一種樹狀結構，代表了程式碼的語法結構。在 Python 中，AST 編譯是一個複雜的過程，涉及多個步驟和模組。

AST 的結構

AST 由多個節點組成，每個節點代表了一個語法元素，例如運算式、陳述式、模組等。每個節點都有一個特定的型別和屬性，例如運算式節點可能包含運算子和運算元等屬性。

AST 編譯過程

AST 編譯過程涉及以下步驟：

詞法分析：將程式碼分解為單個的詞彙（token），例如關鍵字、運算子、變數名等。
語法分析：根據詞彙序列建立 AST。
AST 編譯：將 AST 轉換為機器碼或中間碼。

Python 的 AST 編譯

Python 的 AST 編譯過程由 ast 模組負責。ast 模組提供了一個 API，用於建立和操作 AST。AST 的結構和屬性由 Parser/Python.asdl 檔案定義。

AST 的型別

Python 的 AST 支援四種型別的模組：

Module：代表一個 Python 模組。
Interactive：代表一個互動式 shell。
Expression：代表一個運算式。
FunctionType：代表一個函式型別。

每種型別的模組都有一個對應的類別和屬性，例如 Module 類別包含 body 和 type_ignores 屬性。

AST 的應用

AST 有許多應用，例如：

程式碼分析：AST 可以用於分析程式碼的結構和語法。
程式碼最佳化：AST 可以用於最佳化程式碼的效能和安全性。
程式碼轉換：AST 可以用於轉換程式碼的語言和格式。

總之，AST 是一個強大的工具，用於分析和操作程式碼的語法結構。Python 的 ast 模組提供了一個方便的 API，用於建立和操作 AST。

瞭解Python的語法分析和抽象語法樹

Python的語法分析和抽象語法樹（Abstract Syntax Tree, AST）是理解Python語法和實作Python解析器的基礎。抽象語法樹是一種樹狀結構，代表了Python程式碼的語法結構。

抽象語法樹的結構

抽象語法樹由多個節點組成，每個節點代表了一個語法單元，例如運算式、陳述式、模組等。每個節點都有一個型別和一些屬性，例如運算式的型別可以是二元運算、單元運算等。

Python的語法分析

Python的語法分析是透過一個叫做ast的模組來實作的。ast模組提供了一個函式叫做ast_for_node(),用於建立抽象語法樹的節點。這個函式根據節點的型別和屬性來建立相應的抽象語法樹節點。

例項：新增「幾乎相等」的運算子

為了演示如何新增一個新的語法元素到Python中，我們可以新增一個叫做「幾乎相等」的運算子。這個運算子可以用於比較兩個值是否「幾乎相等」。

首先，我們需要定義這個運算子的語法規則。然後，我們需要修改ast模組來支援這個新的運算子。最後，我們需要重新編譯CPython來使得這個新的運算子生效。

重要術語

抽象語法樹（AST）：Python語法和命令的樹狀結構表示。
具體語法樹（CST）：詞彙和符號名稱的非上下文樹狀結構表示。
解析樹：具體語法樹的別名。
詞彙（Token）：符號名稱的一種型別（例如+）。
詞彙化（Tokenization）：將文字轉換為詞彙的過程。
解析（Parsing）：將文字轉換為CST或AST的過程。

增加「近似相等」運運算元

在程式設計中，運運算元（operator）是用於進行特定操作的符號。比較運運算元（comparison operator）是一種特殊的運運算元，用於比較兩個值之間的關係。常見的比較運運算元包括小於（<）、大於（>）、相等（==）和不相等（!=）。

從技術架構視角來看，Python 的語法分析和抽象語法樹（AST）的應用，為程式碼分析、最佳化和轉換提供了堅實的基礎。深入剖析 AST 的結構，可以發現每個節點代表一個語法單元，其型別和屬性完整地體現了程式碼的語法意義。藉由 ast 模組，開發者能有效地操作 AST，進行程式碼檢查、重構和增強等工作。例如新增「近似相等」運算子的構想，就展現了 AST 的靈活性。然而，修改核心語法涉及編譯器層面的調整，存在一定的技術門檻和相容性風險。展望未來，隨著 Python 語言的演進，預計 AST 的應用將更加廣泛，例如在程式碼自動生成、智慧程式碼提示等領域發揮更大的作用。對於 Python 開發者而言，深入理解 AST 的機制，將有助於提升程式碼品質和開發效率。玄貓認為，掌握 AST 的應用，如同掌握程式碼的靈魂，是邁向 Python 高階開發的關鍵一步。

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。