文字分塊技術策略與應用場景
本文探討文字分塊技術，包含其應用場景、策略、演算法以及相關套件如 NLTK、SpaCy 和 Tiktoken 的使用。同時也涵蓋了滑動視窗分塊、編碼、字串標記化、Token 使用量估算和情感分析等議題，並提供 Python 程式碼示例。
文字分析
4
Articles
CDL 與 TEI 技術應用於中文字元描述及文字編碼
本文探討 CDL 和 TEI 技術在中文字元描述和文字編碼中的應用。CDL 用於描述中文字元的結構、筆順等特徵，而 TEI 則是一種根據 XML 的文字編碼標準。文章將介紹 CDL 和 TEI 的基本概念、應用場景以及相關工具和技術，例如 Wenlin 應用、SAX 和 DOM 解析技術等，並探討中文字元的
TEI 標準與應用：XML 編碼技術於數位人文領域實踐
本文探討 TEI（Text Encoding Initiative）標準及其在數位人文領域的應用。TEI 作為一種根據 XML 的文字編碼標準，提供豐富的元素和屬性，能有效描述文字結構、內容和語言特徵，適用於文字編碼、分析、查詢、檢索、視覺化和呈現等多種場景。文章將深入探討 TEI
文字分割方法與引數選擇策略
本文探討不同文字分割方法，包含根據字元、標點符號和語義的分割，並深入剖析如何根據文字特性選擇合適的分割引數與 LangChain 的檔案分割器應用，涵蓋 Markdown、Python 等檔案型別，以提升後續文字分析效率。