知識圖譜應用於語義搜尋和相似度分析

– 12 分鐘閱讀

知識圖譜技術已成為提升搜尋引擎效能的關鍵，它能理解使用者查詢背後的意圖，並提供更精準的搜尋結果。本文將深入探討如何結合自然語言處理和圖資料函式庫技術，實作根據知識圖譜的語義搜尋和相似度分析。首先，我們會介紹如何從非結構化文字中抽取實體，並將其轉換為知識圖譜的節點和關係。接著，我們將示範如何使用 Cypher 查詢語言進行實體查詢、文章查詢以及相似度分析。最後，我們將探討如何利用知識圖譜實作更進階的語義搜尋功能，例如根據實體關係和上下文進行搜尋，並提供相關程式碼範例。

圖表翻譯：程式碼邏輯與系統架構

  flowchart TD
    A[程式碼邏輯] --> B[系統架構]
    B --> C[圖表視覺化]
    C --> D[程式碼最佳化]
    D --> E[系統效能提升]

圖表翻譯：

上述圖表展示了程式碼邏輯、系統架構、圖表視覺化、程式碼最佳化以及系統效能提升之間的關係。程式碼邏輯是系統架構的基礎，系統架構會影響圖表視覺化的呈現，圖表視覺化有助於程式碼最佳化，最終導致系統效能的提升。

程式碼解說：根據症狀進行診斷

import pandas as pd

# 載入症狀資料
symptoms = pd.read_csv('symptoms.csv')

# 定義根據症狀進行診斷的函式
def diagnose(symptom_list):
    # 根據症狀列表計算每個候選原因的精確度和召回率
    precision = []
    recall = []
    for candidate in candidates:
        precision.append(len([symptom for symptom in symptom_list if symptom in candidate['symptoms']]) / len(candidate['symptoms']))
        recall.append(len([symptom for symptom in symptom_list if symptom in candidate['symptoms']]) / len(symptom_list))
    
    # 根據F-score選擇最可能的根因
    f_scores = [2 * p * r / (p + r) for p, r in zip(precision, recall)]
    most_likely_cause = candidates[f_scores.index(max(f_scores))]
    
    return most_likely_cause

# 測試診斷函式
symptom_list = ['頭痛', '發燒', '咳嗽']
print(diagnose(symptom_list))

內容解密：

上述程式碼定義了一個根據症狀進行診斷的函式。該函式首先載入症狀資料，然後根據輸入的症狀列表計算每個候選原因的精確度和召回率。最後，根據F-score選擇最可能的根因並傳回。程式碼使用pandas函式庫來載入和處理資料，並使用列表推導式來計算精確度和召回率。

圖表翻譯：自然語言搜尋

  flowchart TD
    A[自然語言搜尋] --> B[索引建立]
    B --> C[查詢最佳化]
    C --> D[相關性排名]
    D --> E[搜尋結果]

圖表翻譯：

上述圖表展示了自然語言搜尋的過程。自然語言搜尋首先需要建立索引，然後對查詢進行最佳化，接著根據相關性對搜尋結果進行排名，最終傳回搜尋結果。這個過程需要使用自然語言處理技術來提取結構化資訊並建立索引，以便於搜尋引擎進行查詢和排名。

程式碼解說：使用知識圖來增強搜尋

import networkx as nx

# 建立知識圖
G = nx.Graph()
G.add_node('entity1')
G.add_node('entity2')
G.add_edge('entity1', 'entity2', relation='相關')

# 定義搜尋函式
def search(query):
    # 尋找與查詢相關的實體
    related_entities = [entity for entity in G.nodes() if entity in query]
    
    # 尋找與相關實體相關的其他實體
    related_entities.extend([entity for entity in G.nodes() if any(relation['relation'] == '相關' for relation in G[entity])])
    
    return related_entities

# 測試搜尋函式
query = 'entity1'
print(search(query))

內容解密：

上述程式碼建立了一個知識圖並定義了一個搜尋函式。該函式首先尋找與查詢相關的實體，然後尋找與相關實體相關的其他實體。最終，傳回所有相關實體的列表。程式碼使用networkx函式庫來建立和操作知識圖，並使用列表推導式來尋找相關實體。

自然語言文字中的實體抽取

自然語言文字是人們用來傳遞資訊的一種方式，但同樣的實體和關係可以用很多不同的方式來描述，因為人類語言非常豐富（但也模糊和依賴於上下文）。因此，以文字表示為基礎的任何自動化處理（例如搜尋）都是不準確和效率低下的。這就是為什麼需要將這種處理提升到一個更高的抽象層次。

實體抽取是自然語言處理中的一個基本步驟，目的是從文字中提取出隱藏的實體。這個過程通常被稱為文字註解，相關的NLP技術被稱為命名實體識別（Named Entity Recognition，NER）。NER可以幫助我們從文字中提取出具體的實體，如組織、位置、人物等。

實體抽取的應用

實體抽取可以用於搜尋引擎中，讓使用者可以搜尋特定的實體，而不是隻搜尋文字。例如，當使用者搜尋“New York”時，搜尋引擎可以區分出這是指城市還是指州。

實作實體抽取

有一種方法是使用Hugging Face的NER模型來提取實體。這個模型可以將文字中的實體識別出來，並傳回實體的型別、score和位置。

from transformers import pipeline
ner_pipe = pipeline("ner", aggregation_strategy="simple")
title = """Twitter chair Patrick Pichette joins graph data platform Neo4j board of directors."""
for entity in ner_pipe(title):
    print(entity)

這個程式碼會輸出提取出的實體，包括實體型別、score和位置。

實體型別

NER模型可以識別出不同的實體型別，如位置（LOC）、組織（ORG）、人物（PER）和雜項（MISC）。

實體重要性

NER模型還可以傳回實體的重要性，表示實體在文字中的相關性。

知識圖譜

提取出的實體可以儲存在知識圖譜中，形成一個圖形結構的資料函式庫。這個圖譜可以用來支援搜尋引擎中的實體搜尋功能。

from neo4j import GraphDatabase
driver = GraphDatabase.driver("bolt://your.db.ip:7687", auth=("neo4j", "pwd"))
title = "the title of the article"

這個程式碼會連線到Neo4j資料函式庫，並寫入提取出的實體。

圖文關聯查詢：實作語義搜尋和相似度分析

在前面的章節中，我們探討瞭如何使用自然語言處理（NLP）技術從文章中提取實體，並將其儲存在圖資料函式庫中。這使得我們可以對文章進行更深入的分析和搜尋。在本章中，我們將介紹如何使用Cypher查詢語言對圖資料函式庫進行查詢，從而實作語義搜尋和相似度分析。

實體查詢

首先，我們需要了解如何查詢圖資料函式庫中的實體。以下是使用Cypher查詢語言查詢實體的基本步驟：

MATCH (e:Entity)
RETURN e.name, e.type

這個查詢會傳回圖資料函式庫中所有實體的名稱和型別。

文章查詢

接下來，我們需要查詢與特定實體相關的文章。以下是使用Cypher查詢語言查詢文章的基本步驟：

MATCH (a:Article)-[:references]->(e:Entity { name: "實體名稱" })
RETURN a.title, a.text

這個查詢會傳回與指定實體相關的所有文章的標題和內容。

實作語義搜尋

語義搜尋是指根據實體和其關係進行搜尋。以下是使用Cypher查詢語言實作語義搜尋的基本步驟：

MATCH (a:Article)-[:references]->(e:Entity { name: "實體名稱" })
OPTIONAL MATCH (a)-[:references]->(e2:Entity)
RETURN a.title, a.text, e2.name

這個查詢會傳回與指定實體相關的所有文章的標題、內容和相關實體的名稱。

實作相似度分析

相似度分析是指根據文章的內容和實體進行相似度計算。以下是使用Cypher查詢語言實作相似度分析的基本步驟：

MATCH (a1:Article)-[:references]->(e:Entity { name: "實體名稱" })
MATCH (a2:Article)-[:references]->(e)
RETURN a1.title, a2.title, similarity(a1.text, a2.text) AS similarity

這個查詢會傳回與指定實體相關的所有文章的標題和相似度。

圖表翻譯：

  graph LR
    A[文章] -->| references | B[實體]
    B -->| references | C[文章]
    C -->| similarity | D[相似度]

這個圖表展示了文章、實體和相似度之間的關係。

實作檔案相似度推薦的Cypher查詢

在實作檔案相似度推薦時，我們需要計算兩篇檔案之間的相似度。這可以透過計算兩篇檔案之間分享的實體數量來實作。以下是計算兩篇檔案之間相似度的Cypher查詢：

MATCH (a1:Article)-[r1:references]->(e:Entity)<-[r2:references]-(a2:Article)
WHERE a1.url = $url1 AND a2.url = $url2
RETURN sum(r1.salience * r2.salience) AS similarity_metric

這個查詢計算了兩篇檔案之間分享的實體數量，並傳回一個相似度指標。

實作檔案相似度推薦的完整查詢

要實作檔案相似度推薦，我們需要傳回前五個最相似的檔案，以及解釋相似度的分享實體。以下是完整的Cypher查詢：

MATCH (a1:Article)-[r1:references]->(e:Entity)<-[r2:references]-(a2:Article)
WHERE a1.url = $url1
WITH a2, sum(r1.salience * r2.salience) AS similarity_metric
ORDER BY similarity_metric DESC
LIMIT 5
MATCH (a2)-[r2:references]->(e:Entity)
RETURN a2.url AS article_url, a2.title AS article_title, collect(e.name) AS shared_entities

這個查詢傳回前五個最相似的檔案，以及解釋相似度的分享實體。

實作實體頻率分析

要實作實體頻率分析，我們需要計算每個實體在所有檔案中出現的次數。以下是Cypher查詢：

MATCH (a:Article)-[r:references]->(e:Entity)
RETURN e.name AS entity_name, count(a) AS frequency
ORDER BY frequency DESC

這個查詢傳回每個實體在所有檔案中出現的次數，並按頻率降序排列。

實作時間序列分析

要實作時間序列分析，我們需要計算每個實體在不同時間段內出現的次數。以下是Cypher查詢：

MATCH (a:Article)-[r:references]->(e:Entity)
WHERE a.published >= $start_date AND a.published <= $end_date
WITH e, a.published AS published_date
UNWIND range(0, 11) AS increment
WITH e, published_date + duration("P" + increment + "M") AS date
RETURN date AS date, count(e) AS frequency
ORDER BY date ASC

這個查詢傳回每個實體在不同時間段內出現的次數，並按時間升序排列。

圖表翻譯：

以下是使用Mermaid語法繪製的圖表，展示了檔案相似度推薦的流程：

  graph LR
    A[檔案] -->| references |--> B[實體]
    B -->| references |--> C[檔案]
    C -->| similarity_metric |--> D[推薦]
    D -->| shared_entities |--> E[解釋]

這個圖表展示了檔案相似度推薦的流程，包括計算兩篇檔案之間的相似度、傳回前五個最相似的檔案，以及解釋相似度的分享實體。

實作檔案相似度推薦的圖資料函式庫方法

在圖資料函式庫中，實作檔案相似度推薦可以透過計算檔案之間的相似度來完成。這個過程涉及到以下步驟：

  1. 檔案實體化：首先，需要將檔案轉換為圖資料函式庫中的實體（nodes），每個實體代表一個檔案。
  2. 實體關聯：然後，需要建立實體之間的關聯（relationships），這些關聯可以根據檔案之間的參照關係、共同的實體參照等。
  3. 相似度計算：接下來，需要計算每對檔案之間的相似度，這可以透過計算它們分享的實體數量、參照關係的強度等指標來完成。
  4. 推薦生成：最後，根據計算出的相似度，可以生成推薦列表，將最相似的檔案推薦給使用者。

實作步驟

步驟1：檔案實體化

MATCH (a1:Article)-[r1:references]->(e:Entity)<-[r2:references]-(a2:Article)
WHERE a1.url = $url1
RETURN a2 AS recommendation,
       sum(r1.salience * r2.salience) AS similarity_metric,
       collect(e) AS explanation
ORDER BY similarity_metric DESC

這個查詢陳述式首先找到所有參照相同實體的檔案，然後計算它們之間的相似度，並傳回最相似的檔案。

步驟2：實體關聯

MATCH (a1:Article)-[r1:references]->(e:Entity)<-[r2:references]-(a2:Article)
WITH a1, a2, sum(r1.salience * r2.salience) AS similarity_metric
MERGE (a1)-[:similar { metric: similarity_metric }]-(a2)

這個查詢陳述式建立了檔案之間的相似關聯，根據它們分享的實體和參照關係的強度。

步驟3：相似度計算

MATCH (a1:Article)-[r:similar]-(a2:Article)
WHERE a1.url = $url1
RETURN a2 AS recommendation,
       r.metric AS similarity_metric
ORDER BY similarity_metric DESC

這個查詢陳述式計算了每對檔案之間的相似度，並傳回最相似的檔案。

推薦生成

MATCH (c:Concept)<-[:refers_to]-(a:Article)
WHERE date() - duration("P6M") < a.datetime < date()
RETURN c.label, count(a) AS freq LIMIT 10

這個查詢陳述式傳回了最近六個月內最熱門的主題，可以用於冷啟動時的推薦生成。

探索語義搜尋與相似性

語義搜尋是一種先進的搜尋技術，能夠理解自然語言的含義和上下文關係。它與傳統的根據關鍵字的搜尋不同，後者只依靠字面上的匹配。語義搜尋的核心是實體識別和消歧，這涉及到識別文字中的實體（如人名、地點、組織）並將其連結到一個分享的概念方案中。

實體識別和消歧

實體識別是指從文字中提取出實體的過程，而消歧則是指將這些實體與一個分享的概念方案中的唯一定義條目進行匹配的過程。這個過程可以使用Named-Entity Recognition（NER）引擎來完成，NER引擎能夠識別出文字中的實體，並根據一定的規則將其與分享的概念方案進行匹配。

組織原則

組織原則是指用於索引和組織知識的框架或結構。一個常見的組織原則是Medical Subject Headings（MeSH），它是一個全面性的受控詞彙，用於索引生命科學領域的期刊文章和書籍。另一個例子是Disease Ontology，一個標準化的疾病本體論。

視覺化直觀

對於這個概念，可以透過視覺化來產生直觀的理解。例如，透過新增額外的層次來擴充套件圖12-3，從而提供新的探索資料的途徑。

實體連結

實體連結是指將提取出的實體與一個分享的概念方案中的唯一定義條目進行匹配的過程。這個過程可以使用Google Cloud Platform（GCP）Natural Language API來完成，該API提供了一個實體提取功能，可以新增一些與實體相關的後設資料，包括Wikipedia URL，這些URL可以幫助將實體與一個組織原則中的條目進行非模糊匹配。

示例程式碼

以下是一個使用GCP Natural Language API進行實體識別的Python程式碼示例：

from google.cloud import language_v1

client = language_v1.LanguageServiceClient.from_service_account_json(
    'services.json'
)

text = u"Twitter chair Patrick Pichette joins graph data platform Neo4j board of directors"

document = language_v1.Document(
    content=text, type_=language_v1.Document.Type.PLAIN_TEXT
)
response = client.analyze_entities(request={"document": document})

for entity in response.entities:
    print(entity)

這個程式碼會輸出一個實體列表，包括其型別和重要性，以及一些額外的後設資料，如Wikipedia URL。

12.4 語意搜尋與相似度：整合知識圖譜和實體消歧

為瞭解決連結問題，我們需要找到一個能夠整合後設資料（如維基百科頁面參考）的組織原則。一些公共本體和知識函式庫，如Wikidata或DBpedia，已經跨參照，並包含維基百科頁面參考在其元素中。

例如，Example 12-15 顯示了Wikidata圖中描述實體Neo4j（識別為wd:Q1628290）的一個片段。描述包括一個狀態（schema:about），指向該特定實體。

注意，Wikidata使用數值來識別其中的所有元素。就像Neo4j被識別為wd:Q1628290，它也被分類別為一個圖資料函式庫，這本身被識別為wd:Q595971。

示例：Wikidata圖中Neo4j的片段

wd:Q1628290
  rdfs:label "Neo4j"@de ;
  schema:description "graph database implemented in Java"@en ;
  wdp:P31 wd:Q595971.

有了這兩部分，我們可以輕鬆地構建一個語意知識圖譜，如圖12-6所示。

圖12-6：使用GCP自然語言API和Wikidata進行實體消歧的兩步驟

以下示例顯示了Cypher-only版本的此過程。你可以這樣做，因為Neo4j中的APOC函式庫提供了包裝方法，呼叫GCP自然語言API而不需要像本章前面的示例一樣編寫外部程式碼。

  1. 將文章匯入圖中作為節點。示例12-16中的Cypher陳述式解析文章列表作為一個CSV檔案（articles.csv），包含四列：uri、title、body和datetime。它還為每個記錄建立了一個節點。
LOAD CSV WITH HEADERS FROM 'file:///articles.csv' AS row
CREATE (a:Article { uri: row.uri})
SET a.title = row.title, a.body = row.body, a.datetime = datetime(row.date)
  1. 將組織原則匯入圖中。假設組織原則使用任何常見的W3C標準（OWL、SKOS或RDFS）進行描述。然後，你可以使用neosemantics函式庫進行匯入，如示例12-17所示。
CALL n10s.graphconfig.init({ handleVocabUris: "IGNORE", classLabel: "Concept", subClassOfRel: "broader"})
CALL n10s.skos.import.fetch("path-to-file-containing-organizing-principle","RDF/XML")
  1. 在文章內容上執行實體提取，並將傳回的實體與組織原則 liên結起來。注意示例12-18中使用的apoc.nlp.gcp.entities.stream方法，它負責呼叫GCP自然語言API。
CALL apoc.periodic.iterate(
  "MATCH (a:Article) WHERE a.processed IS NULL RETURN a",
  "CALL apoc.nlp.gcp.entities.stream([item in $_batch | item.a], { 
    nodeProperty: 'body', 
    key: $key
  })"
)

圖表翻譯：

此圖表顯示了使用GCP自然語言API和Wikidata進行實體消歧的兩步驟。第一步是將文章匯入圖中作為節點，第二步是將組織原則匯入圖中並執行實體提取。這兩步驟使我們能夠構建一個語意知識圖譜，並解決連結問題。

內容解密：

這段程式碼展示瞭如何使用Cypher語言將文章匯入圖中作為節點，並將組織原則匯入圖中。它還展示瞭如何使用APOC函式庫呼叫GCP自然語言API進行實體提取。這些步驟使我們能夠構建一個語意知識圖譜，並解決連結問題。

什麼是語義搜尋？

語義搜尋是一種可以理解自然語言並根據實體、概念和關係進行搜尋的技術。它使用者能夠根據概念而不是簡單的關鍵字進行搜尋，從而獲得更相關和準確的結果。

從技術架構視角來看，本文深入探討了圖資料函式庫如何強化語義搜尋和相似度分析，並提供多個程式碼範例和圖表說明。分析段落中，我們看到從程式碼邏輯到系統架構的轉換，以及如何利用知識圖譜增強搜尋的精確度。此外，文章詳細闡述了實體抽取的應用、實作方法以及如何利用知識圖譜進行實體搜尋和相似度分析，甚至包含了時間序列分析的Cypher 查詢。然而，文章並未深入探討不同實體抽取模型的效能比較，以及知識圖譜建構的複雜度和可維護性等潛在挑戰。展望未來，隨著自然語言處理技術的持續發展，預期知識圖譜的應用將更加普及，進而推動更智慧的搜尋體驗和更精準的推薦系統。對於想要構建語義搜尋應用的開發者，建議深入研究不同知識圖譜的建構方法，並根據實際應用場景選擇合適的實體抽取模型和相似度計算方法。玄貓認為，結合圖資料函式庫和自然語言處理技術的語義搜尋將是未來搜尋引擎發展的重要方向，值得技術團隊持續關注和投入。

玄貓

玄貓

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。