電腦視覺模型的效能取決於訓練資料的品質，其中資料標記與處理是關鍵步驟。本文將探討如何有效地標記影像和影片資料，並深入研究資料偏差對模型效能的影響。針對影像資料，我們將比較使用資料夾結構和元資料表格兩種標記方法的優劣，並提出結合兩者優點的策略。對於影片資料，除了逐幀處理外，也將介紹如何利用 3D 卷積捕捉時序資訊，提升模型對影片內容的理解能力。此外，本文也將探討大規模資料標記的挑戰，並提供解決方案，例如使用專業標記工具、開發自有標記軟體以及實施嚴格的品質控制措施。最後，我們將探討電腦視覺中常見的偏差問題，例如度量偏差和確認偏差，並提供程式碼範例說明如何檢測和處理這些偏差，以確保模型的可靠性和公平性。
手動標記與影片處理的技術探討
在機器學習專案中，資料的標記與處理是至關重要的步驟。無論是影像分類別、物件偵測還是影片分析，都需要高品質的標記資料來訓練模型。本文將探討手動標記的技術細節，以及如何處理影片資料以提升模型效能。
影像的手動標記方法
手動標記是指人工檢查影像並為其分配標籤的過程。這種方法在許多機器學習專案的初始階段被廣泛使用，即使後續會採用自動化標記工具，通常也需要一定數量的手動標記資料來進行模型訓練。
使用資料夾結構進行標記
最簡單的標記方法是根據影像的類別將其存放在不同的資料夾中。例如，將所有包含「雛菊」的影像存放在名為 daisy 的資料夾中。這種方法的優點是操作簡單，大多數作業系統都支援預覽影像並快速將其移動到指定的資料夾中。
然而，這種方法在處理多標籤影像時會遇到問題。例如，一張影像中同時包含「玫瑰」和「雛菊」，就需要在兩個不同的資料夾中各存一份副本，這會導致資料重複，增加管理的複雜度。
使用元資料表格進行標記
為瞭解決資料夾結構的限制，更推薦的方法是使用元資料表格來記錄影像的標籤。元資料表格通常包含至少兩列：一列是影像檔案的路徑或 URL，另一列是該影像對應的標籤。例如：
gs://cloud-ml-data/img/flower_photos/daisy/100080576_f52e8ee070_n.jpg,daisy
gs://cloud-ml-data/img/flower_photos/daisy/10140303196_b88d3d6cec.jpg,daisy
gs://cloud-ml-data/img/flower_photos/daisy/10172379554_b296050f82_n.jpg,daisy
這種方法的優勢在於可以輕鬆處理多標籤問題，只需在標籤列中填入所有相關的類別即可，例如：
gs://.../multi/100080576_f52e8ee070_n.jpg,sunflower daisy
結合兩種方法的優點
為了兼顧操作的便捷性和資料的靈活性，可以先將影像組織到不同的資料夾中，然後編寫指令碼來遍歷這些影像並生成對應的元資料表格。
影片處理技術
影片是由一系列連續的幀組成，每一幀都可以視為一張影像。處理影片的一種直觀方法是對每一幀進行影像處理，然後將結果綜合起來形成對整個影片的分析。
逐幀處理
使用 OpenCV（cv2）函式庫可以讀取影片檔案並逐幀處理：
cap = cv2.VideoCapture(filename)
num_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
for i in range(num_frames):
readok, frame = cap.read()
if readok:
img = tf.convert_to_tensor(frame)
# 對 img 進行影像處理
#### 內容解密：
- OpenCV 讀取影片：使用
cv2.VideoCapture讀取影片檔案，並透過get方法取得影片的總幀數。 - 逐幀處理：迴圈讀取每一幀，並將其轉換為 TensorFlow 張量以便進行後續的深度學習處理。
- 影像處理：對每一幀影像進行必要的處理，例如分類別或其他分析任務。
使用 3D 卷積處理影片
逐幀處理的一個缺點是忽略了相鄰幀之間的相關性。為了更好地利用這種時序資訊，可以採用 3D 卷積的方法。3D 卷積能夠同時捕捉空間和時間維度的特徵，適用於影片分析任務。
首先，將影片讀取並組織成一個 5D 張量，形狀為 [batch, time, height, width, channels]：
def read_video(filename):
cap = cv2.VideoCapture(filename)
num_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
frames = []
for i in range(num_frames):
readok, frame = cap.read()
if readok:
frames.append(frame)
return tf.expand_dims(tf.convert_to_tensor(frames), -1)
然後，在模型中使用 Conv3D 層代替 Conv2D 層：
# 使用 Conv3D 層進行影片特徵提取
#### 內容解密：
- 讀取影片並轉換為張量：
read_video函式讀取影片並將所有幀儲存為一個張量，最後增加一個維度以符合 Conv3D 的輸入要求。 - Conv3D 處理：使用 3D 卷積層對影片進行特徵提取，能夠同時考慮時間和空間資訊，提高模型對影片內容的理解能力。
大規模標記的挑戰與解決方案
手動標記成千上萬的影像是一項繁瑣且容易出錯的工作。為了提高效率和準確性，可以採用一些工具和技術來簡化這一過程，例如使用專業的標記工具或開發自有的標記軟體。同時，也需要實施嚴格的品質控制措施來發現和糾正標記錯誤。
標註使用者介面與高效標註方法
在電腦視覺任務中，標註工具的設計對於資料集的品質至關重要。一個優秀的標註工具應該具備顯示圖片、快速選擇有效類別並將評分結果儲存至資料函式庫的功能。
標註工具的核心功能
為了支援物件識別和影像分割任務，標註工具需要具備註解功能，能夠將繪製的邊界框或多邊形轉換為影像畫素座標。Computer Vision Annotation Tool 是一個免費、根據網頁的視訊和影像註解工具，不僅能夠線上使用，也支援本地安裝，並相容多種註解格式。
多工標註的挑戰與解決方案
在實際應用中，我們經常需要對同一批圖片進行多工標註。例如，需要根據花的種類別（雛菊、鬱金香等）、顏色（黃色、紅色等）、拍攝地點（室內、室外等）以及種植方式（盆栽、地面種植等）進行分類別。此時，利用 Jupyter Notebook 的互動功能可以實作高效標註。
使用 multi-label-pigeon 套件進行多工標註
annotations = multi_label_annotate(
filenames,
options={'flower': ['daisy', 'tulip', 'rose'],
'color': ['yellow', 'red', 'other'],
'location': ['indoors', 'outdoors']},
display_fn=lambda filename: display(Image(filename))
)
with open('label.json', 'w') as ofp:
json.dump(annotations, ofp, indent=2)
程式碼解析
此段程式碼利用 multi_label_annotate 函式對多個檔案名進行多標籤註解。引數 options 定義了不同的分類別任務及其對應的類別。display_fn 引數用於顯示圖片，以輔助標註者進行判斷。最後，將標註結果儲存為 JSON 檔案。
投票與眾包標註
手動標註存在兩個主要挑戰：人為錯誤和內在的不確定性。為了減少這些問題的影響，可以實施投票系統。例如，將同一張圖片交給兩位標註者，如果他們的標註結果一致，則採用該結果；如果不一致，可以選擇丟棄該圖片、將其歸類別為中立類別，或交由第三位標註者決定。
投票系統的應用
投票系統不僅適用於單標籤分類別任務，也可用於多標籤問題和物件識別、影像分割任務。例如，可以透過眾包方式，讓多位使用者對同一張圖片進行標註，然後根據多數決原則確定最終的標註結果。
標註服務與自動化標註
由於手動標註耗時耗力，許多企業提供專業的標註服務，這些服務能夠高效地完成大規模圖片標註任務。此外，還可以採用自動化方法進行初步標註，再由人工進行校正，以提高效率。
自動化標註的優勢
自動化標註方法即使不完全準確，也能大幅減少人工標註的工作量。因此，在許多情況下，自動化標註是一種有效的輔助手段。
影像資料集的標籤與偏差問題
在建立機器學習模型時，高品質的標籤資料至關重要。取得標籤的方法有很多種，包括從產品目錄中擷取、實體提取，甚至利用半監督學習技術如Noisy Student模型來擴充標籤資料。同時，資料集的偏差問題也必須被重視，因為它會直接影響模型在實際應用中的效能。
相關資料的標籤
取得影像標籤的方法包括：
- 從產品目錄擷取：檢視影像出現在產品目錄的哪個部分，以此推斷影像的標籤。
- 實體提取：從描述影像的文字中進行實體提取，以獲得標籤。
- 部分畫素標籤：在某些情況下，只需檢視影像中的幾個畫素即可獲得標籤。例如，地震影像可以在鑽井和提取岩心樣本的位置進行標籤。
- 空間插值：對於點標籤，可以進行空間插值，並將插值後的資料用作分割任務的標籤。
Noisy Student模型
Noisy Student模型是一種半監督學習方法，透過以下步驟來擴充標籤資料：
- 手動標籤部分資料：例如，標籤10,000張影像。
- 訓練教師模型：使用手動標籤的資料訓練一個小型機器學習模型。
- 預測未標籤資料：使用教師模型預測大量未標籤影像的標籤。
- 訓練學生模型：結合標籤和偽標籤資料訓練一個更大的機器學習模型，並使用dropout和隨機資料增強技術提高模型的泛化能力。
- 迭代更新：將學生模型作為新的教師模型，重複上述過程。
自監督學習
在某些情況下，機器學習方法本身可以提供標籤。例如：
- 自動編碼器：訓練自動編碼器以建立影像的嵌入表示，影像本身即為其標籤。
- 未來結果標籤：根據未來結果對影像進行標籤，例如根據患者的最終結果對醫學影像進行標籤。
偏差問題
理想的機器學習資料集應該能夠訓練出在生產環境中表現完美的模型。如果資料集中某些樣本被低估或高估，導致模型在實際應用中的準確性降低，那麼這個資料集就存在偏差。
偏差來源
- 選擇偏差：由於資料收集不完善，導致某些類別被排除或樣本不足。
- 測量偏差：訓練資料和生產環境中的影像採集方式不同，導致系統性差異。
- 確認偏差：現實生活中的數值分佈導致模型強化不想要的行為。
如何檢測偏差
檢測偏差需要仔細檢查資料集，確保其代表了生產環境中的各種情況。透過分析偏差來源，可以採取相應措施來減少偏差，例如擴充資料集、調整資料採集方法等。
辨識與避免電腦視覺中的偏差
在建立電腦視覺模型時，資料集的偏差是一個非常重要的議題。資料集的偏差可能會導致模型表現不佳，或者在某些特定群體上表現出不公平的結果。瞭解和處理這些偏差對於建立可靠和公平的電腦視覺系統至關重要。
度量偏差（Measurement Bias）
度量偏差是指由於資料收集或標註方式的不同而導致的偏差。例如，在建立一個幫助徒步旅行者識別野花的工具時，如果訓練資料集是由專業攝影師拍攝的照片組成，那麼這些照片可能會包含一些特殊的攝影效果，如背景虛化（bokeh），而這些效果在一般徒步旅行者拍攝的照片中可能不存在。這種差異可能會導致模型在實際應用中表現不佳。
程式碼範例：分析資料集偏差
import pandas as pd
from sklearn.model_selection import train_test_split
# 載入資料集
df = pd.read_csv('wildflowers.csv')
# 分析資料集中的照片屬性
print(df['photo_source'].value_counts())
# 將資料集分割為訓練集和測試集
train_df, test_df = train_test_split(df, test_size=0.2, random_state=42)
# 比較訓練集和測試集中照片來源的分佈
print(train_df['photo_source'].value_counts())
print(test_df['photo_source'].value_counts())
內容解密：
- 首先，我們載入了一個名為
wildflowers.csv的資料集，該資料集包含有關野花的資訊。 - 我們分析了資料集中照片的來源，以瞭解是否有任何偏差。
- 使用
train_test_split函式將資料集分割為訓練集和測試集，以評估模型的表現。 - 比較了訓練集和測試集中照片來源的分佈，以檢測是否存在度量偏差。
確認偏差（Confirmation Bias）
確認偏差是指由於資料收集方式或標註方式而導致的偏差，這些偏差可能會被模型學習並放大。例如，如果一個公司訓練一個模型來篩選求職申請，並根據最終錄取的人員進行分類別，那麼模型可能會學習到公司目前的面試官所具有的任何偏差。
程式碼範例：檢測確認偏差
import numpy as np
from sklearn.metrics import accuracy_score
# 假設我們有一個模型和一個測試資料集
y_true = np.array([0, 1, 1, 0, 1, 0])
y_pred = np.array([0, 1, 0, 0, 1, 0])
# 計算模型的準確率
accuracy = accuracy_score(y_true, y_pred)
print(f'模型準確率：{accuracy:.3f}')
# 對不同群體進行切片評估
group1_y_true = y_true[:3]
group1_y_pred = y_pred[:3]
group2_y_true = y_true[3:]
group2_y_pred = y_pred[3:]
# 計算不同群體的準確率
group1_accuracy = accuracy_score(group1_y_true, group1_y_pred)
group2_accuracy = accuracy_score(group2_y_true, group2_y_pred)
print(f'群體1準確率：{group1_accuracy:.3f}')
print(f'群體2準確率：{group2_accuracy:.3f}')
內容解密：
- 首先，我們計算了模型的整體準確率。
- 然後，我們對不同群體進行了切片評估，以檢測模型在不同群體上的表現是否存在差異。
- 比較了不同群體的準確率，以瞭解模型是否存在確認偏差。
處理偏差的方法
為了處理電腦視覺中的偏差，我們需要採取多種方法，包括：
- 蒐集多樣化的資料以減少度量偏差。
- 對資料進行仔細的標註和驗證，以減少標註偏差。
- 使用切片評估等方法來檢測確認偏差。
- 對模型進行正則化和調整，以減少偏差的影響。
