MongoDB 分片技術實作

– 11 分鐘閱讀

在資料量不斷增長的時代，資料函式庫的效能和可擴充套件性變得至關重要。MongoDB 的分片技術提供了一個有效的解決方案，允許將資料分散到多個伺服器上，從而提升查詢速度和整體效能。本文將引導讀者逐步設定 MongoDB 分片叢集，並探討分片鍵的選擇策略以及資料分佈的驗證方法。透過實際操作範例，讀者將能夠更深入地理解 MongoDB 分片技術的運作機制，並將其應用於實際的專案開發中，有效提升資料函式庫的處理能力和儲存容量。

MongoDB 分片技術實作

步驟六：以 “mongos” 啟動 MongoDB 分片環境

要啟動 MongoDB 分片環境，需依照以下步驟進行：

  1. 開啟現有的命令提示字元（已在管理員模式下開啟）。如果尚未導航至 MongoDB 安裝路徑中的 bin 目錄，請先導航至該目錄（例如 C:\Program Files\MongoDB\Server\4.4\bin），然後輸入以下命令：

mongos –logpath “c:\MongoDB-Sharding\mongos.log” –configdb BPBOnlineConfReplicaSet/localhost:27040,localhost:27041,localhost:27042 –port 27043

   注意，在 `--configdb` 中，必須指定組態伺服器的副本集 ID。

2. 開啟新的命令提示字元（在管理員模式下），導航至 MongoDB 安裝路徑中的 `bin` 目錄，然後輸入以下命令：
   ```bash
mongo --port 27043

此命令將啟動 MongoDB Shell，並可看到 Shell 提示字元變為 mongos。

步驟七：新增 MongoDB 分片鍵

  1. 在 MongoDB Shell (mongos) 中，新增分片，即之前建立的副本集的主要成員。輸入以下命令：

db.adminCommand({addShard: “BPBOnlineReplicaSet1/” + “localhost:37017”}); db.adminCommand({addShard: “BPBOnlineReplicaSet2/” + “localhost:47017”}); db.adminCommand({addShard: “BPBOnlineReplicaSet3/” + “localhost:57017”});

   或者，也可以不使用字串連線直接輸入：
   ```javascript
db.adminCommand({addShard: "BPBOnlineReplicaSet1/localhost:37017"});
  1. 啟用資料函式庫的分片功能，使用以下命令：

db.adminCommand({enableSharding: “BPBOnlineShardedDB”})


3. 新增分片集合並指定分片鍵，使用以下命令：
   ```javascript
db.adminCommand({shardCollection: "BPBOnlineShardedDB.BPBOnlineShardedCollection", key: {_id: 1}})

步驟八：驗證 MongoDB 分片

  1. 在 mongos 執行的 MongoDB Shell 中，建立新的資料函式庫和集合，並插入檔案。

use BPBOnlineShardedDB db.BPBOnlineShardedCollection.insert([ {“booktitle”: “.Net Interview Questions - 7th Revised Edition”}, {“booktitle”: “101 Challenges In C Programming”}, {“booktitle”: “101 Challenges In C++ Programming”}, {“booktitle”: “21 Internet Of Things (IOT) Experiments”}, {“booktitle”: “3D Game Weapons (Modeling UV Mapping & Texturing)”}, {“booktitle”: “3D Printing Made Simple”}, {“booktitle”: “A Practical Approach for Machine Learning and Deep Learning Algorithms”}, {“booktitle”: “ARTIFICIAL INTELLIGENCE”} ]);


2. 執行以下命令以檢視插入的檔案：
   ```javascript
db.BPBOnlineShardedCollection.find().pretty()
  1. 驗證分片狀態，使用以下命令：

db.printShardingStatus(true)

   此命令將印出詳細的分片狀態。

4. 檢視集合的檔案分佈情況，使用以下命令：
   ```javascript
db.BPBOnlineShardedCollection.getShardDistribution()

內容解密：

  • db.adminCommand({addShard: "..."})：將指定的副本集新增為分片。
  • db.adminCommand({enableSharding: "..."})：啟用指定資料函式庫的分片功能。
  • db.adminCommand({shardCollection: "..."})：對指定的集合啟用分片，並指定分片鍵。
  • db.printShardingStatus(true)：印出詳細的分片狀態資訊。
  • db.BPBOnlineShardedCollection.getShardDistribution()：檢視集合的檔案在各分片中的分佈情況。

MongoDB 分片技術詳解與實作

MongoDB 的分片技術是實作水平擴充套件的關鍵，能夠有效提升資料函式庫的效能與容量。本文將探討 MongoDB 分片的核心概念、實作步驟及其重要性。

分片技術的核心概念

分片（Sharding）是一種將資料分散儲存於多個伺服器的技術，能夠提升資料函式庫的處理能力和儲存容量。MongoDB 的分片技術主要涉及以下幾個核心元件：

  1. 分片叢集（Sharded Clusters）：由多個分片（Shard）組成的叢集，每個分片負責儲存部分資料。
  2. 設定伺服器（Config Servers）：負責儲存叢集的中繼資料，如分片資訊和資料分佈資訊。
  3. 路由伺服器（Mongos）：作為客戶端與分片叢集之間的橋樑，負責將查詢請求路由到正確的分片。

建立 MongoDB 分片環境的步驟

建立 MongoDB 分片環境需要經過以下幾個步驟：

1. 準備環境

首先，需要準備多個 MongoDB 例項，分別作為分片、設定伺服器和路由伺服器。在生產環境中，這些例項通常佈署在不同的伺服器上，以確保高用性。

# 啟動設定伺服器
mongod --configsvr --replSet configReplSet --dbpath /data/configdb --port 27019

# 啟動分片伺服器
mongod --shardsvr --replSet shardReplSet --dbpath /data/sharddb --port 27018

# 啟動路由伺服器
mongos --configdb configReplSet/localhost:27019 --port 27017

2. 組態設定伺服器和分片伺服器

接下來，需要初始化設定伺服器和分片伺服器的副本集（Replica Set），以確保資料的高用性。

// 組態設定伺服器副本集
rs.initiate({
  _id: "configReplSet",
  configsvr: true,
  members: [{ _id: 0, host: "localhost:27019" }]
});

// 組態分片伺服器副本集
rs.initiate({
  _id: "shardReplSet",
  members: [{ _id: 0, host: "localhost:27018" }]
});

3. 新增分片至叢集

透過路由伺服器，將分片新增至分片叢集中。

// 連線到路由伺服器
mongo --port 27017

// 新增分片
sh.addShard("shardReplSet/localhost:27018");

4. 啟用資料函式庫和集合的分片功能

最後，需要為特定的資料函式庫和集合啟用分片功能，並指定分片鍵（Shard Key）。

// 啟用資料函式庫的分片功能
sh.enableSharding("mydatabase");

// 為集合啟用分片功能並指定分片鍵
sh.shardCollection("mydatabase.mycollection", { shardKey: 1 });

分片鍵的選擇

選擇合適的分片鍵對於資料的均勻分佈至關重要。理想的分片鍵應該具備以下特性：

  • 基數高：具有多個不同的值，避免資料傾斜。
  • 查詢頻繁：常用於查詢條件，以便 Mongos 能夠高效地路由查詢請求。
  • 均勻分佈：確保資料能夠均勻地分散到各個分片上。
本章重點回顧：
  • MongoDB 分片技術的核心概念
  • 建立 MongoDB 分片環境的詳細步驟
  • 分片鍵的選擇原則

常見問題：

  1. 什麼是 MongoDB 的分片技術？
    • 分片技術是一種將資料分散儲存於多個伺服器的技術，用於提升資料函式庫的處理能力和儲存容量。
  2. 如何選擇合適的分片鍵？
    • 理想的分片鍵應該具備高基數、查詢頻繁和均勻分佈的特性。
  3. 如何驗證分片環境是否組態成功？
    • 可以透過 sh.status() 命令檢查分片叢集的狀態，確認各個元件是否正常運作。

MongoDB 技術：資料函式庫操作與索引管理

MongoDB 資料函式庫操作方法

MongoDB 提供豐富的資料函式庫操作方法，讓開發者能夠靈活地管理資料。以下是一些常用的方法：

資料查詢

  • db.collection.find()：用於查詢集合中的檔案，可搭配查詢條件使用。
  • db.collection.find().pretty()：以格式化的方式顯示查詢結果。

資料插入

  • db.collection.insert()：插入單一或多個檔案至集合中。
  • db.collection.insertOne()：插入單一檔案至集合中。
  • db.collection.insertMany()：插入多個檔案至集合中。

資料更新

  • db.collection.update()：更新集合中的檔案，可選擇更新單一或多個檔案。
  • db.collection.updateOne()：更新集合中的單一檔案。
  • db.collection.updateMany()：更新集合中的多個檔案。

資料刪除

  • db.collection.remove()：刪除集合中的檔案，可選擇刪除單一或多個檔案。
  • db.collection.deleteOne()：刪除集合中的單一檔案。
  • db.collection.deleteMany()：刪除集合中的多個檔案。

索引管理

索引是提升 MongoDB 查詢效能的重要工具。以下是一些與索引相關的操作方法：

建立索引

  • db.collection.createIndex()：在集合中建立索引。
  • db.collection.getIndexes()：檢視集合中的索引。

刪除索引

  • db.collection.dropIndex()：刪除集合中的指定索引。
  • db.collection.dropIndexes()：刪除集合中的所有索引。

資料型別與查詢選擇器

MongoDB 支援多種資料型別，包括整數、浮點數、字串、日期等。同時，MongoDB 也提供了豐富的查詢選擇器，讓開發者能夠根據不同的條件進行查詢。

查詢選擇器

  • 元素選擇器（Element Selectors）：例如 $exists。
  • 邏輯選擇器（Logical Selectors）：例如 $and、$not。
  • 評估選擇器（Evaluation Selectors）：例如 $regex。

MapReduce 與聚合操作

MongoDB 提供了 MapReduce 和聚合操作來進行複雜的資料處理。

MapReduce

  • mapReduce() 方法：用於進行 MapReduce 操作。

聚合操作

  • aggregate() 方法：用於進行聚合操作，可搭配不同的聚合階段使用。

MongoDB 的優勢與應用場景

MongoDB 作為一種 NoSQL 資料函式庫，具有以下優勢：

  1. 靈活性：MongoDB 的檔案導向資料模型提供了極大的靈活性，能夠輕鬆適應變化的需求。
  2. 可擴充套件性：MongoDB 支援水平擴充套件，能夠處理大量的資料和高併發的請求。

MongoDB 適用於多種應用場景，包括但不限於：

  1. 大資料分析：MongoDB 能夠處理大量的非結構化資料，適合用於大資料分析。
  2. 即時資料處理：MongoDB 的高效能和可擴充套件性使其適合用於即時資料處理應用。
  3. 內容管理：MongoDB 的檔案導向資料模型使其適合用於內容管理系統。

MongoDB Community Edition 安裝與設定

MongoDB Community Edition 是 MongoDB 官方提供的免費版本，適用於開發、測試及小型生產環境。本文將介紹如何在不同作業系統上安裝與設定 MongoDB Community Edition。

MongoDB Community Edition 安裝

在 Windows 上安裝

  1. 下載安裝檔：前往 MongoDB 官方網站下載 MongoDB Community Edition 安裝檔。
  2. 執行安裝：執行下載的安裝檔，按照提示進行安裝。安裝過程中可選擇安裝路徑、服務設定等。
  3. 設定環境變數：安裝完成後，將 MongoDB 的 bin 目錄新增至系統環境變數 PATH 中。

在 Linux 上安裝

  1. 匯入公鑰：使用以下命令匯入 MongoDB 的公鑰：
    wget -qO - https://www.mongodb.org/static/pgp/server-6.0.asc | sudo apt-key add -
  2. 建立列表檔案：根據您的 Linux 發行版，建立對應的列表檔案。例如，對於 Ubuntu：
    echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu focal/mongodb-org/6.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-6.0.list
  3. 更新套件列表：執行以下命令更新套件列表：
    sudo apt-get update
  4. 安裝 MongoDB：使用以下命令安裝 MongoDB：
    sudo apt-get install -y mongodb-org

在 macOS 上安裝

  1. 安裝 Homebrew：如果尚未安裝 Homebrew，請先安裝。
  2. 更新 Homebrew：執行以下命令更新 Homebrew：
    brew update
  3. 安裝 MongoDB：使用以下命令安裝 MongoDB：
    brew install mongodb-community@6.0

安裝後檢查

  1. 檢查服務狀態：在 Windows 上，可透過服務管理器檢查 MongoDB 服務是否啟動。在 Linux 或 macOS 上，使用以下命令檢查：
    sudo systemctl status mongod  # Linux
brew services list  # macOS
  2. 連線 MongoDB：使用 MongoDB Shell 或其他客戶端工具連線至 MongoDB 伺服器，驗證是否安裝成功。

MongoDB Compass 安裝與使用

MongoDB Compass 是官方提供的圖形化管理工具，可用於瀏覽資料函式庫、執行 CRUD 操作等。

  1. 下載 Compass：前往 MongoDB 官方網站下載 Compass 安裝檔。
  2. 安裝 Compass：執行下載的安裝檔，按照提示進行安裝。
  3. 連線 MongoDB：啟動 Compass，輸入連線字串連線至 MongoDB 伺服器。
內容解密：
  1. 本文介紹瞭如何在不同作業系統上安裝與設定 MongoDB Community Edition。
  2. 詳細說明瞭在 Windows、Linux 及 macOS 上的安裝步驟，包括下載、安裝及環境設定。
  3. 提供了安裝後檢查的方法，確保 MongoDB 服務正常運作。
  4. 簡要介紹了 MongoDB Compass 的安裝與使用，作為圖形化管理工具的輔助。
  5. 總結了 MongoDB 的優勢和適用場景，幫助讀者快速開始使用。

此提供了詳細的步驟和實用資訊，幫助開發者順利完成 MongoDB Community Edition 的安裝與設定，並掌握基本的管理工具使用方法。

程式碼區塊說明：

wget -qO - https://www.mongodb.org/static/pgp/server-6.0.asc | sudo apt-key add -
echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu focal/mongodb-org/6.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-6.0.list
sudo apt-get update
sudo apt-get install -y mongodb-org

上述程式碼區塊用於在 Linux 系統上匯入 MongoDB 公鑰、建立套件列表並更新，最後安裝 MongoDB。

brew update
brew install mongodb-community@6.0

此區塊展示了在 macOS 上使用 Homebrew 更新並安裝 MongoDB 的步驟。

圖表說明：

此圖示展示了MongoDB在不同作業系統上的安裝流程：

@startuml
skinparam backgroundColor #FEFEFE
skinparam componentStyle rectangle

title MongoDB 分片技術實作

package "資料庫架構" {
    package "應用層" {
        component [連線池] as pool
        component [ORM 框架] as orm
    }

    package "資料庫引擎" {
        component [查詢解析器] as parser
        component [優化器] as optimizer
        component [執行引擎] as executor
    }

    package "儲存層" {
        database [主資料庫] as master
        database [讀取副本] as replica
        database [快取層] as cache
    }
}

pool --> orm : 管理連線
orm --> parser : SQL 查詢
parser --> optimizer : 解析樹
optimizer --> executor : 執行計畫
executor --> master : 寫入操作
executor --> replica : 讀取操作
cache --> executor : 快取命中

master --> replica : 資料同步

note right of cache
  Redis/Memcached
  減少資料庫負載
end note

@enduml

MongoDB 技術深度解析

資料函式庫組態與操作

MongoDB 的組態與資料函式庫操作是其高效能的關鍵。資料函式庫的組態涉及多個方面，包括讀寫操作、資料分片等。

資料函式庫組態

MongoDB 的資料函式庫組態主要涉及 config database，這是儲存叢集元資料的地方。正確組態資料函式庫對於確保資料的一致性和高效的讀寫操作至關重要。

讀寫操作

讀寫操作是 MongoDB 的核心功能。高效的讀寫操作能夠確保資料的快速存取和更新。MongoDB 透過最佳化讀寫操作，提供了高效率的資料處理能力。

分片技術

分片是 MongoDB 的一個重要特性，它能夠將資料分散儲存於多個伺服器上，從而提高資料的儲存能力和處理效率。

分片的優勢

分片技術具有多個優勢，包括提高資料儲存能力、增強系統的可擴充套件性、提升資料處理效率等。透過分片，可以將大規模的資料集分散到多個伺服器，從而實作負載平衡和高效的資料存取。

分片前的準備步驟

在實施分片之前，需要進行一系列的準備工作，包括選擇適當的分片鍵、組態分片叢集等。正確的準備步驟能夠確保分片的順利實施和高效運作。

索引技術

索引是 MongoDB 中用於提高查詢效率的重要技術。不同的索引型別能夠滿足不同的查詢需求。

單欄位索引

單欄位索引是針對單一欄位建立的索引，能夠提高對該欄位的查詢效率。在 MongoDB 中，可以輕鬆地為集合中的欄位建立單欄位索引。

文字索引

文字索參照於支援對文字欄位的全文檢索。在 MongoDB 中，可以為集合中的文字欄位建立文字索引，以實作高效的全文檢索功能。

特殊型別的索引

除了基本的索引型別外，MongoDB 還支援多種特殊型別的索引，如地理空間索引、雜湊索引等。這些特殊索引能夠滿足特定的查詢需求。

儲存引擎

儲存引擎是 MongoDB 用於管理資料儲存的核心元件。不同的儲存引擎具有不同的特性和優勢。

WiredTiger 儲存引擎

WiredTiger 是 MongoDB 的預設儲存引擎，具有高效的檔案級並發控制和壓縮功能。它能夠提供高效率的資料存取和儲存能力。

其他儲存引擎

除了 WiredTiger 外，MongoDB 還支援其他型別的儲存引擎，如記憶體儲存引擎、加密儲存引擎等。這些儲存引擎能夠滿足不同的應用需求。

資料型別

MongoDB 支援多種資料型別，能夠滿足不同的應用需求。

字串資料型別

字串是 MongoDB 中常用的資料型別，用於儲存文字資訊。正確使用字串資料型別能夠確保資料的一致性和可讀性。

時間戳資料型別

時間戳資料型別用於儲存時間相關的資訊。在 MongoDB 中，可以使用時間戳資料型別來記錄檔案的建立或更新時間。

使用者認證與角色管理

使用者認證和角色管理是 MongoDB 安全性的重要組成部分。透過正確的使用者認證和角色管理，可以確保只有授權使用者能夠存取和操作資料。

資料函式庫認證

資料函式庫認證是使用者存取 MongoDB 資料函式庫的第一道防線。正確組態資料函式庫認證機制能夠確保資料的安全性。

角色型存取控制

角色型存取控制（RBAC）是一種細粒度的許可權控制機制，能夠根據使用者的角色分配不同的許可權，從而實作精確的安全控制。

玄貓 BlackCat

玄貓 BlackCat

技術愛好者，專注於分享程式開發、雲端技術與 AI 應用的心得體會。