在現今的應用程式開發中，資料函式庫的選擇和佈署至關重要。本文將引導讀者使用 Docker 建立和管理 MongoDB 和 PostgreSQL 資料函式庫環境。我們將分別探討這兩種資料函式庫的特性，並提供 Python 程式碼範例，示範如何連線到資料函式庫、執行查詢和處理結果。同時，我們也會深入研究 Docker 網路設定，確保 Jupyter Notebook 能夠順利連線到資料函式庫容器，並提供使用 psycopg2 函式庫連線 PostgreSQL 的程式碼範例。最後，我們將討論一些提升資料函式庫效能、安全性和管理效率。
資料儲存的多元選擇：MongoDB 與 PostgreSQL 的 Docker 實作
在現代資料驅動的應用程式中，選擇適當的資料儲存方案至關重要。本章節將探討兩種流行的資料函式庫系統：MongoDB 和 PostgreSQL。我們將重點介紹如何使用 Docker 來佈署和管理這些資料函式庫，並探討它們在處理不同型別資料時的優勢。
MongoDB：處理非結構化資料的利器
MongoDB 是一個檔案導向的 NoSQL 資料函式庫，以其靈活性和處理大量非結構化資料的能力而聞名。它非常適合處理來自社群媒體平台（如 Twitter）的資料。
將 Twitter 資料插入 MongoDB
要將 Twitter 資料插入 MongoDB，首先需要建立一個與 Twitter API 互動的物件。然後，可以使用 .insert_one() 方法將單條推文插入資料函式庫中。
my_collection.insert_one(next(twitterator))
驗證資料插入
插入資料後，可以使用 .count() 和 .find_one() 方法來驗證資料是否成功插入。
my_collection.count()
my_collection.find_one()
PostgreSQL：處理結構化資料的強者
PostgreSQL 是一個開源的物件關聯式資料函式庫系統，以其強大的結構化資料處理能力和豐富的功能集而受到業界的廣泛採用。它支援原生陣列和二進位物件型別，使其成為處理結構化資料的理想選擇。
使用 Docker 佈署 PostgreSQL
要使用 Docker 佈署 PostgreSQL，首先需要提取官方的 PostgreSQL 映像。
docker pull postgres
然後，建立一個新的資料卷來持久化資料。
docker volume create --name pg-datastore
接著，執行 PostgreSQL 容器並掛載資料卷。
docker run -d --name this_postgres -v pg-datastore:/var/lib/postgresql/data -p 5432:5432 postgres
驗證 PostgreSQL 安裝
可以使用 psql 命令列工具來驗證 PostgreSQL 是否安裝成功。
docker exec -it this_postgres psql postgres postgres
在 psql 提示符下，可以執行 SQL 命令來建立表格、插入資料和查詢資料。
CREATE TABLE test (_id INTEGER, name TEXT);
INSERT INTO test VALUES (1, 'Joshua');
SELECT * FROM test LIMIT 1;
Docker 網路組態
Docker 提供了多種網路組態選項，可以用來連線不同的容器。在本例中，我們將使用預設的 bridge 網路來連線 PostgreSQL 容器和其他服務。
檢視 Docker 網路組態
可以使用 docker network ls 命令來檢視目前的網路組態。
docker network ls
檢查橋接網路
可以使用 docker network inspect 命令來檢查 bridge 網路的詳細組態。
docker network inspect bridge
這將顯示 bridge 網路的詳細資訊，包括其 IP 地址範圍和連線的容器。
隨著資料量的不斷增長和應用程式需求的日益複雜，資料儲存技術也在不斷進化。未來，我們可以期待看到更多創新性的資料函式庫解決方案和更高效的佈署管理工具。持續關注最新的技術發展，並根據實際需求選擇最合適的解決方案，將是確保應用程式長期成功的關鍵。
圖表翻譯：
此圖示展示了使用Docker管理PostgreSQL作為持久服務的架構。PostgreSQL服務由一個執行的容器和相關聯的資料卷組成，確保了資料在容器生命週期結束後仍然得以保留。
程式碼實作與解析
以下是一個簡單的Python指令碼，用於連線MongoDB並插入一條測試檔案：
from pymongo import MongoClient
# 連線到MongoDB
client = MongoClient('mongodb://localhost:27017/')
# 選擇資料函式庫
db = client['test_database']
# 選擇集合
collection = db['test_collection']
# 插入一條測試檔案
test_document = {"name": "John", "age": 30}
result = collection.insert_one(test_document)
# 列印插入結果
print(f"Inserted with _id: {result.inserted_id}")
# 關閉客戶端連線
client.close()
內容解密：
- 首先，我們匯入了
MongoClient類別，這是 PyMongo 中用於連線 MongoDB 的主要類別。 - 使用
MongoClient建立到本地 MongoDB 例項的連線，預設埠為 27017。 - 選擇一個名為
test_database的資料函式庫。如果該資料函式庫不存在，MongoDB 將在第一次寫入操作時自動建立它。 - 在所選資料函式庫中選擇一個名為
test_collection的集合。與資料函式庫類別似，如果該集合不存在，它將在第一次寫入時被建立。 - 建立一個測試檔案，這裡是一個簡單的字典，包含姓名和年齡資訊。
- 使用
insert_one方法將測試檔案插入所選集合中。 - 列印出插入操作傳回的檔案 ID，這是 MongoDB 自動為新檔案生成的唯一識別碼。
- 最後，關閉與 MongoDB 的連線，釋放資源。
這個範例展示瞭如何使用 Python 連線 MongoDB、選擇特定的資料函式庫和集合，並執行插入操作。它為進一步使用 MongoDB 進行更複雜的操作奠定了基礎。
資料儲存系統的連線與驗證
在現代的資料科學與軟體開發中，資料函式庫的連線與操作是不可或缺的一環。本章節將探討如何使用 Docker 連線 PostgreSQL 資料函式庫與 Jupyter Notebook，並進行基本的驗證與操作。
驗證Jupyter與PostgreSQL的連線
首先，我們需要驗證 Jupyter Notebook 是否能夠成功連線到正在執行的 Postgres 容器。為此，我們將啟動一個新的 Jupyter 容器，並使用 docker run 命令進行連線測試。
步驟1：啟動Jupyter容器
$ docker run -v `pwd`:/home/jovyan -p 8888:8888 jupyter/scipy-notebook
這個命令會啟動一個 Jupyter Notebook 容器，並將當前目錄掛載到容器的 /home/jovyan 目錄，同時將容器的 8888 連線埠對映到主機的 8888 連線埠。
步驟2：檢查執行中的容器
使用 docker ps 命令來確認目前正在執行的容器：
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS
f9751d99f09d postgres "docker-entrypoint.sh" 22 minutes ago Up 22 minutes ...
cce1148863a2 jupyter/scipy-notebook "tini -- start-notebo" 2 minutes ago Up 2 minutes ...
從輸出結果中，我們可以看到 Postgres 容器和 Jupyter Notebook 容器都已成功啟動。
步驟3：檢查網路組態
預設情況下，Docker 容器會連線到 bridge 網路。我們可以使用 docker network inspect 命令來檢查這兩個容器是否在同一個網路中：
$ docker network inspect bridge
[
{
"Name": "bridge",
...
"Containers": {
"12fe7cea2e63b622c7804d1df96fbe2afce25d014e850b4fdec4e2e5498fde1b": {
"Name": "this_postgres",
"EndpointID": "a9820c6df3120c7fc4a98f09372b1e51252ceb937aaa18f7a9eec001cc6e2760",
"MacAddress": "02:42:ac:11:00:04",
"IPv4Address": "172.17.0.2/16",
"IPv6Address": ""
},
"cce1148863a22d11272ca031ded06139b2f0372d92aca269fd0d50234a30cf1c": {
"Name": "hungry_cray",
"EndpointID": "cde785070465ea79d4d9296895cb09f5975ec06a22caca090fab789ca10b1d90",
"MacAddress": "02:42:ac:11:00:03",
"IPv4Address": "172.17.0.3/16",
"IPv6Address": ""
},
},
...
}
]
步驟4：驗證連線
進入 Jupyter Notebook 容器，並嘗試 ping Postgres 容器的 IP 位址：
$ docker exec -it hungry_cray bash
jovyan@cce1148863a2:~$ ping -c 3 172.17.0.2
PING 172.17.0.2 (172.17.0.2): 56 data bytes
64 bytes from 172.17.0.2: icmp_seq=0 ttl=64 time=0.138 ms
64 bytes from 172.17.0.2: icmp_seq=1 ttl=64 time=0.103 ms
64 bytes from 172.17.0.2: icmp_seq=2 ttl=64 time=0.116 ms
--- 172.17.0.2 ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max/stddev = 0.103/0.119/0.138/0.000 ms
內容解密：
- 此步驟展示瞭如何進入 Jupyter Notebook 容器並驗證與 Postgres 容器的網路連線。
- 使用
ping命令測試網路連通性，確保兩個容器可以互相通訊。 - 這是驗證容器間連線的基本步驟，確保後續的操作能夠順利進行。
使用自定義網路連線容器
為了更方便地透過容器名稱進行連線，我們可以建立一個新的橋接網路，並將這兩個容器連線到該網路中。
步驟1：建立新的橋接網路
$ docker network create jupyter_bridge
b8146c1af3a91abe4c123b9234d372e098fd71f1f0facd3e8251da2e864253ee
步驟2：將容器連線到新網路
$ docker network connect jupyter_bridge hungry_cray
$ docker network connect jupyter_bridge this_postgres
步驟3：驗證容器間的連線
再次進入 Jupyter Notebook 容器，並嘗試使用容器名稱 ping Postgres 容器：
$ docker exec -it hungry_cray bash
jovyan@cce1148863a2:~$ ping -c 3 this_postgres
PING this_postgres (172.25.0.3): 56 data bytes
64 bytes from 172.25.0.3: icmp_seq=0 ttl=64 time=0.248 ms
64 bytes from 172.25.0.3: icmp_seq=1 ttl=64 time=0.082 ms
64 bytes from 172.25.0.3: icmp_seq=2 ttl=64 time=0.081 ms
--- this_postgres ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max/stddev = 0.081/0.137/0.248/0.078 ms
內容解密：
- 這裡展示瞭如何建立一個新的 Docker 網路並將容器連線到該網路。
- 連線後，可以直接使用容器名稱進行通訊，大大簡化了操作流程。
- 這種方法比使用預設的
bridge網路更具靈活性，並且避免了 IP 位址變更的問題。
在Jupyter中使用PostgreSQL
現在，我們將在 Jupyter Notebook 中使用 psycopg2 連線到 PostgreSQL 資料函式庫。
步驟1：安裝psycopg2函式庫
在 Jupyter Notebook 中執行以下命令安裝 psycopg2：
!pip install psycopg2
輸出結果：
Collecting psycopg2
Downloading psycopg2-2.7.1-cp35-cp35m-manylinux1_x86_64.whl (2.7MB)
100% |████████████████████████████████| 2.7MB 333kB/s eta 0:00:01
Installing collected packages: psycopg2
Successfully installed psycopg2-2.7.1
內容解密：
psycopg2是 Python 中用於連線 PostgreSQL 資料函式庫的重要函式庫。- 在 Jupyter Notebook 中，可以直接使用
!pip install命令安裝所需的 Python 包。 - 安裝完成後，即可在 Notebook 中匯入並使用該函式庫。
步驟2：匯入必要的函式庫並建立連線
import psycopg2
from psycopg2.extras import RealDictCursor
import pandas as pd
# 建立資料函式庫連線
conn = psycopg2.connect(
host="this_postgres",
database="your_database",
user="your_username",
password="your_password"
)
cursor = conn.cursor(cursor_factory=RealDictCursor)
內容解密：
- 使用
psycopg2.connect方法建立與 PostgreSQL 資料函式庫的連線。 - 這裡使用了
RealDictCursor，它允許查詢結果以字典形式傳回，便於轉換為 Pandas DataFrame。 - 需要替換
your_database、your_username和your_password為實際的資料函式庫憑證。
步驟3：執行查詢並顯示結果
# 執行 SQL 查詢
cursor.execute("SELECT * FROM your_table")
# 取得查詢結果並轉換為 DataFrame
results = cursor.fetchall()
df = pd.DataFrame(results)
# 顯示結果
print(df)
# 關閉連線
conn.close()
內容解密：
- 使用
cursor.execute方法執行 SQL 查詢。 fetchall方法用於取得所有查詢結果，並轉換為 Pandas DataFrame 以便進一步分析。- 最後關閉資料函式庫連線，釋放資源。
隨著資料量的增長和技術的發展，未來可以考慮以下幾個方向：
- 最佳化資料函式庫查詢效能：透過索引最佳化、查詢最佳化等技術提升資料檢索效率。
- 使用更高效的資料處理工具：例如，使用 Dask 與 Pandas 結合處理更大規模的資料集。
- 加強安全性措施：確保資料函式庫憑證的安全，避免硬編碼敏感資訊。
- 自動化佈署與管理：利用 Docker Compose 或 Kubernetes 簡化多容器應用的佈署和管理流程。
這些方向將進一步提升系統的效能、安全性和可維護性，為未來的發展奠定堅實基礎。
