Bash 自動化技術測試：資料處理與專業報告生成實戰指南

xmllint --xpath "//host/address[@addrtype='ipv4']/@addr" nmap.xml

cat httpx.json | jq .

cat httpx.json | jq -r '.webserver'

{
    "parent": {
        "name": "Family Tree",
        "child": {
            "name": "John",
            "age": 10
        },
        "siblings": [
            {
                "child": {
                    "name": "Emma",
                    "age": 8
                }
            },
            {
                "child": {
                    "name": "Michael",
                    "age": 12
                }
            }
        ]
    }
}

echo "$json_data" | jq '.parent.name'

echo "$json_data" | jq '.parent.siblings[].child.name'

echo "$json_data" | jq '.parent.child.age, .parent.siblings[].child.age'

#!/usr/bin/env bash

# 解析 JSON 資料並提取關鍵欄位
parse_json() {
    local json_file=$1
    local json_content=$(cat "$json_file")
    
    # 提取使用者名稱
    local user_name=$(echo "$json_content" | jq -r '.user_name // "未指定"')
    
    # 提取第一個技術標籤
    local first_tech=$(echo "$json_content" | jq -r '.technologies[0] // "無"')
    
    # 提取所有技術標籤
    local all_techs=$(echo "$json_content" | jq -r '.technologies[]' | tr '\n' ', ')
    
    # 輸出解析結果
    echo "使用者名稱: $user_name"
    echo "主要技術: $first_tech"
    echo "所有技術: ${all_techs%,}"
}

# 執行解析函式
parse_json "data.json"

#!/usr/bin/env bash

# 定義資料庫檔案名稱
DB_NAME="pentest_results.db"

# 建立資料庫並定義資料表結構
sqlite3 $DB_NAME <<EOF
CREATE TABLE IF NOT EXISTS nmap_scans (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    ip_address TEXT NOT NULL,
    hostname TEXT,
    port INTEGER NOT NULL,
    protocol TEXT NOT NULL,
    service TEXT,
    version TEXT,
    scan_date DATETIME DEFAULT CURRENT_TIMESTAMP,
    vulnerability TEXT,
    UNIQUE(ip_address, port, protocol)
);

-- 建立索引以加速查詢
CREATE INDEX IF NOT EXISTS idx_ip_address ON nmap_scans(ip_address);
CREATE INDEX IF NOT EXISTS idx_port ON nmap_scans(port);
CREATE INDEX IF NOT EXISTS idx_scan_date ON nmap_scans(scan_date);
EOF

echo "資料庫建立完成: $DB_NAME"

#!/usr/bin/env bash

DB_NAME="pentest_results.db"
NMAP_XML_FILE="$1"

# 檢查檔案是否存在
if [ ! -f "$NMAP_XML_FILE" ]; then
    echo "錯誤: 找不到檔案 $NMAP_XML_FILE"
    exit 1
fi

# 使用 xmlstarlet 解析 XML 並格式化輸出
xmlstarlet sel -t -m "//host" \
    -v "address/@addr" -o "|" \
    -v "hostnames/hostname/@name" -o "|" \
    -m "ports/port" \
    -v "@portid" -o "|" \
    -v "@protocol" -o "|" \
    -v "service/@name" -o "|" \
    -v "service/@version" -n \
    "$NMAP_XML_FILE" | while IFS='|' read -r ip hostname port protocol service version; do
    
    # 處理空值情況
    hostname="${hostname:-未知主機}"
    service="${service:-未知服務}"
    version="${version:-未知版本}"
    
    # 插入資料到資料庫，使用 INSERT OR IGNORE 避免重複
    sqlite3 $DB_NAME <<SQL
    INSERT OR IGNORE INTO nmap_scans (ip_address, hostname, port, protocol, service, version)
    VALUES ('$ip', '$hostname', '$port', '$protocol', '$service', '$version');
SQL
    
    # 顯示進度
    echo "已匯入: $ip:$port ($service)"
done

echo "資料匯入完成"

#!/usr/bin/env bash

DB_NAME="pentest_results.db"
IP_ADDRESS="192.168.1.100"
PORT=80
VULNERABILITY="SQL Injection 漏洞：應用程式未正確過濾使用者輸入，導致可能的資料庫注入攻擊"

# 更新指定記錄的漏洞描述
sqlite3 $DB_NAME <<SQL
UPDATE nmap_scans 
SET vulnerability = '$VULNERABILITY' 
WHERE ip_address = '$IP_ADDRESS' 
  AND port = $PORT 
  AND (vulnerability IS NULL OR vulnerability = '');
SQL

# 檢查更新結果
UPDATED_ROWS=$(sqlite3 $DB_NAME "SELECT changes();")
echo "已更新 $UPDATED_ROWS 筆記錄"

#!/usr/bin/env bash

DB_NAME="pentest_results.db"

# 字串截斷函式，確保每個欄位不超過指定長度
truncate_string() {
    local string="$1"
    local max_length="$2"
    
    if [ ${#string} -gt $max_length ]; then
        echo "${string:0:$((max_length-3))}..."
    else
        printf "%-${max_length}s" "$string"
    fi
}

# 列印表格標題
print_header() {
    printf "%-16s | %-20s | %-6s | %-10s | %-18s | %-25s | %s\n" \
        "IP 位址" "主機名稱" "埠號" "協定" "服務" "版本" "漏洞描述"
    printf "%s\n" "$(printf '=%.0s' {1..130})"
}

# 查詢並格式化輸出
display_results() {
    print_header
    
    sqlite3 -separator "|" "$DB_NAME" \
        "SELECT ip_address, hostname, port, protocol, service, version, vulnerability 
         FROM nmap_scans 
         ORDER BY ip_address, port;" |
    while IFS='|' read -r ip hostname port protocol service version vulnerability; do
        # 處理空值顯示
        hostname="${hostname:-N/A}"
        service="${service:-N/A}"
        version="${version:-N/A}"
        vulnerability="${vulnerability:-尚未發現}"
        
        # 截斷過長的字串
        ip=$(truncate_string "$ip" 16)
        hostname=$(truncate_string "$hostname" 20)
        port=$(truncate_string "$port" 6)
        protocol=$(truncate_string "$protocol" 10)
        service=$(truncate_string "$service" 18)
        version=$(truncate_string "$version" 25)
        vulnerability=$(truncate_string "$vulnerability" 30)
        
        # 輸出格式化的資料列
        printf "%-16s | %-20s | %-6s | %-10s | %-18s | %-25s | %s\n" \
            "$ip" "$hostname" "$port" "$protocol" "$service" "$version" "$vulnerability"
    done
    
    echo ""
    echo "查詢完成"
}

# 執行查詢
display_results

# 只顯示存在漏洞的記錄
sqlite3 -separator "|" "$DB_NAME" \
    "SELECT ip_address, hostname, port, vulnerability 
     FROM nmap_scans 
     WHERE vulnerability IS NOT NULL AND vulnerability != ''
     ORDER BY ip_address;"

# 統計每個 IP 位址的開放埠號數量
sqlite3 -header -column "$DB_NAME" \
    "SELECT ip_address AS 'IP 位址', 
            COUNT(*) AS '開放埠號數量',
            GROUP_CONCAT(port, ', ') AS '埠號列表'
     FROM nmap_scans 
     GROUP BY ip_address 
     ORDER BY COUNT(*) DESC;"

# 找出特定服務的所有實例
sqlite3 -header -column "$DB_NAME" \
    "SELECT ip_address, port, version 
     FROM nmap_scans 
     WHERE service LIKE '%ssh%'
     ORDER BY ip_address;"

\documentclass[12pt,a4paper]{article}

% 載入必要套件
\usepackage[utf8]{inputenc}
\usepackage{xeCJK}  % 支援中文
\usepackage{geometry}  % 版面設定
\usepackage{fancyhdr}  % 頁首頁尾
\usepackage{graphicx}  % 圖片支援
\usepackage{listings}  % 程式碼區塊
\usepackage{xcolor}  % 顏色支援
\usepackage{longtable}  % 跨頁表格

% 設定中文字型
\setCJKmainfont{Microsoft JhengHei UI}

% 版面配置
\geometry{
    left=2.5cm,
    right=2.5cm,
    top=3cm,
    bottom=3cm
}

% 頁首頁尾設定
\pagestyle{fancy}
\fancyhf{}
\fancyhead[L]{技術測試報告}
\fancyhead[R]{\today}
\fancyfoot[C]{\thepage}

% 文件開始
\begin{document}

\title{技術測試報告}
\author{資安團隊}
\date{\today}
\maketitle

\section{執行摘要}
本次技術測試針對目標系統進行全面性的安全評估...

\section{測試範圍}
測試範圍包含以下網段與系統...

\section{測試結果}
以下為詳細的測試發現...

\end{document}

#!/usr/bin/env bash

DB_NAME="pentest_results.db"
OUTPUT_FILE="report.tex"

# 產生 LaTeX 文件標頭
cat > "$OUTPUT_FILE" <<'EOF'
\documentclass[12pt,a4paper]{article}
\usepackage[utf8]{inputenc}
\usepackage{xeCJK}
\usepackage{geometry}
\usepackage{longtable}
\usepackage{booktabs}
\usepackage{xcolor}

\setCJKmainfont{Microsoft JhengHei UI}
\geometry{left=2cm, right=2cm, top=2.5cm, bottom=2.5cm}

\begin{document}

\title{網路掃描技術測試報告}
\author{資安測試團隊}
\date{\today}
\maketitle

\section{掃描結果彙總}

以下表格呈現網路掃描的詳細結果。

\begin{longtable}{|p{3cm}|p{3cm}|p{1.5cm}|p{2cm}|p{2.5cm}|p{3cm}|}
\hline
\textbf{IP 位址} & \textbf{主機名稱} & \textbf{埠號} & \textbf{協定} & \textbf{服務} & \textbf{版本} \\
\hline
\endfirsthead

\multicolumn{6}{c}{\textit{接續上頁}} \\
\hline
\textbf{IP 位址} & \textbf{主機名稱} & \textbf{埠號} & \textbf{協定} & \textbf{服務} & \textbf{版本} \\
\hline
\endhead

\hline
\multicolumn{6}{r}{\textit{接續下頁}} \\
\endfoot

\hline
\endlastfoot

EOF

# 查詢資料庫並產生表格內容
sqlite3 -separator "|" "$DB_NAME" \
    "SELECT ip_address, 
            COALESCE(hostname, 'N/A'), 
            port, 
            protocol, 
            COALESCE(service, 'N/A'), 
            COALESCE(version, 'N/A')
     FROM nmap_scans 
     ORDER BY ip_address, port;" |
while IFS='|' read -r ip hostname port protocol service version; do
    # 跳脫特殊字元
    hostname="${hostname//_/\\_}"
    service="${service//_/\\_}"
    version="${version//_/\\_}"
    
    # 產生表格列
    echo "$ip & $hostname & $port & $protocol & $service & $version \\\\" >> "$OUTPUT_FILE"
    echo "\\hline" >> "$OUTPUT_FILE"
done

# 產生文件結尾
cat >> "$OUTPUT_FILE" <<'EOF'
\end{longtable}

\section{漏洞發現}

以下為測試過程中發現的安全漏洞。

EOF

# 產生漏洞表格
sqlite3 -separator "|" "$DB_NAME" \
    "SELECT ip_address, 
            port, 
            service,
            vulnerability
     FROM nmap_scans 
     WHERE vulnerability IS NOT NULL AND vulnerability != ''
     ORDER BY ip_address;" |
while IFS='|' read -r ip port service vulnerability; do
    echo "\\subsection{$ip:$port - $service}" >> "$OUTPUT_FILE"
    echo "" >> "$OUTPUT_FILE"
    echo "$vulnerability" >> "$OUTPUT_FILE"
    echo "" >> "$OUTPUT_FILE"
done

# 完成文件
echo "\\end{document}" >> "$OUTPUT_FILE"

echo "LaTeX 報告已產生: $OUTPUT_FILE"
echo "執行以下指令編譯 PDF:"
echo "xelatex $OUTPUT_FILE"

# 編譯 LaTeX 文件為 PDF
xelatex report.tex

# 如果文件包含參考文獻或目錄，需要執行多次
xelatex report.tex
xelatex report.tex

#!/usr/bin/env bash

# 工作流程設定
PROJECT_NAME="技術測試專案"
TARGET_NETWORK="192.168.1.0/24"
WORKSPACE="./pentest_workspace"
DB_NAME="$WORKSPACE/results.db"
NMAP_OUTPUT="$WORKSPACE/nmap_scan.xml"
REPORT_OUTPUT="$WORKSPACE/report.tex"

# 建立工作目錄
mkdir -p "$WORKSPACE"

echo "=========================================="
echo "$PROJECT_NAME - 自動化測試流程"
echo "=========================================="
echo ""

# 步驟一：執行網路掃描
echo "[步驟 1/5] 執行 Nmap 網路掃描"
echo "目標網段: $TARGET_NETWORK"
nmap -sV -sC -oX "$NMAP_OUTPUT" "$TARGET_NETWORK" || {
    echo "錯誤: Nmap 掃描失敗"
    exit 1
}
echo "掃描完成，結果已儲存至 $NMAP_OUTPUT"
echo ""

# 步驟二：建立資料庫
echo "[步驟 2/5] 初始化 SQLite 資料庫"
./create_database.sh "$DB_NAME" || {
    echo "錯誤: 資料庫建立失敗"
    exit 1
}
echo "資料庫建立完成: $DB_NAME"
echo ""

# 步驟三：匯入掃描結果
echo "[步驟 3/5] 匯入掃描結果至資料庫"
./import_nmap_results.sh "$NMAP_OUTPUT" "$DB_NAME" || {
    echo "錯誤: 資料匯入失敗"
    exit 1
}
echo "掃描結果已成功匯入資料庫"
echo ""

# 步驟四：顯示掃描摘要
echo "[步驟 4/5] 產生掃描結果摘要"
echo ""
sqlite3 -header -column "$DB_NAME" \
    "SELECT 
        COUNT(DISTINCT ip_address) as '主機數量',
        COUNT(*) as '開放埠號總數',
        COUNT(DISTINCT service) as '服務類型數量'
     FROM nmap_scans;"
echo ""

# 步驟五：產生 LaTeX 報告
echo "[步驟 5/5] 產生技術測試報告"
./generate_latex_report.sh "$DB_NAME" "$REPORT_OUTPUT" || {
    echo "錯誤: 報告產生失敗"
    exit 1
}
echo "報告原始檔已產生: $REPORT_OUTPUT"
echo ""

# 編譯 PDF 報告
echo "正在編譯 PDF 報告..."
cd "$WORKSPACE" && xelatex "$(basename $REPORT_OUTPUT)" > /dev/null 2>&1
if [ $? -eq 0 ]; then
    echo "PDF 報告產生成功: $WORKSPACE/report.pdf"
else
    echo "警告: PDF 編譯失敗，請檢查 LaTeX 安裝"
fi
cd - > /dev/null

echo ""
echo "=========================================="
echo "自動化測試流程執行完畢"
echo "=========================================="
echo ""
echo "工作目錄: $WORKSPACE"
echo "資料庫: $DB_NAME"
echo "報告: $WORKSPACE/report.pdf"

# 擴充資料表結構以支援 Web 掃描結果
sqlite3 $DB_NAME <<EOF
CREATE TABLE IF NOT EXISTS web_scans (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    url TEXT NOT NULL,
    status_code INTEGER,
    title TEXT,
    server TEXT,
    technologies TEXT,
    scan_date DATETIME DEFAULT CURRENT_TIMESTAMP,
    UNIQUE(url)
);

CREATE TABLE IF NOT EXISTS vulnerabilities (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    scan_id INTEGER,
    scan_type TEXT,
    severity TEXT,
    title TEXT,
    description TEXT,
    recommendation TEXT,
    discovered_date DATETIME DEFAULT CURRENT_TIMESTAMP,
    FOREIGN KEY(scan_id) REFERENCES nmap_scans(id)
);
EOF

% 企業版報告模板
\documentclass[12pt,a4paper]{report}

\usepackage{xeCJK}
\usepackage{graphicx}
\usepackage{fancyhdr}
\usepackage[colorlinks=true,linkcolor=blue]{hyperref}

% 載入公司標誌
\usepackage{eso-pic}
\AddToShipoutPictureBG{%
  \AtPageUpperLeft{%
    \raisebox{-\height}{%
      \includegraphics[width=5cm]{company_logo.png}%
    }%
  }%
}

% 定義色彩主題
\definecolor{primary}{RGB}{0,70,127}
\definecolor{secondary}{RGB}{0,122,204}

% 客製化章節標題樣式
\usepackage{titlesec}
\titleformat{\chapter}[display]
  {\normalfont\huge\bfseries\color{primary}}
  {\chaptertitlename\ \thechapter}{20pt}{\Huge}

# 建立漏洞知識庫表格
sqlite3 $DB_NAME <<EOF
CREATE TABLE IF NOT EXISTS vulnerability_kb (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    cve_id TEXT UNIQUE,
    title TEXT NOT NULL,
    severity TEXT NOT NULL,
    description TEXT,
    remediation TEXT,
    references TEXT
);

-- 插入範例資料
INSERT INTO vulnerability_kb (cve_id, title, severity, description, remediation) VALUES
('CVE-2024-1234', 'SQL 注入漏洞', '高',
 '應用程式未正確驗證使用者輸入，導致可能的 SQL 注入攻擊',
 '實作參數化查詢，使用準備陳述式（Prepared Statements），並驗證所有使用者輸入'),
('CVE-2024-5678', '跨站腳本攻擊', '中',
 '應用程式未正確過濾輸出內容，可能導致 XSS 攻擊',
 '對所有輸出內容進行編碼，實作內容安全政策（CSP）');
EOF

# 設定資料庫檔案權限，僅允許擁有者讀寫
chmod 600 "$DB_NAME"

# 設定工作目錄權限
chmod 700 "$WORKSPACE"

# 加密敏感資料
# 可以使用 gpg 或其他加密工具保護報告檔案
gpg --symmetric --cipher-algo AES256 report.pdf

# 清理超過三個月的舊資料
sqlite3 $DB_NAME <<EOF
DELETE FROM nmap_scans 
WHERE scan_date < datetime('now', '-3 months');

-- 執行資料庫最佳化
VACUUM;
EOF

# 備份資料庫
BACKUP_FILE="$WORKSPACE/backup_$(date +%Y%m%d).db"
cp "$DB_NAME" "$BACKUP_FILE"
gzip "$BACKUP_FILE"

# 設定日誌檔案
LOG_FILE="$WORKSPACE/automation.log"

# 記錄函式
log_message() {
    local level=$1
    shift
    echo "[$(date '+%Y-%m-%d %H:%M:%S')] [$level] $*" | tee -a "$LOG_FILE"
}

# 使用範例
log_message "INFO" "開始執行網路掃描"
log_message "ERROR" "掃描失敗: 目標主機無回應"
log_message "SUCCESS" "報告產生完成"