在 Web 開發中，分析 Apache 日誌檔案對於瞭解網站流量、使用者行為和系統效能至關重要。本文將介紹如何使用 Python 構建一個可擴充套件的日誌分析工具，實作從日誌檔案中收集、處理和呈現統計資料。首先，我們將建立一個日誌讀取類別，用於解析日誌檔案並提取關鍵資訊。接著，引入外掛機制，允許開發者根據需求新增自定義的資料處理功能。作為示例，我們將實作一個 GeoIP 外掛，用於將 IP 地址對映到國家名稱，並統計各國的存取量。最後，我們將使用 matplotlib 和 basemap 函式庫，將統計結果以熱力圖的形式視覺化呈現，提供更直觀的資料洞察。
從Apache日誌檔案中收集和呈現統計資料
在處理Apache日誌檔案時，我們需要有效地收集和呈現統計資料。本章節將介紹如何使用Python來實作這一目標。
日誌檔案讀取類別
首先，我們需要建立一個日誌檔案讀取類別。這個類別將負責讀取日誌檔案並將其內容轉換為可用的資料。
class LogLineGenerator:
def __init__(self, log_format=None, log_dir='logs'):
if not log_format:
self.format_string = '%h %l %u %t %r %>s %b %{Referer}i %{User-Agent}i'
else:
self.format_string = log_format
self.log_dir = log_dir
self.re_tsquote = re.compile(r'(\[|\])')
self.field_list = []
for directive in self.format_string.split(' '):
self.field_list.append(DIRECTIVE_MAP[directive])
def _quote_translator(self, file_name):
for line in open(file_name):
yield self.re_tsquote.sub('"', line)
def _file_list(self):
for file in os.listdir(self.log_dir):
file_name = "%s/%s" % (self.log_dir, file)
if os.path.isfile(file_name):
yield file_name
def get_loglines(self):
for file in self._file_list():
reader = csv.DictReader(self._quote_translator(file),
fieldnames=self.field_list,
delimiter=' ', quotechar='"')
for line in reader:
yield line
內容解說：
LogLineGenerator類別的初始化方法__init__設定了日誌格式和日誌檔案目錄。_quote_translator方法用於轉換日誌檔案中的引號。_file_list方法生成日誌檔案列表。get_loglines方法讀取日誌檔案並傳回一個生成器，該生成器產生每個日誌行的字典表示。
使用日誌檔案讀取類別
現在，我們可以使用 LogLineGenerator 類別來讀取日誌檔案並呈現統計資料。
log_generator = LogLineGenerator()
for log_line in log_generator.get_loglines():
print("-" * 20)
for k, v in log_line.items():
print("%20s: %s" % (k, v))
內容解說：
- 建立
LogLineGenerator例項並呼叫get_loglines方法來取得日誌行。 - 遍歷每個日誌行並列印其鍵值對。
外掛機制
為了使系統更具擴充套件性，我們引入了外掛機制。外掛可以用於處理特定的日誌資料。
標記外掛類別
我們需要在外掛類別中新增一個屬性來標記其功能。
class CountHTTP200(Plugin):
def __init__(self, **kwargs):
self.keywords = ['counter']
內容解說：
CountHTTP200類別繼承自Plugin類別。- 在
__init__方法中設定keywords屬性為['counter']，表示該外掛對計數相關的功能感興趣。
外掛管理器
外掛管理器負責註冊和管理外掛。
class PluginManager:
def __init__(self, path=None, plugin_init_args={}):
self.plugins = {}
def _register_plugins(self, **kwargs):
for plugin in Plugin.__subclasses__():
obj = plugin(**kwargs)
self.plugins[obj] = obj.keywords if hasattr(obj, 'keywords') else []
內容解說：
PluginManager類別的初始化方法設定了外掛字典。_register_plugins方法註冊所有外掛並儲存其關鍵字。
呼叫外掛方法
現在，我們可以呼叫外掛方法來處理日誌資料。
def call_method(self, method, args={}, keywords=[]):
for plugin in self.plugins:
if not keywords or (set(keywords) & set(self.plugins[plugin])):
try:
getattr(plugin, method)(**args)
except:
pass
內容解說：
call_method方法呼叫指定名稱的方法，並傳遞引數和關鍵字。- 如果外掛具有指定的關鍵字，則呼叫其方法；否則，忽略該外掛。
從Apache日誌檔案中收集和呈現統計資料
使用GeoIP函式庫進行IP位址到國家名稱的對映
在前面的章節中，我們已經建立了一個主應用程式和一個外掛管理器。現在，我們將建立一個外掛模組，用於分析Apache Web伺服器日誌檔案，並使用GeoIP Python函式庫將IP位址對映到國家名稱。
安裝所需的函式庫
首先，我們需要安裝GeoIP函式庫和Python繫結。在Fedora系統上，可以使用以下命令安裝：
$ sudo yum install GeoIP GeoIP-python
安裝完成後，我們需要更新GeoIP資料函式庫。可以透過執行以下命令來完成：
$ sudo touch /usr/share/GeoIP/GeoIP.dat
$ sudo touch /usr/share/GeoIP/GeoLiteCity.dat
$ sudo perl /usr/share/doc/GeoIP-1.4.7/fetch-geoipdata.pl
$ sudo perl /usr/share/doc/GeoIP-1.4.7/fetch-geoipdata-city.pl
使用GeoIP Python繫結
安裝完成後，我們可以使用GeoIP Python繫結來查詢IP位址的地理資訊。以下是一個簡單的例子：
import GeoIP
# 初始化GeoIP物件，使用記憶體快取
gi = GeoIP.new(GeoIP.GEOIP_MEMORY_CACHE)
# 查詢IP位址的國家名稱
print(gi.country_name_by_name('www.example.com'))
# 查詢IP位址的國家程式碼
print(gi.country_code_by_name('www.example.com'))
# 查詢IP位址的國家名稱（使用IP位址）
print(gi.country_name_by_addr('4.4.4.4'))
# 查詢IP位址的國家程式碼（使用IP位址）
print(gi.country_code_by_addr('4.4.4.4'))
內容解密：
import GeoIP：匯入GeoIP模組，用於進行IP位址到地理位置的查詢。gi = GeoIP.new(GeoIP.GEOIP_MEMORY_CACHE)：初始化一個GeoIP物件，使用記憶體快取來提高查詢效率。gi.country_name_by_name('www.example.com')：根據網域名稱查詢對應的國家名稱。gi.country_code_by_name('www.example.com')：根據網域名稱查詢對應的國家程式碼。gi.country_name_by_addr('4.4.4.4')：根據IP位址查詢對應的國家名稱。gi.country_code_by_addr('4.4.4.4')：根據IP位址查詢對應的國家程式碼。
建立外掛模組
現在，我們可以建立一個外掛模組，用於分析Apache Web伺服器日誌檔案，並使用GeoIP函式庫將IP位址對映到國家名稱。
外掛模組範例
class CountryStatsPlugin:
def __init__(self):
self.country_stats = {}
self.gi = GeoIP.new(GeoIP.GEOIP_MEMORY_CACHE)
def process(self, log_line):
# 從日誌行中提取IP位址
ip_address = log_line['ip_address']
# 查詢IP位址的國家名稱
country_name = self.gi.country_name_by_addr(ip_address)
# 更新國家統計資料
if country_name in self.country_stats:
self.country_stats[country_name] += 1
else:
self.country_stats[country_name] = 1
def report(self):
# 輸出國家統計資料
for country, count in self.country_stats.items():
print(f"{country}: {count}")
內容解密：
class CountryStatsPlugin:：定義一個名為CountryStatsPlugin的類別，用於實作外掛模組的功能。self.country_stats = {}：初始化一個字典，用於儲存國家統計資料。self.gi = GeoIP.new(GeoIP.GEOIP_MEMORY_CACHE)：初始化一個GeoIP物件，使用記憶體快取來提高查詢效率。def process(self, log_line):：定義一個process方法，用於處理日誌行。ip_address = log_line['ip_address']：從日誌行中提取IP位址。country_name = self.gi.country_name_by_addr(ip_address)：查詢IP位址的國家名稱。def report(self):：定義一個report方法，用於輸出國家統計資料。
從Apache日誌檔案中收集和呈現統計資料
撰寫外掛程式碼
要實作從Apache日誌檔案中收集和呈現統計資料的功能，我們需要決定哪些方法將被實作。首先，我們需要接收有關正在處理的每個日誌行的資訊。因此，外掛程式必須實作process()方法，該方法將執行國家查詢並增加適當的計數器。在迴圈結束時，我們需要列印一個簡單的報告，列出所有國家並按請求數量對列表進行排序。
如同Listing 6-3所示，我們只使用資料結構中的一個欄位，而忽略其餘資料。
清單 6-3. GeoIP 查詢外掛程式
#!/usr/bin/env python
from manager import Plugin
from operator import itemgetter
import GeoIP
class GeoIPStats(Plugin):
def __init__(self, **kwargs):
self.gi = GeoIP.new(GeoIP.GEOIP_MEMORY_CACHE)
self.countries = {}
def process(self, **kwargs):
if 'remote_host' in kwargs:
country = self.gi.country_name_by_addr(kwargs['remote_host'])
if country in self.countries:
self.countries[country] += 1
else:
self.countries[country] = 1
def report(self, **kwargs):
print "== 依國家區分的請求數量 =="
for (country, count) in sorted(self.countries.iteritems(), key=itemgetter(1), reverse=True):
print " %10d: %s" % (count, country)
內容解密：
GeoIP.new(GeoIP.GEOIP_MEMORY_CACHE)：建立一個新的GeoIP物件，使用記憶體快取來提高查詢效率。self.countries：一個字典，用於儲存每個國家的請求數量。process()方法：檢查remote_host是否存在於輸入引數中，如果存在，則使用GeoIP查詢其對應的國家名稱，並更新self.countries字典中的計數器。report()方法：列印按請求數量排序的國家列表。
我們將此檔案儲存為plugin_geoiplookup.py在plugins/目錄中。如果我們執行主應用程式，將獲得類別似於以下示例的結果。
資料視覺化
這個簡單的報告功能足以滿足資料分析的目的，但有時您可能希望快速獲得結果的視覺概覽。在前一個示例的基礎上，我們將建立一個熱力圖影像作為報告生成過程的一部分。熱力圖將代表所有國家，顏色的強度將與我們在日誌檔案中發現的點選次數成比例。
安裝必要的函式庫和資料檔案
我們需要安裝以下函式庫：
numpy：提供一些輔助函式。matplotlib：提供繪圖功能。basemap：提供地圖操作功能，依賴於geos函式庫。pyshp：用於解析自定義的ESRI shape檔案。
安裝命令如下：
$ yum install numpy
$ yum install matplotlib
$ yum install geos
$ yum install basemap
$ pip install pyshp
下載世界邊界的shape檔案：
$ mkdir world_borders && cd world_borders
$ curl -O http://thematicmapping.org/downloads/TM_WORLD_BORDERS-0.3.zip
$ unzip TM_WORLD_BORDERS-0.3.zip
使用Shapefile
PyShp函式庫使得讀取和提取shapefile中的地理空間資訊變得容易。首先，我們需要建立和初始化讀取器物件，所有資料存取都將透過此物件完成。
>>> import shapefile
>>> r = shapefile.Reader('world_borders/TM_WORLD_BORDERS-0.3.shp')
內容解密：
shapefile.Reader()：建立一個新的讀取器物件，用於讀取指定的shape檔案。- 自動開啟屬性檔案和其他相關檔案。
透過上述步驟，我們可以實作從Apache日誌檔案中收集和呈現統計資料的功能，並透過熱力圖進行視覺化展示。
