提升模型是一種預測模型,用於評估特定訊息對個別選民的影響,並計算支援度提升的程度。在政治運動中,提升模型能根據選民特徵和過往反應,預測哪些選民最可能被特定訊息說服。透過實驗設計,將選民分組並傳送不同訊息,收集資料後訓練機器學習模型,預測個別選民的支援度變化。模型評估指標包括準確度、精確度和召回率,以確保模型的預測效能。實際應用上,提升模型能協助政治運動進行目標宣傳、資源分配和訊息最佳化,提升宣傳效率。此外,文章也探討了 Uplift Modeling 在個人化行銷中的應用,以及 A/B 測試、強化學習和馬可夫決策過程等相關技術,這些技術有助於更精準地預測使用者行為和偏好,並最佳化行銷策略。
個別化影響預測模型
在政治運動中,瞭解特定訊息對個別選民的影響至關重要。為了達到這個目標,我們需要發展一個能夠預測每個選民對特定訊息反應的模型。這種模型被稱為提升模型(Uplift Model)。
基本概念
提升模型的目的是計算在接收到特定訊息後,選民對某一政治議題或候選人的支援度會增加多少。這個增加的支援度被稱為提升(Uplift)。提升模型使我們能夠根據每個選民的特徵和反應,預測哪些選民最有可能因為接收到訊息而改變他們的意見。
建立提升模型
要建立提升模型,我們需要進行以下步驟:
- 資料收集:收集選民的基本資料,包括他們的個人特徵、過去的投票記錄、對不同政治議題的態度等。
- 實驗設計:設計一個實驗,以便測量特定訊息對選民意見的影響。這通常涉及將選民隨機分配到不同的組別,其中一部分接收到訊息,另一部分不接收。
- 模型訓練:使用收集到的資料訓練一個機器學習模型,以預測每個選民在接收到訊息後的支援度增加。
模型評估
評估提升模型的效能時,我們需要考慮以下幾個指標:
- 準確度:模型預測的提升與實際觀察到的提升之間的差異。
- 精確度:模型正確預測提升的比例。
- 召回率:實際有提升的選民中,被模型正確預測到的比例。
個別化影響預測
透過建立提升模型,我們可以對每個選民預測出他們在接收到特定訊息後的支援度增加。這使得政治運動可以更有效地分配資源,針對那些最有可能因為接收到訊息而改變意見的選民進行宣傳。
實際應用
提升模型在政治運動中的應用包括:
- 目標宣傳:根據選民的特徵和反應,選擇最有可能受益的選民進行宣傳。
- 資源分配:根據預測的提升,優先分配資源給那些最有可能產生積極影響的選民。
- 訊息最佳化:根據不同選民群體的反應,最佳化訊息內容以最大化整體影響。
使用Uplift Modeling進行個人化行銷
Uplift Modeling是一種統計模型,用於估計個體對不同行銷策略的反應。這種模型可以幫助企業確定哪些客戶會對特定的行銷活動做出正面的反應,並根據這些資訊進行個人化行銷。
步驟1:資料準備
首先,需要將資料隨機分成治療組和控制組,進行A/B測試,並記錄結果。在本例中,結果變數為Moved_AD。
步驟2:模型建立
接下來,需要將資料重新結合,分成訓練集和驗證集。使用這些資料建立一個預測模型,預測結果變數,並加入一個預測變數表示治療狀態(在本例中為Message)。如果使用邏輯迴歸,還可以加入治療狀態和其他預測變數之間的互動作用項,以允許治療效果在不同記錄之間變化。
步驟3:模型評分
將建立好的模型應用於驗證集,得到每個記錄的成功機率。
步驟4:反轉治療變數
反轉治療變數的值,重新評分模型,得到每個記錄在接受其他治療的情況下的成功機率。
步驟5:Uplift估計
對每個個體,Uplift估計為在接受治療1的情況下的成功機率減去在接受治療0的情況下的成功機率,即P(Success|Treatment = 1)− P(Success|Treatment = 0)。
步驟6:應用於新資料
對於沒有進行實驗的新資料,簡單地新增一個合成的預測變數表示治療,先指定為1,評分模型;然後指定為0,重新評分模型。根據上述方法估計新記錄的Uplift。
內容解密:
上述步驟描述瞭如何使用Uplift Modeling進行個人化行銷。這種方法可以幫助企業確定哪些客戶會對特定的行銷活動做出正面的反應,並根據這些資訊進行個人化行銷。下面是一個簡單的示例程式碼:
import pandas as pd
from sklearn.linear_model import LogisticRegression
# 載入資料
data = pd.read_csv('data.csv')
# 隨機分成治療組和控制組
treatment_data = data.sample(frac=0.5, random_state=42)
control_data = data.drop(treatment_data.index)
# 建立模型
model = LogisticRegression()
model.fit(treatment_data[['Message']], treatment_data['Moved_AD'])
# 評分模型
predictions = model.predict_proba(control_data[['Message']])
# 反轉治療變數
control_data['Message'] = 1 - control_data['Message']
reverse_predictions = model.predict_proba(control_data[['Message']])
# Uplift估計
uplift = predictions[:, 1] - reverse_predictions[:, 1]
圖表翻譯:
下圖示範了Uplift Modeling的流程:
flowchart TD A[資料準備] --> B[模型建立] B --> C[模型評分] C --> D[反轉治療變數] D --> E[Uplift估計] E --> F[應用於新資料]
此圖表描述了Uplift Modeling的整個流程,從資料準備到應用於新資料。每個步驟都清楚地展示瞭如何進行個人化行銷。
個人化行銷的提升:計算提升度
在進行個人化行銷時,瞭解不同行銷策略對客戶行為的影響至關重要。提升度(Uplift)是一個用於衡量這種影響的指標,它代表了在接收特定訊息或處理的情況下,客戶成功轉換的機率與未接收訊息或未處理的情況下成功轉換的機率之間的差異。
計算提升度的步驟
- 資料準備:首先,需要準備好包含客戶資料、接收訊息狀態(處理組或控制組)以及成功轉換狀態的資料集。
- 模型訓練:使用選定的分類別模型(如邏輯迴歸、決策樹等),在訓練資料集上訓練模型,以預測成功轉換的機率。
- 資料分割:將資料分割為訓練集和驗證集,以評估模型的效能。
- 訊息反轉:為了計算提升度,需要建立一個新的資料集,其中訊息接收狀態被反轉(即原本接收訊息的客戶現在不接收,反之亦然)。
- 模型評估:使用訓練好的模型評估這個新的資料集,以獲得每個客戶在訊息接收狀態反轉的情況下成功轉換的預測機率。
- 提升度計算:最後,透過計算每個客戶在接收訊息和未接收訊息兩種情況下的成功轉換機率差異來獲得提升度。
使用ASDM和Excel計算提升度
- 資料分割:使用ASDM的資料分割功能,將資料分割為訓練集和驗證集。
- 模型訓練和評估:使用ASDM的分類別功能,在訓練集上訓練模型,並在驗證集上評估模型效能。
- 訊息反轉:建立一個新的工作表,複製原始驗證集,並反轉訊息接收狀態。
- 模型評估(反轉訊息):使用ASDM評估這個新的工作表,以獲得每個客戶在訊息接收狀態反轉的情況下成功轉換的預測機率。
- 提升度計算:使用Excel計算提升度,即每個客戶在接收訊息和未接收訊息兩種情況下的成功轉換機率差異。
案例分析
假設我們有一個客戶列表,其中部分客戶接收了一則促銷訊息(處理組),而其他客戶則沒有(控制組)。我們可以使用上述步驟計算每個客戶的提升度,以瞭解這則訊息對其行為的影響。
客戶ID | 接收訊息 | 成功轉換 |
---|---|---|
1 | 1 | 1 |
2 | 0 | 0 |
3 | 1 | 1 |
… | … | … |
透過計算提升度,我們可以得出每個客戶在接收訊息和未接收訊息兩種情況下的成功轉換機率差異。這有助於我們瞭解哪些客戶對於訊息最為敏感,並有助於未來的個人化行銷策略制定。
使用提升模型的結果
提升模型(Uplift Model)是一種用於預測個體對特定介入或治理的反應程度的統計模型。當我們估計了每個個體的提升度後,可以根據提升度對個體進行排序。然後,可以將訊息傳送給提升度為正的個體,或者如果資源有限,只傳送給提升度最高的個體。
提升模型主要用於行銷和政治運動,具有兩個主要目的:
- 決定是否要傳送說服訊息給某人,或者乾脆不理會他們。
- 當決定要傳送訊息時,決定在多個可能的選擇中傳送哪個訊息。
從技術上講,這兩個目的實際上是一樣的,因為「不傳送訊息」可以被視為另一種治理類別,而實驗可以設計成包含多種治理方式,例如不傳送訊息、傳送訊息A和傳送訊息B。然而,從業者傾向於將這兩個目的視為不同的,並且更關注第一個目的。行銷人員希望避免將折扣優惠傳送給那些即使不收到優惠也會購買的顧客,或者避免將續約優惠傳送給那些無論如何都會續約的顧客。同樣,政治運動也希望避免打電話給那些無論如何都會投票給他們候選人的選民,並且希望避免傳送可能產生反作用的訊息或優惠,即那些提升度為負的訊息或優惠。
強化學習
強化學習(Reinforcement Learning)是一種電腦演算法,透過與環境互動來學習最佳行動策略。它與A/B測試有相似之處,因為兩者都旨在學習環境中的最佳行動方式。然而,強化學習更進一步,因為它不僅僅是比較不同行動的效果,也會根據環境的反饋不斷調整行動策略,以達到最佳結果。
強化學習可以被視為一種「透過嘗試和錯誤學習」的過程。它通常涉及一個代理人(Agent),該代理人在環境中採取行動,並根據環境的反饋獲得獎勵或懲罰。代理人的目標是最大化累積獎勵,同時學習到最佳行動策略。
多臂彎子(Multi-Armed Bandit)
多臂彎子是一種強化學習問題,模擬了一個賭徒面對多個老虎機的情況,每個老虎機有不同的未知收益率。賭徒的目標是找出收益率最高的老虎機,並最大化收益。
在實際應用中,多臂彎子可以用於選擇最佳的廣告、推薦系統等。例如,在網站上展示多個廣告版本,每個版本有不同的收益率,目標是找出收益率最高的廣告版本,並將其展示給更多使用者。
多臂彎子的解決方案包括探索-利用(Explore-Exploit)策略,例如Epsilon-First策略和Epsilon-Greedy策略。這些策略在探索不同行動的同時,也會根據目前的知識進行利用,以最大化收益。
上下文多臂彎子(Contextual Multi-Armed Bandit)
上下文多臂彎子是多臂彎子的變體,考慮了環境中的上下文資訊。它不僅僅是選擇最佳行動,也會根據上下文資訊調整行動策略。例如,在音樂推薦系統中,不同時間、不同裝置等上下文資訊可能會影響使用者對音樂的偏好,上下文多臂彎子可以根據這些上下文資訊選擇最佳音樂推薦。
強化學習與馬可夫決策過程
強化學習是一種機器學習方法,旨在訓練代理(agent)在環境中採取行動以最大化累積獎勵。馬可夫決策過程(Markov Decision Process, MDP)是強化學習的基礎概念,描述了代理與環境之間的互動作用。
馬可夫決策過程
MDP由以下元素組成:
- 狀態(state):描述了環境的當前情況,例如使用者的個人資料、行為、時間等。
- 行動(action):代理採取的行動,例如推薦一個專案或顯示一個廣告。
- 獎勵(reward):環境對代理行動的反饋,例如使用者是否點選了推薦的專案。
- 轉移函式(transition function):描述了從一個狀態轉移到另一個狀態的機率。
- 價值函式(value function):描述了從一個狀態開始,採取特定行動序列所能獲得的預期累積獎勵。
強化學習的目標
強化學習的目標是找到最佳的行動策略,以最大化累積獎勵。這可以透過以下步驟實作:
- 初始化:使用預測模型預測使用者下一步的行為。
- 行動選擇:根據當前狀態和價值函式選擇最佳行動。
- 環境反饋:環境對代理行動的反饋,包括新的狀態和獎勵。
- 價值函式更新:根據新的狀態和獎勵更新價值函式。
馬可夫決策過程的應用
MDP在各個領域都有廣泛的應用,例如:
- 推薦系統:根據使用者的個人資料和行為推薦專案。
- 廣告投放:根據使用者的行為和偏好投放廣告。
- 遊戲:根據遊戲的狀態和玩家的行為選擇最佳行動。
內容解密:
在上述內容中,我們探討了強化學習和馬可夫決策過程的基本概念。強化學習是一種機器學習方法,旨在訓練代理在環境中採取行動以最大化累積獎勵。馬可夫決策過程是強化學習的基礎概念,描述了代理與環境之間的互動作用。透過瞭解MDP的元素和強化學習的目標,我們可以設計出有效的行動策略,以最大化累積獎勵。
圖表翻譯:
graph LR A[狀態] -->|行動|> B[環境] B -->|獎勵|> C[價值函式] C -->|更新|> A
此圖表描述了MDP的基本流程,包括狀態、行動、環境、獎勵和價值函式之間的互動作用。
個人化推薦系統的運作流程
在個人化推薦系統中,存在一個迴圈過程,以確保系統能夠根據使用者的偏好和行為提供最合適的推薦。以下是這個過程的步驟:
狀態初始化:系統首先需要初始化使用者的狀態和環境,這包括收集使用者的基本資料、使用者的瀏覽和購買記錄等。這些資料將用於建立使用者的個人化模型。
動作選擇:根據使用者的狀態和環境,系統會選擇一個最合適的專案(如商品、內容等)進行推薦。這個選擇是根據系統對使用者偏好的理解和專案的特徵。
反饋收集:當使用者對推薦的專案做出反應時(如購買、點選等),系統會收集這些反饋作為獎勵訊號。這些訊號將用於評估推薦的有效性和用於更新系統的模型。
模型更新:系統利用收集到的使用者資料、推薦記錄和使用者反饋,更新其預測模型。這個模型是用於預測給定使用者狀態和推薦專案的情況下,下一步的狀態和獎勵的機率。
個人化推薦的核心
個人化推薦的核心在於建立一個能夠準確預測使用者行為和偏好的模型。這個模型需要考慮多個因素,包括使用者的歷史行為、使用者的實時反饋、專案的特徵等。透過不斷地更新和最佳化這個模型,系統可以提供越來越準確和個人化的推薦。
個人化推薦的應用
個人化推薦在各個領域都有廣泛的應用,包括電子商務、內容推薦、社交媒體等。透過提供個人化的體驗,企業可以提高使用者的滿意度和留存率,同時也可以增加銷售額和收入。
未來發展
隨著技術的進步,個人化推薦系統將會更加智慧和高效。未來,個人化推薦可能會結合更多的技術,如自然語言處理、深度學習等,來提供更為精確和個人化的服務。同時,對於使用者隱私和資料安全的保護也將成為一個重要的課題。
14.1 市場資訊-A/B測試
假設某公司進行了一次A/B測試,向潛在顧客傳送電子郵件,電子郵件被隨機分為兩組。成功的衡量標準是電子郵件是否被開啟。 a. 在進行此類別測試之前,您會對哪種市場資訊更有效(帶有影像或不帶影像)有所看法嗎? b. 根據開啟率,結果如何?哪個資訊表現更好? c. 我們想知道這種差異是否可能由於偶然性,因此我們將進行統計測試。進行t檢驗以確定差異是否具有統計學意義,並報告p值。 d. 總結您從A/B測試中得出的結論。
14.2 美髮產品-提升建模
這個問題使用的是SAS提供的假設性資料集。在這種情況下,一家美髮產品公司向買傢俱樂部的一些成員發送了一個促銷活動。然後,記錄了收到促銷活動的會員和未收到促銷活動的會員的購買情況。 a. 購買傾向是多少? i. 在收到促銷活動的人群中? ii. 在未收到促銷活動的人群中? b. 將資料分割為訓練集(60%)和驗證集(40%),並選擇一個模型,以購買為目標變數。報告驗證集中的前10條記錄的預測類別和傾向。 c. 將驗證資料複製到一個新工作表中,並反轉促銷變數的值(為了避免混淆,稱之為Promotion-R)。這意味著對於每條記錄,如果原始記錄中Promotion = 1,則複製記錄中Promotion-R = 0,反之亦然。使用模型評分新複製的驗證資料。報告驗證集中的前10條記錄的預測類別和傾向。 d. 在一個新工作表中,將原始驗證資料中的購買傾向與反轉促銷驗證資料中的購買傾向一起複製。從購買傾向中減去當Promotion = 0時的購買傾向,得到當Promotion = 1時的購買傾向。這是提升值。報告驗證集中的前10條記錄的提升值。
關聯規則與協同過濾
在本章中,我們將介紹兩種無監督學習方法:關聯規則(也稱為「親和分析」和「市場籃分析」)和協同過濾。這兩種方法在行銷中非常受歡迎,尤其是在跨賣產品方面。
關聯規則
關聯規則的目的是在交易型資料函式庫中找出專案叢集。這種方法也被稱為「市場籃分析」,其目的是發現哪些產品群體傾向於一起被購買。這些專案可以一起顯示、在交易後的優惠券中提供或線上上購物中推薦。
我們將介紹關聯規則的兩階段過程:規則生成和規則強度評估。然後,我們將探討流行的規則生成演算法 Apriori 和評估規則強度的標準。
協同過濾
協同過濾的目的是提供個人化推薦,利用使用者層級的資訊。根據使用者的協同過濾從一個使用者開始,找到具有類別似購買或評分行為的使用者,並根據這些相似使用者的購買或評分行為對初始使用者進行推薦。根據專案的協同過濾從一個專案開始,找到傾向於與該專案一起被購買的其他專案。
關聯規則
簡單來說,關聯規則是一種研究「什麼與什麼相關」的方法。這種方法也被稱為市場籃分析,因為它起源於研究顧客交易資料函式庫,以確定不同專案之間的依賴關係。
關聯規則在零售業中被廣泛使用,以瞭解哪些專案一起被購買。但它們也在其他領域中很有用。例如,醫學研究人員可能想了解哪些症狀一起出現。在法律中,太常出現的詞彙組合可能指示抄襲。
發現關聯規則
關聯規則是從交易資料函式庫中自動尋找專案之間的關聯的一種技術。例如,超市中的條碼掃描器收集的資料。這種市場籃資料函式庫由大量交易記錄組成,每個記錄列出了所有被購買的專案。
管理人員想知道是否有一些專案群體總是被一起購買。他們可以使用這種資訊來做出決定,例如店鋪佈局、專案放置、跨賣、促銷、目錄設計和根據購買模式識別客戶段。
關聯規則以「如果-則」陳述式的形式提供此類別資訊。這些規則是從資料中計算出來的,不像邏輯中的如果-則規則,關聯規則是機率性的。
協同過濾
協同過濾是一種提供個人化推薦的方法,利用使用者層級的資訊。根據使用者的協同過濾從一個使用者開始,找到具有類別似購買或評分行為的使用者,並根據這些相似使用者的購買或評分行為對初始使用者進行推薦。
根據專案的協同過濾從一個專案開始,找到傾向於與該專案一起被購買的其他專案。
內容解密:
- 關聯規則是一種研究「什麼與什麼相關」的方法。
- 協同過濅是一種提供個人化推薦的方法,利用使用者層級的資訊。
- 關聯規則和協同過濅在行銷中非常受歡迎,尤其是在跨賣產品方面。
- 關聯規則的目的是在交易型資料函式庫中找出專案叢集。
- 協同過濅的目的是提供個人化推薦,利用使用者層級的資訊。
圖表翻譯:
此圖示關聯規則和協同過濅的流程。首先,我們開始進行關聯規則的分析,然後進行協同過濅的分析,最後得到個人化推薦的結果。這個流程展示瞭如何使用關聯規則和協同過濅來提供個人化推薦。
關聯規則
生成候選規則
關聯規則的概念是以「如果-然後」的格式檢視所有可能的規則,並從中選出最有可能代表真實依賴關係的規則。這裡,我們使用「前件」來描述「如果」部分,使用「後件」來描述「然後」部分。在關聯分析中,前件和後件都是專案集合(稱為專案集),且這些集合是相互獨立的(沒有共同的專案)。需要注意的是,專案集不是用來記錄人們購買的商品;它們只是可能的專案組合,包括單個專案。
交易資料
下表顯示了不同顏色的手機面板的購買交易記錄:
交易編號 | 購買的面板顏色 |
---|---|
1 | 紅、白、綠 |
2 | 白、橙 |
3 | 白、藍 |
4 | 紅、白、橙 |
5 | 紅、藍 |
6 | 白、藍 |
7 | 白、橙 |
8 | 紅、白、藍、綠 |
內容解密:
這個表格展示了8筆不同的交易記錄,每筆記錄都列出了購買的面板顏色。這些交易資料將被用來生成關聯規則,以發現不同面板顏色之間的潛在關係。
圖表翻譯:
graph LR A[紅] -->|經常與|> B[白] B -->|經常與|> C[藍] A -->|也經常與|> D[綠] C -->|偶爾與|> D
這個圖表展示了不同面板顏色之間的關聯關係,例如紅色面板經常與白色面板一起購買,而白色面板也經常與藍色面板一起購買。這些關聯關係可以幫助我們瞭解顧客的購買行為和偏好。
個別化影響預測模型,尤其根據提升模型(Uplift Model)、強化學習和關聯規則等技術的應用,正在重塑行銷和政治策略的制定。透過多維比較分析,這些技術相較於傳統的A/B測試,能更精準地預測每個個體對不同干預措施的反應,從而實作資源的最佳化組態。技術限制深析顯示,模型的準確性高度依賴於資料的品質和數量,以及模型本身的複雜度。此外,使用者隱私和資料安全也是必須考量的關鍵挑戰。
技術演進預測顯示,隨著深度學習和自然語言處理等技術的發展,個別化影響預測模型將能整合更多維度的資料,例如社群媒體互動和線上行為,從而提升預測的精準度和粒度。同時,模型的可解釋性也將成為未來研究的重點,以增強模型的透明度和可信度。
玄貓認為,提升模型、強化學習和關聯規則等技術的整合應用,代表了個人化行銷和政治策略。技術團隊應著重於資料品質的提升和模型的最佳化,並密切關注相關技術的發展趨勢,才能充分釋放這些技術的潛力,在競爭激烈的市場中取得優勢。