大數據分析與挖掘綜合能力提升實戰

大數據分析與挖掘綜合能力提升實戰課程/講師盡在大數據分析與挖掘綜合能力提升實戰專題,百度搜索“交廣國際管理咨詢”大數據分析與挖掘綜合能力提升實戰公開課（免費試聽）北上廣深等地開課！芝麻播www.zhimabo.com獨播：大數據分析與挖掘綜合能力提升實戰在線直播課程。專家微信18749492090，講師手機13522550408。

【課程大綱】
第一部分：數據建模過程
1、預測建模六步法
?選擇模型：基于業務選擇恰當的數據模型
?屬性篩選：選擇對目標變量有顯著影響的屬性來建模
?訓練模型：采用合適的算法對模型進行訓練，尋找到最合適的模型參數
?評估模型：進行評估模型的質量，判斷模型是否可用
?優化模型：如果評估結果不理想，則需要對模型進行優化
?應用模型：如果評估結果滿足要求，則可應用模型于業務場景
2、數據挖掘常用的模型
?數值預測模型：回歸預測、時序預測等
?分類預測模型：邏輯回歸、決策樹、神經網絡、支持向量機等
?市場細分：聚類、RFM、PCA等
?產品推薦：關聯分析、協同過濾等
?產品優化：回歸、隨機效用等
?產品定價：定價策略/最優定價等
3、屬性篩選/特征選擇/變量降維
?基于變量本身特征
?基于相關性判斷
?因子合并（PCA等）
?IV值篩選（評分卡使用）
?基于信息增益判斷（決策樹使用）
4、模型評估
?模型質量評估指標：R^2、正確率/查全率/查準率/特異性等
?預測值評估指標：MAD、MSE/RMSE、MAPE、概率等
?模型評估方法：留出法、K拆交叉驗證、自助法等
?其它評估：過擬合評估
5、模型優化
?優化模型：選擇新模型/修改模型
?優化數據：新增顯著自變量
?優化公式：采用新的計算公式
6、模型實現算法（暫略）
7、好模型是優化出來的
案例：通信客戶流失分析及預警模型

第二部分：分類預測模型
問題：如何評估客戶購買產品的可能性？如何預測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準推薦產品或業務？
1、分類模型概述
2、常見分類預測模型
3、邏輯回歸模型
?邏輯回歸模型原理及適用場景
?邏輯回歸的種類
?二項邏輯回歸
?多項邏輯回歸
?如何解讀邏輯回歸方程
?帶分類自變量的邏輯回歸分析
?多元邏輯回歸
案例：如何評估用戶是否會購買某產品（二元邏輯回歸）
案例：多品牌選擇模型分析（多元邏輯回歸）
4、分類決策樹（DT）
問題：如何預測客戶行為？如何識別潛在客戶？
風控：如何識別欠貸者的特征，以及預測欠貸概率？
客戶保有：如何識別流失客戶特征，以及預測客戶流失概率？
?決策樹分類簡介
案例：美國零售商（Target）如何預測少女懷孕
演練：識別銀行欠貨風險，提取欠貸者的特征
?構建決策樹的三個關鍵問題
?如何選擇最佳屬性來構建節點
?如何分裂變量
?修剪決策樹
?選擇最優屬性
?熵、基尼索引、分類錯誤
?屬性劃分增益
?如何分裂變量
?多元劃分與二元劃分
?連續變量離散化（最優劃分點）
?修剪決策樹
?剪枝原則
?預剪枝與后剪枝
?構建決策樹的四個算法
?C5.0、CHAID、CART、QUEST
?各種算法的比較
?如何選擇最優分類模型？
案例：商場酸奶購買用戶特征提取
案例：客戶流失預警與客戶挽留
案例：識別拖欠銀行貨款者的特征，避免不良貨款
案例：識別電信詐騙者嘴臉，讓通信更安全
5、人工神經網絡（ANN）
?神經網絡概述
?神經網絡基本原理
?神經網絡的結構
?神經網絡的建立步驟
?神經網絡的關鍵問題
?BP反向傳播網絡（MLP）
?徑向基網絡（RBF）
案例：評估銀行用戶拖欠貨款的概率
6、判別分析（DA）
?判別分析原理
?距離判別法
?典型判別法
?貝葉斯判別法
案例：MBA學生錄取判別分析
案例：上市公司類別評估
7、最近鄰分類（KNN）
?基本原理
?關鍵問題
8、貝葉斯分類（NBN）
?貝葉斯分類原理
?計算類別屬性的條件概率
?估計連續屬性的條件概率
?貝葉斯網絡種類：TAN/馬爾科夫毯
?預測分類概率（計算概率）
案例：評估銀行用戶拖欠貨款的概率
9、支持向量機（SVM）
?SVM基本原理
?線性可分問題：最大邊界超平面
?線性不可分問題：特征空間的轉換
?維空難與核函數
第三部分：分類模型優化
1、集成方法的基本原理：利用弱分類器構建強分類模型
?選取多個數據集，構建多個弱分類器
?多個弱分類器投票決定
2、集成方法/元算法的種類
?Bagging算法
?Boosting算法
3、Bagging原理
?如何選擇數據集
?如何進行投票
?隨機森林
4、Boosting的原理
?AdaBoost算法流程
?樣本選擇權重計算公式
?分類器投票權重計算公式

第四部分：市場細分模型
問題：我們的客戶有幾類？各類特征是什么？如何實現客戶細分，開發符合細分市場的新產品？如何提取客戶特征，從而對產品進行市場定位？
1、市場細分的常用方法
?有指導細分
?無指導細分
2、聚類分析
?如何更好的了解客戶群體和市場細分？
?如何識別客戶群體特征？
?如何確定客戶要分成多少適當的類別？
?聚類方法原理介紹
?聚類方法作用及其適用場景
?聚類分析的種類
?K均值聚類（快速聚類）
案例：移動三大品牌細分市場合適嗎？
演練：寶潔公司如何選擇新產品試銷區域？
演練：如何評選優秀員工？
演練：中國各省份發達程度分析，讓數據自動聚類
?層次聚類（系統聚類）：發現多個類別
?R型聚類與Q型聚類的區別
案例：中移動如何實現客戶細分及營銷策略
演練：中國省市經濟發展情況分析（Q型聚類）
演練：裁判評分的標準衡量，避免“黑哨”（R型聚類）
?兩步聚類
3、主成分分析
?主成分分析方法介紹
?主成分分析基本思想
?主成分分析步驟
案例：如何評估汽車購買者的客戶細分市場

第五部分：客戶價值分析
營銷問題：如何評估客戶的價值？不同的價值客戶有何區別對待？
1、如何評價客戶生命周期的價值
?貼現率與留存率
?評估客戶的真實價值
?使用雙向表衡量屬性敏感度
?變化的邊際利潤
案例：評估營銷行為的合理性
2、RFM模型（客戶價值評估）
?RFM模型，更深入了解你的客戶價值
?RFM模型與市場策略
?RFM模型與活躍度分析
案例：淘寶客戶價值評估與促銷名單
案例：重購用戶特征分析

第六部分：產品推薦模型
問題：購買A產品的顧客還常常要購買其他什么產品？應該給客戶推薦什么產品最有可能被接受？
1、常用產品推薦模型
2、關聯分析
?如何制定套餐，實現交叉/捆綁銷售
案例：啤酒與尿布、颶風與蛋撻
?關聯分析模型原理（Association）
?關聯規則的兩個關鍵參數
?支持度
?置信度
?關聯分析的適用場景
案例：購物籃分析與產品捆綁銷售/布局優化
案例：通信產品的交叉銷售與產品推薦
3、協同過濾

第七部分：產品設計優化
1、聯合分析法
2、離散選擇模型
?如何評估客戶購買產品的概率
?如何指導產品開發？如何確定產品的重要特性
?競爭下的產品動態調價
?如何評估產品的價格彈性
案例：產品開發與設計分析
案例：品牌價值與價格敏感度分析
案例：納什均衡價格
3、品牌價值評估
4、新產品市場占有率評估

第八部分：產品定價策略及產品最優定價
營銷問題：產品如何實現最估定價？套餐價格如何確定？采用哪些定價策略可達到利潤最大化？
1、常見的定價方法
2、產品定價的理論依據
?需求曲線與利潤最大化
?如何求解最優定價
案例：產品最優定價求解
3、如何評估需求曲線
?價格彈性
?曲線方程（線性、乘冪）
4、如何做產品組合定價
5、如何做產品捆綁/套餐定價
?最大收益定價（演進規劃求解）
?避免價格反轉的套餐定價
案例：電信公司的寬帶、IPTV、移動電話套餐定價
6、非線性定價原理
?要理解支付意愿曲線
?支付意愿曲線與需求曲線的異同
案例：雙重收費如何定價（如會費+按次計費）
7、階梯定價策略
案例：電力公司如何做階梯定價
8、數量折扣定價策略
案例：如何通過折扣來實現薄利多銷
9、定價策略的評估與選擇
案例：零售公司如何選擇最優定價策略
10、航空公司的收益管理
?收益管理介紹
?如何確定機票預訂限制
?如何確定機票超售數量
?如何評估模型的收益
案例：FBN航空公司如何實現收益管理（預訂/超售）
第九部分：信用評分卡模型
1、信用評分卡模型簡介
2、評分卡的關鍵問題
3、信用評分卡建立過程
?篩選重要屬性
?數據集轉化
?建立分類模型
?計算屬性分值
?確定審批閾值
4、篩選重要屬性
?屬性分段
?基本概念：WOE、IV
?屬性重要性評估
5、數據集轉化
?連續屬性最優分段
?計算屬性取值的WOE
6、建立分類模型
?訓練邏輯回歸模型
?評估模型
?得到字段系數
7、計算屬性分值
?計算補償與刻度值
?計算各字段得分
?生成評分卡
8、確定審批閾值
?畫K-S曲線
?計算K-S值
?獲取最優閾值

第十部分：實戰篇
1、電信業客戶流失預警和客戶挽留模型實戰
2、銀行欠貸風險預測模型實戰
3、銀行信用卡評分模型實戰