本系列課程從實際的業(yè)務需求出發(fā)，結合行業(yè)的典型應用特點，圍繞實際的商業(yè)問題，對數(shù)據分析及數(shù)據挖掘技術進行了全面的介紹（從數(shù)據收集與處理，到數(shù)據分析與挖掘，再到數(shù)據可視化和報告撰寫），通過大量的操作演練，幫助學員掌握數(shù)據分析和數(shù)據挖掘的思路、方法、表達、工具，從大量的企業(yè)經營數(shù)據中進行分析，挖掘客戶行為特點，幫助運營團隊深入理解業(yè)務運作，以達到提升學員的數(shù)據綜合分析能力，支撐運營決策的目的。

通過本課程的學習，達到如下目的：

1、  了解數(shù)據挖掘基礎知識，以及數(shù)據挖掘標準過程。

2、  掌握建模前的影響因素分析，學會尋找影響業(yè)務的關鍵因素。

3、  熟練使用數(shù)值預測模型，掌握回歸預測模型，學會解讀模型中業(yè)務規(guī)律。

4、  學會自定義回歸模型，能夠對回歸模型進行優(yōu)化，并找到最優(yōu)的回歸模型。

5、  熟練掌握預處理的基本過程，并根據業(yè)務實際情況進行處理。

【學員要求】

1、  每個學員自備一臺便攜機(必須)。

2、  便攜機中事先安裝好Microsoft Office Excel 2013版本及以上。

3、  便攜機中事先安裝好IBM SPSS Statistics v19版本及以上。

注：講師可以提供試用版本軟件及分析數(shù)據源。

【授課方式】

數(shù)據分析基礎 + 方法講解 + 實際業(yè)務問題分析 + 工具實踐操作

采用互動式教學，圍繞業(yè)務問題，展開數(shù)據分析過程，全過程演練操作，讓學員在分析、分享、講授、總結、自我實踐過程中獲得能力提升。

【課程大綱】

第一部分：  數(shù)據挖掘基礎

1、         數(shù)據挖掘概述

2、         數(shù)據挖掘的標準流程（CRISP-DM）

‐  商業(yè)理解

‐  數(shù)據準備

‐  數(shù)據理解

‐  模型建立

‐  模型評估

‐  模型應用

案例：客戶流失預測及客戶挽留

3、         數(shù)據集概述

4、         變量的類型

‐  存儲類型

‐  度量類型

‐  角色

5、         SPSS工具介紹

6、         數(shù)據挖掘常用模型

第二部分：  影響因素分析篇

問題：如何判斷一個因素對另一個因素有影響？比如：價格是否會影響產品銷量？產品的陳列位置是否會影響銷量？學歷是否與客戶流失有關系？影響風險的關鍵因素有哪些？

1、 影響因素分析的常見方法

2、 相關分析（衡量兩數(shù)據型變量的線性相關性）

問題：這兩個屬性是否會相互影響？影響程度大嗎？

‐  相關分析簡介

‐  相關分析的應用場景

‐  相關分析的種類

◢   簡單相關分析

◢   偏相關分析

◢   距離相關分析

‐  相關系數(shù)的三種計算公式

◢   Pearson相關系數(shù)

◢   Spearman相關系數(shù)

◢   Kendall相關系數(shù)

‐  相關分析的假設檢驗

‐  相關分析的四個基本步驟

演練：體重與腰圍的關系

演練：營銷費用會影響銷售額嗎

演練：哪些因素與汽車銷量有相關性

演練：話費與網齡的相關分析

‐  偏相關分析

◢   偏相關原理：排除不可控因素后的兩變量的相關性

◢   偏相關系數(shù)的計算公式

◢   偏相關分析的適用場景

‐  距離相關分析

3、 方差分析（衡量類別變量與數(shù)值變量間的相關性）

問題：哪些才是影響銷量的關鍵因素？

‐  方差分析的應用場景

‐  方差分析的三個種類

◢   單因素方差分析

◢   多因素方差分析

◢   協(xié)方差分析

‐  方差分析的原理

‐  方差分析的四個步驟

‐  解讀方差分析結果的兩個要點

演練：終端擺放位置與終端銷量有關嗎

演練：開通月數(shù)對客戶流失的影響分析

演練：客戶學歷對消費水平的影響分析

演練：廣告和價格是影響終端銷量的關鍵因素嗎

演練：營業(yè)員的性別、技能級別對產品銷量有影響嗎

演練：尋找影響產品銷量的關鍵因素

‐  多因素方差分析原理

‐  多因素方差分析的作用

‐  多因素方差結果的解讀

演練：廣告形式、地區(qū)對銷量的影響因素分析（多因素）

‐  協(xié)方差分析原理

‐  協(xié)方差分析的適用場景

演練：飼料對生豬體重的影響分析（協(xié)方差分析）

4、 列聯(lián)分析/卡方檢驗（兩類別變量的相關性分析）

‐  交叉表與列聯(lián)表

‐  卡方檢驗的原理

‐  卡方檢驗的幾個計算公式

‐  列聯(lián)表分析的適用場景

案例：套餐類型對客戶流失的影響分析

案例：學歷對業(yè)務套餐偏好的影響分析

案例：行業(yè)/規(guī)模對風控的影響分析

5、 相關性分析方法總結

第三部分：  回歸預測模型篇

問題：如何預測產品的銷量/銷售金額？

1、 常用預測模型

‐  數(shù)值預測：回歸預測/時序預測

‐  分類預測：邏輯回歸、決策樹、神經網絡、…

2、 回歸分析/回歸預測

問題：如何預測未來的銷售量（定量分析）？

‐  回歸分析簡介

‐  回歸分析的種類（一元/多元、線性/曲線）

‐  得到回歸方程的常用工具

◢   散點圖+趨勢線

◢   線性回歸工具

◢   規(guī)劃求解工具

演練：散點圖找營銷費用與銷售額的關系（一元回歸）

‐  線性回歸分析的五個步驟

演練：營銷費用、辦公費用與銷售額的關系（線性回歸）

‐  解讀線性回歸分析結果的技巧

◢   定性描述：正相關/負相關

◢   定量描述：自變量變化導致因變量的變化程度

‐  回歸預測模型質量評估

◢   評估指標：判定系數(shù)R^2、標準誤差

◢   如何選擇最佳回歸模型

演練：如何選擇最佳的回歸預測模型（一元曲線回歸）

‐  預測值準確性評估

◢   MAD、MSE/RMSE、MAPE等

‐  帶分類變量的回歸預測

演練：汽車季度銷量預測

演練：工齡、性別與終端銷量的關系

演練：如何評估銷售目標與資源配置（營業(yè)廳）

3、 自動篩選不顯著因素（自變量）

第四部分：  回歸模型優(yōu)化篇

1、 回歸分析的基本原理

‐  三個基本概念：總變差、回歸變差、剩余變差

‐  方程的顯著性檢驗：是否可以做回歸分析？

‐  因素的顯著性檢驗：自變量是否可用？

‐  擬合優(yōu)度檢驗：回歸模型的質量評估？

‐  理解標準誤差的含義：預測的準確性？

2、 模型優(yōu)化思路：尋找最佳回歸擬合線

‐  如何處理預測離群值（剔除離群值）

‐  如何剔除不顯著因素（剔除不顯著因素）

‐  如何進行非線性關系檢驗（增加非線性自變量）

‐  如何進行相互作用檢驗（增加相互作用自變量）

‐  如何進行多重共線性檢驗（剔除共線性自變量）

‐  如何檢驗誤差項（修改因變量）

‐  如何判斷模型過擬合（模型過擬合判斷）

演練：模型優(yōu)化案例

3、 規(guī)劃求解工具簡介（自定義回歸模型的工具）

4、 自定義模型（如何利用規(guī)劃求解進行自定義模型）

案例：如何對餐廳客流量進行建模及模型優(yōu)化

5、 好模型都是優(yōu)化出來的

第五部分：  時序預測模型篇

問題：類似于GDP這種無法找到或找全影響因素，無法進行回歸建模，怎么辦？

1、 時間序列簡介

2、 時間序列常用模型

3、 評估預測值的準確度指標

‐  平均絕對誤差MAE

‐  均方差MSE/RMSE

‐  平均誤差率MAPE

4、 移動平均（MA）

‐  應用場景及原理

‐  移動平均種類

◢   一次移動平均

◢   二次移動平均

◢   加權移動平均

◢   移動平均比率法

‐  移動平均關鍵問題

◢   期數(shù)N的最佳選擇方法

◢   最優(yōu)權重系數(shù)的選取方法

演練：平板電腦銷量預測及評估

演練：快銷產品季節(jié)銷量預測及評估

5、 指數(shù)平滑（ES）

‐  應用場景及原理

‐  最優(yōu)平滑系數(shù)的選取原則

‐  指數(shù)平滑種類

◢   一次指數(shù)平滑

◢   二次指數(shù)平滑（Brown線性、Holt線性、Holt指數(shù)、阻尼線性、阻尼指數(shù)）

◢   三次指數(shù)平滑

演練：煤炭產量預測

演練：航空旅客量預測及評估

6、 溫特斯季節(jié)預測模型

‐  適用場景及原理

‐  Holt-Winters加法模型

‐  Holt-Winters乘法模型

演練：汽車銷量預測及評估

7、 回歸季節(jié)預測模型

‐  回歸季節(jié)模型的參數(shù)

‐  基于時期t的相加模型

‐  基于時期t的相乘模型

‐  怎樣解讀模型的含義

案例：美國航空旅客里程的季節(jié)性趨勢分析

8、 ARIMA模型

‐  適用場景及原理

‐  ARIMA操作

演練：上海證券交易所綜合指數(shù)收益率序列分析

演練：服裝銷售數(shù)據季節(jié)性趨勢預測分析

9、 新產品銷量預測模型

‐  新產品累計銷量的S曲線

‐  如何評估銷量增長的拐點及銷量上限

‐  珀爾曲線與龔鉑茲曲線

演練：預測IPad產品的銷量

演練：預測Facebook的用戶增長情況

第六部分：  數(shù)據預處理篇（了解你的數(shù)據集）

1、數(shù)據預處理的主要任務

‐  數(shù)據集成：多個數(shù)據集的合并

‐  數(shù)據清理：異常值的處理

‐  數(shù)據處理：數(shù)據篩選、數(shù)據精簡、數(shù)據平衡

‐  變量處理：變量變換、變量派生、變量精簡

‐  數(shù)據歸約：實現(xiàn)降維，避免維災難

2、數(shù)據集成

‐  外部數(shù)據讀入：Txt/Excel/SPSS/Database

‐  數(shù)據追加（添加數(shù)據）

‐  變量合并（添加變量）

3、數(shù)據理解（異常數(shù)據處理）

‐  取值范圍限定

‐  重復值處理

‐  無效值/錯誤值處理

‐  缺失值處理

‐  離群值/極端值處理

‐  數(shù)據質量評估

4、數(shù)據準備：數(shù)據處理

‐  數(shù)據篩選：數(shù)據抽樣/選擇（減少樣本數(shù)量）

‐  數(shù)據精簡：數(shù)據分段/離散化（減少變量的取值個數(shù)）

‐  數(shù)據平衡：正反樣本比例均衡

5、數(shù)據準備：變量處理

‐  變量變換：原變量取值更新，比如標準化

‐  變量派生：根據舊變量生成新的變量

‐  變量精簡：降維，減少變量個數(shù)

6、數(shù)據降維

‐  常用降維的方法

‐  如何確定變量個數(shù)

‐  特征選擇：選擇重要變量，剔除不重要的變量

◢   從變量本身考慮

◢   從輸入變量與目標變量的相關性考慮

◢   對輸入變量進行合并

‐  因子分析（主成分分析）

◢   因子分析的原理

◢   因子個數(shù)如何選擇

◢   如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

7、數(shù)據探索性分析

‐  常用統(tǒng)計指標分析

‐  單變量：數(shù)值變量/分類變量

‐  雙變量：交叉分析/相關性分析

‐  多變量：特征選擇、因子分析

演練：描述性分析（頻數(shù)、描述、探索、分類匯總）

8、數(shù)據可視化

‐  數(shù)據可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等

‐  圖形的表達及適用場景

演練：各種圖形繪制

結束：課程總結與問題答疑。