課程大綱:
一、理解大數據分析
1、大數據熱點問題
2、大數據發展趨勢
3、大數據與云計算
4、大數據挖掘面臨的困難與挑戰
5、服務產生大數據,大數據即服務
6、大數據管理與數據思維
二、“工欲善其事”——分析環境搭建
1、Python語法快速入門
2、易于實現的并行編程
3、矩陣工具Numpy
4、高級數據分析包Pandas
三、理解數據——數據預處理
1、數據清洗:數據變換,異常值處理,離散化等
2、了解數據分布:數據度量
3、數據的可視化探索
4、向量的相似性度量
5、對數據進行降維:PCA和SVD
四、怎樣自動獲取海量數據
1、從Web自動抓取數據
2、網絡爬蟲與面臨的問題
3、基于Python的爬蟲框架Scrapy
4、數據清洗BeautifulSoup
5、爬蟲實例分析——獲取大眾點評的用戶評論
五、從大數據中淘金——個性化推薦系統
1、關聯規則
2、K-近鄰算法
3、基于內容的推薦
4、基于用戶的推薦
5、怎樣評價推薦結果的有效性
6、案例分析:電影推薦,美食推薦,廣告投放
六、見微知著——基于大數據的用戶行為挖掘與分析
1、復雜網絡與社會網絡
2、社會網絡的可視化與Python工具
3、基于社會網絡的用戶行為分析
4、微博用戶行為分析
5、案例研討:基于科研合作網絡的行為分析
七、輔助決策——大數據可為決策提供更多的輔助信息
1、決策樹、貝葉斯網絡等分類器原理
2、分類器性能評價指標
3、支持向量機
4、案例分析:金融信貸分類
5、案例分析:分析用戶評論以改進服務質量
八、大數據分析前沿技術與展望
1、深度學習初窺
2、輿情監測
3、大數據中的隱私保護
4、討論與總結
課程周期:
24課時(45分/課時)

