加米谷大數(shù)據(jù)

第一階段（python基礎(chǔ)）

python入門 1、Python版本特性介紹 2、Python應(yīng)用場(chǎng)景及趨勢(shì)發(fā)展 3、Python開(kāi)發(fā)環(huán)境搭建 4、Python開(kāi)發(fā)工具及運(yùn)行環(huán)境 5、標(biāo)識(shí)符與關(guān)鍵字，注釋 6、Python在各系統(tǒng)中的安裝 7、應(yīng)用場(chǎng)景及數(shù)據(jù)存儲(chǔ)設(shè)計(jì) 8、Python程序開(kāi)發(fā)基礎(chǔ)指南 9、如何運(yùn)行python代碼

python基本語(yǔ)法 1、Python選擇與循環(huán) 2、Python字符串處理 3、可視化python編程 4、數(shù)據(jù)及類型操作 5、Python對(duì)象、數(shù)字、序列 6、Python映射和集合類型 7、Python條件和循環(huán) 8、Python文件和輸入輸出 9、python錯(cuò)誤和異常

python高級(jí)語(yǔ)法 1、函數(shù)和函數(shù)式編程 2、Python面向?qū)ο缶幊? 3、Python正則表達(dá)式 4、Python函數(shù)編程 5、Python多線程編程 6、Python圖形界面編程 7、Python數(shù)據(jù)庫(kù)編程創(chuàng)建 8、Python擴(kuò)展

Python編程開(kāi)發(fā) 1、PYQT實(shí)現(xiàn)GUI工具 2、如何運(yùn)行python代碼 3、Python在Linux中的開(kāi)發(fā) 4、GitHub的使用 5、python程序開(kāi)發(fā) 6、Python api使用及二次開(kāi)發(fā)

第二階段（關(guān)系型數(shù)據(jù)庫(kù)MySQL）

數(shù)據(jù)庫(kù)設(shè)計(jì) 1、數(shù)據(jù)庫(kù)設(shè)計(jì)及運(yùn)行管理 2、數(shù)據(jù)庫(kù)設(shè)計(jì)過(guò)程講解 3、概念結(jié)構(gòu)設(shè)計(jì)與ER圖 4、邏輯結(jié)構(gòu)設(shè)計(jì)與ER轉(zhuǎn)換規(guī)則 5、數(shù)據(jù)流圖與數(shù)據(jù)字典 6、數(shù)據(jù)庫(kù)設(shè)計(jì)物理模型 7、數(shù)據(jù)庫(kù)事務(wù)與隔離級(jí)別

數(shù)據(jù)庫(kù)范式及ACID特性 1、數(shù)據(jù)庫(kù)的范式的實(shí)例 2、數(shù)據(jù)庫(kù)設(shè)計(jì)三大范式應(yīng)用 3、數(shù)據(jù)庫(kù)管理系統(tǒng)事務(wù) 4、數(shù)據(jù)庫(kù)ACID的四大特性 5、數(shù)據(jù)庫(kù)四大特性應(yīng)用 6、分庫(kù)分表大數(shù)據(jù)解決方案 7、分庫(kù)分表實(shí)施與分析

數(shù)據(jù)庫(kù)基礎(chǔ) 1、數(shù)據(jù)庫(kù)概念介紹 2、MySQL安裝與登錄 3、數(shù)據(jù)庫(kù)創(chuàng)建與刪除 4、表結(jié)構(gòu)創(chuàng)建/查看 5、字段類型與數(shù)據(jù)類型 6、字段增加，重命名，刪除

視圖及索引 1、記錄的增加，修改，刪除 2、表查詢 3、條件查詢 4、模糊查詢 5、視圖創(chuàng)建與操作 6、索引創(chuàng)建與操作

第三階段（文檔數(shù)據(jù)庫(kù)MongoDB）

Mongodb初識(shí)與部署 1、Mongodb介紹 2、Mongodb應(yīng)用場(chǎng)景 3、Mongodb快速部署 4、Mongodb配置指南

Mongodb基本操作 1、Mongodb數(shù)據(jù)庫(kù)操作 2、Mongodb collection操作 3、Mongodb文檔操作

Mongodb高級(jí)操作 1、Mongodb存儲(chǔ)過(guò)程 2、Mongodb聚合管道 3、Mongodb批量寫 4、Mongodb MapReduce

Mongodb運(yùn)維與編程 1、Mongodb數(shù)據(jù)導(dǎo)入/導(dǎo)出/備份/恢復(fù) 2、Mongodb安全 3、Mongodb權(quán)限控制 4、Mongodb包引入 5、Mongodb Python API

第四階段（內(nèi)存數(shù)據(jù)庫(kù)Redis）

Redis精講 1、REDIS分布式緩存介紹 2、REDIS網(wǎng)絡(luò)模型與內(nèi)存管理 3、REDIS的數(shù)據(jù)一致性問(wèn)題 4、REDIS支持的KEY類型 5、REDIS水平動(dòng)態(tài)擴(kuò)展 6、REDIS數(shù)據(jù)淘汰策略

Redis操作 1、REDIS訪問(wèn)工具 2、REDIS shell api

Redis編程 1、REDIS包引入 2、REDIS Python API

第五階段（網(wǎng)絡(luò)爬蟲(chóng)）

urllib.lib庫(kù) 1、Python urllib認(rèn)識(shí) 2、urllib庫(kù)的基本操作 3、urllib基本get請(qǐng)求 4、urllib基本post請(qǐng)求 5、代理與API 6、超時(shí)配置與會(huì)話對(duì)象

requests庫(kù) 1、通過(guò)pip安裝requests 2、發(fā)送請(qǐng)求與傳遞參數(shù) 3、Response對(duì)象與文件上傳 4、身份驗(yàn)證 5、Cookies與會(huì)話對(duì)象 6、超時(shí)與異常 7、CSS選擇器與bs4 8、BeautifulSoup基本介紹，安裝與基本語(yǔ)法 9、BeautifulSoup的基本運(yùn)算符與語(yǔ)法定位

css選擇器與Xpath 1、CSS選擇器基本使用 2、Xpath基本介紹 3、Xpath基本語(yǔ)法 4、XPath 軸與表達(dá)式 5、Xpath的基本運(yùn)算符 6、Xpath語(yǔ)法定位 7、常用的反爬蟲(chóng)技術(shù)

爬蟲(chóng)高級(jí)技術(shù) 1、多線程與多進(jìn)程爬蟲(chóng) 2、代理設(shè)置與Cookie操作 3、動(dòng)態(tài)網(wǎng)頁(yè)內(nèi)容的抓取 4、Selenium與PhantomJS 5、模擬表單登錄

第六階段（數(shù)據(jù)分析）

數(shù)據(jù)分析工具講解 1、numpy基本講解 2、scipy基礎(chǔ)認(rèn)識(shí) 3、pandas基本講解 4、jupyter基本認(rèn)識(shí) 5、matplotlib認(rèn)識(shí) 6、其他數(shù)據(jù)分析工具

數(shù)值計(jì)算包學(xué)習(xí) 1、數(shù)值計(jì)算包工具介紹 2、Numpy多維數(shù)組 3、數(shù)組的屬性與操作 4、基本的數(shù)組運(yùn)算 5、Scipy工作原理介紹 6、SciPy交互工作

數(shù)據(jù)處理包Pandas 1、本地環(huán)境安裝 2、加載工具庫(kù) 3、Pandas創(chuàng)建對(duì)象 4、操作行和塊 5、窺視數(shù)據(jù) 6、運(yùn)算符與表達(dá)式 7、缺失值處理、合并于分組

Pandas與數(shù)據(jù)庫(kù) 1、與SQL/Excel 對(duì)比 2、數(shù)據(jù)體量與工具選擇 3、范式中的切片與分組 4、Pandas索引與排序 5、Pandas數(shù)據(jù)回歸 6、文本轉(zhuǎn)化為虛擬變量

第七階段（數(shù)據(jù)處理）

數(shù)據(jù)清洗和準(zhǔn)備 1、數(shù)據(jù)質(zhì)量要求與來(lái)源 2、數(shù)據(jù)清洗原理 3、缺失數(shù)據(jù)處理 4、相似重復(fù)數(shù)據(jù)檢測(cè) 5、異常數(shù)據(jù)處理與邏輯錯(cuò)誤檢測(cè) 6、數(shù)據(jù)清洗的模型 7、數(shù)據(jù)清洗框架和模型

數(shù)據(jù)處理：合并和重塑 1、合并數(shù)據(jù)集 2、數(shù)據(jù)DataFrame合并 3、數(shù)據(jù)軸向連接 4、重塑層次化索引 5、字符串對(duì)象方法 6、正則表達(dá)式運(yùn)用

數(shù)據(jù)匯總和組操作 1、數(shù)據(jù)樣本分位數(shù) 2、數(shù)據(jù)聚合運(yùn)算 3、面向列的多函數(shù)應(yīng)用 4、定義不同列的函數(shù) 5、通過(guò)函數(shù)進(jìn)行分組 6、分組運(yùn)算和轉(zhuǎn)換 7、透視表和交叉表

第八階段（數(shù)據(jù)分析處理進(jìn)階）

Matplotlib實(shí)踐 1、Matplotlib基本介紹 2、Matplotlib可視化包認(rèn)識(shí) 3、2D與3D圖表圖表使用 4、Matplotlib圖像顯示 5、Matplotlib應(yīng)用 6、從網(wǎng)絡(luò)加載數(shù)據(jù)

繪圖與可視化 1、圖例、標(biāo)題和標(biāo)簽 2、條形圖和直方圖 3、散點(diǎn)圖與堆疊圖 4、因子變量繪圖 5、各類復(fù)雜圖形繪制 6、多變量的可視化 7、多變圖形分析

統(tǒng)計(jì)學(xué)基礎(chǔ) 1、統(tǒng)計(jì)和統(tǒng)計(jì)數(shù)據(jù) 2、數(shù)據(jù)的圖表展示 3、數(shù)據(jù)的概括性度量 4、總量指標(biāo)和相對(duì)指標(biāo) 5、平均指標(biāo)和變異指標(biāo) 6、抽樣估計(jì)與假設(shè)檢驗(yàn) 7、相關(guān)與回歸

時(shí)間序列分析基礎(chǔ) 1、時(shí)間序列及分析指標(biāo) 2、平穩(wěn)序列預(yù)測(cè) 3、趨勢(shì)性序列預(yù)測(cè) 4、復(fù)合序列因素分析 5、主要統(tǒng)計(jì)量 6、ARIMA模型 7、模型識(shí)別余參數(shù)估計(jì)

第九階段（項(xiàng)目實(shí)戰(zhàn)）

個(gè)人用戶信用評(píng)估 針對(duì)脫敏的幾十個(gè)維度的用戶數(shù)據(jù)，以及銀行提供的黑名單，建立個(gè)人用戶的信用評(píng)估模型；在建模過(guò)程中涉及到用戶數(shù)據(jù)缺失值處理，特征篩選，特征量化，類別不平衡策略，模型參數(shù)調(diào)優(yōu)；涉及到SPSS數(shù)據(jù)分析，pandas，sklearn工具的使用；通過(guò)該項(xiàng)目的學(xué)習(xí)，完整掌握各類數(shù)據(jù)分析軟件，分析流程以及相關(guān)算法。

運(yùn)營(yíng)商數(shù)據(jù)統(tǒng)計(jì)分析 對(duì)運(yùn)營(yíng)商用戶真實(shí)瀏覽記錄，利用瀏覽數(shù)據(jù)分類，以及爬蟲(chóng)抓取數(shù)據(jù)擴(kuò)充標(biāo)簽，統(tǒng)計(jì)用戶瀏覽行為，給用戶貼上對(duì)應(yīng)標(biāo)簽，針對(duì)個(gè)人用戶以及群體用戶的特征，進(jìn)行相關(guān)數(shù)據(jù)推薦；涉及到數(shù)據(jù)全量與增量統(tǒng)計(jì)，實(shí)時(shí)計(jì)算，協(xié)同過(guò)濾等技術(shù)與算法，分布式爬蟲(chóng)部署，以及反爬蟲(chóng)策略；通過(guò)該項(xiàng)目學(xué)習(xí)，完整掌握數(shù)據(jù)抓取技術(shù)，海量數(shù)據(jù)實(shí)時(shí)計(jì)算，以及主流用戶推薦算法。

電商網(wǎng)站評(píng)價(jià)情感分析 針對(duì)某互聯(lián)網(wǎng)電商平臺(tái)上的商品數(shù)據(jù)，抓取其評(píng)論數(shù)據(jù)，進(jìn)行情感分析，并抽取評(píng)論關(guān)鍵詞，分析用戶最關(guān)心的商品問(wèn)題；涉及到爬蟲(chóng)知識(shí)，數(shù)據(jù)篩選，清洗，去重以及貝葉斯，LDA算法等；通過(guò)該項(xiàng)目的學(xué)習(xí)，加深對(duì)數(shù)據(jù)處理流程的理解以及對(duì)自然語(yǔ)言處理知識(shí)的認(rèn)識(shí)。

股票數(shù)據(jù)擬合與推薦 針對(duì)網(wǎng)上獲取的實(shí)時(shí)股票數(shù)據(jù)，利用多種方法對(duì)數(shù)據(jù)進(jìn)行短期擬合，評(píng)估擬合效果，并在擬合多支股票的基礎(chǔ)上，進(jìn)行有價(jià)值股票的推薦；涉及到時(shí)間序列數(shù)據(jù)擬合，預(yù)警等技術(shù)；通過(guò)該項(xiàng)目的學(xué)習(xí)，加深對(duì)時(shí)間序列分析與理解。