大數(shù)據(jù)離線實(shí)戰(zhàn)項(xiàng)目

項(xiàng)目名稱(chēng)：新浪微博數(shù)據(jù)分析系統(tǒng)
日均數(shù)據(jù)體量：3GB+
硬件環(huán)境：Hadoop集群 50臺(tái)
軟件環(huán)境：MapReduce+HBase0.98.9+Storm0.9.6+Hadoop2.5.2+Kafka2.10+Zooke
eper3.4.5+CentOS-6.5-X86
項(xiàng)目描述：
此次項(xiàng)目我們需要處理微博產(chǎn)生的數(shù)據(jù)，通過(guò)對(duì)數(shù)據(jù)的處理得到所需的數(shù)據(jù)，微博擁有大量的用戶，大量的用戶潛在的價(jià)值是巨大，怎么挖掘這些潛在的寶藏就是我們項(xiàng)目最直接的目的，為了能夠?qū)崟r(shí)的進(jìn)行數(shù)據(jù)處理使用Storm流式計(jì)算系統(tǒng)，和HBase、Zookeeper、Kafka組成框架，對(duì)數(shù)據(jù)進(jìn)行處理，當(dāng)然這些都是建立在hadoop集群上實(shí)現(xiàn)的，底層的存儲(chǔ)還是HDFS。

大數(shù)據(jù)實(shí)時(shí)全真項(xiàng)目

項(xiàng)目名稱(chēng)：網(wǎng)絡(luò)流量流向異常賬號(hào)統(tǒng)計(jì)項(xiàng)目
數(shù)據(jù)體量：每天1000億，每秒峰值100 000
硬件環(huán)境：Hadoop集群 600臺(tái)
軟件環(huán)境：Hadoop2.5.2+Hive1.2.1+MR+Oracle10g
項(xiàng)目描述：
運(yùn)營(yíng)商骨干網(wǎng)上采集現(xiàn)網(wǎng)流量流向信息，根據(jù)這些原始信息檢測(cè)賬號(hào)是否存在異常，如果多個(gè)終端使用同一個(gè)寬帶賬號(hào)，超過(guò)一定閾值則觸發(fā)報(bào)警機(jī)制，例如閾值為5時(shí)，同一個(gè)賬號(hào)同時(shí)連接的終端數(shù)量不能超過(guò)該值，如果超過(guò)則報(bào)警。

Spark階段項(xiàng)目

項(xiàng)目名稱(chēng)：京東網(wǎng)上商城數(shù)據(jù)統(tǒng)計(jì)分析平臺(tái)
數(shù)據(jù)體量：5000W+/日
硬件環(huán)境：centos-6.5-x86 集群：spark standalone(Master-1,Worker-3)
軟件環(huán)境：hadoop,spark,hive,mysql,idea,navicat,kafka,flume
每日處理的數(shù)據(jù)量：3GB
項(xiàng)目描述：
基于京東網(wǎng)上商城數(shù)據(jù)統(tǒng)計(jì)分析平臺(tái)--該項(xiàng)目采用了目前大數(shù)據(jù)領(lǐng)域非常流行的技術(shù)——Spark。本項(xiàng)目使用了Spark技術(shù)生態(tài)棧中最常用的三個(gè)技術(shù)框架，Spark Core、Spark SQL和Spark Streaming，進(jìn)行離線計(jì)算和實(shí)時(shí)計(jì)算業(yè)務(wù)模塊的開(kāi)發(fā)。實(shí)現(xiàn)了包括:統(tǒng)計(jì)和分析UV、PV、登錄、留存、熱門(mén)商品離線統(tǒng)計(jì)、廣告流量實(shí)時(shí)統(tǒng)計(jì)3個(gè)業(yè)務(wù)模塊。