Hadoop實戰項目之網站數據點擊流分析（轉載分析）

---

本文轉載于csdn博主‘一直不懂’

一，項目業務背景

　　https://blog.csdn.net/shenchaohao12321/article/details/82958936

二，整體技術流程及架構

　　https://blog.csdn.net/shenchaohao12321/article/details/82959255

三，數據采集

　　https://blog.csdn.net/shenchaohao12321/article/details/82959322

四，數據預處理

　　https://blog.csdn.net/shenchaohao12321/article/details/82959444

五，數據倉庫設計

　　https://blog.csdn.net/shenchaohao12321/article/details/82960513

六，ETL

　　https://blog.csdn.net/shenchaohao12321/article/details/82961265

七，統計分析

　　https://blog.csdn.net/shenchaohao12321/article/details/82975362

八，結果導出

　　https://blog.csdn.net/shenchaohao12321/article/details/83020556

九，工作流調度

　　https://blog.csdn.net/shenchaohao12321/article/details/83020574

十，數據展示

　　https://blog.csdn.net/shenchaohao12321/article/details/83020653

十一，項目代碼

　　https://blog.csdn.net/shenchaohao12321/article/details/83020719

十二，有關hql語句的注意事項

　　count(1)里面的數字表示對第幾列的數據進行統計計數。

　　group by? 分組可以去重。

　　having 與group by 一起使用 ，跟where的用處一樣。

　　row_number() over (partition by clumn_a? order by column_b asc/desc) as rn?

　　對表的每行標定行數

　　partition by clumn_a相當于表的分組，order by 相當于對表的排序，rn 行數序號的字段。

　　concat(字段，字段)? 表示將兩個字段和為一個字段。

　　distinct去重

　　cast(......as int) 表示對字段的類型轉換為int類型。

　　select? '2018-11-11' as date......為每一個查詢的行的表結構第一位加上字段名為date數據為'2018-11-11' 的列。