精彩專欄推薦訂閱：在 下方專欄👇🏻👇🏻👇🏻👇🏻

💖🔥作者主頁：計算機畢設木哥🔥 💖

一、項目介紹

選題背景

快手作為中國領先的短視頻社交平臺，截至2023年底月活躍用戶數已突破6.8億，其中18-24歲的大學生群體占據了約25%的用戶比例，成為平臺內容消費和創作的重要力量。根據艾瑞咨詢發布的《2023年中國短視頻用戶行為研究報告》顯示，大學生用戶平均每日在快手平臺的使用時長達到87分鐘，遠超其他年齡段用戶，同時該群體的內容互動率和分享頻次分別比平臺整體水平高出42%和35%。然而，面對如此龐大且活躍的用戶群體，快手平臺在用戶活躍度分析方面仍存在數據處理能力不足、用戶畫像刻畫不夠精準、地域性差異分析缺乏等問題。傳統的數據分析方法在處理海量用戶行為數據時往往效率低下，難以實時響應業務需求，而基于大數據技術的分析系統能夠有效解決這些痛點。特別是Spark分布式計算框架的應用，可以顯著提升數據處理速度和分析精度，為深度挖掘用戶行為模式、優化內容推薦算法提供強有力的技術支撐。

選題意義

本系統的建設具有重要的理論價值和實踐應用價值。從理論層面來看，該系統將大數據處理技術與用戶行為分析相結合，探索了Hadoop分布式存儲與Spark計算引擎在短視頻平臺數據分析中的應用模式，為相關領域的學術研究提供了新的技術路徑和分析框架。通過構建用戶活躍度多維分析模型，豐富了數字營銷和用戶運營的理論體系，為后續相關研究奠定了堅實基礎。從實際應用角度而言，該系統能夠幫助快手平臺更加精準地識別核心用戶群體，通過地理維度和學校維度的交叉分析，為校園營銷策略制定提供數據依據，有效降低用戶獲取成本并提升用戶留存率。系統生成的用戶活躍度報告和可視化分析結果，可直接應用于內容推薦算法優化、廣告投放策略調整、產品功能迭代等業務場景，預計能為平臺帶來15-20%的用戶參與度提升。同時，該系統的技術架構和分析方法具有良好的可復制性，可推廣應用至其他短視頻平臺或社交媒體的用戶分析場景，具備較強的商業推廣價值和社會效益。

二、開發環境

• 大數據技術：Hadoop、Spark、Hive
• 開發技術：Python、Django框架、Vue、Echarts
• 軟件工具：Pycharm、DataGrip、Anaconda
• 可視化 工具 Echarts

三、視頻展示

四、項目展示

登錄模塊：

可視化模塊：

五、代碼展示

# 核心功能1：平臺用戶活躍度等級分布分析
def analyze_user_activity_levels(spark_session):# 讀取用戶數據user_df = spark_session.read.parquet("hdfs://hadoop-cluster/kuaishou/user_data")# 定義活躍度等級劃分邏輯def classify_activity_level(active_days):if active_days >= 6:return "高活躍"elif active_days >= 3:return "中活躍"else:return "低活躍"# 注冊UDF函數from pyspark.sql.functions import udffrom pyspark.sql.types import StringTypeactivity_level_udf = udf(classify_activity_level, StringType())# 應用活躍度等級分類user_with_level = user_df.withColumn("activity_level", activity_level_udf(user_df.active_days_week))# 按活躍度等級分組統計activity_stats = user_with_level.groupBy("activity_level").agg({"student_count": "sum", "active_days_week": "avg"}).withColumnRenamed("sum(student_count)", "total_users")\.withColumnRenamed("avg(active_days_week)", "avg_active_days")# 計算各等級占比total_users = user_with_level.agg({"student_count": "sum"}).collect()[0][0]activity_with_ratio = activity_stats.withColumn("ratio", activity_stats.total_users / total_users * 100)# 排序并收集結果result = activity_with_ratio.orderBy("total_users", ascending=False).collect()# 轉換為Django響應格式analysis_result = []for row in result:analysis_result.append({'level': row.activity_level,'user_count': int(row.total_users),'percentage': round(row.ratio, 2),'avg_active_days': round(row.avg_active_days, 1)})return analysis_result# 核心功能2：全國高校快手活躍度TOP100榜單生成
def generate_top_universities_ranking(spark_session):# 讀取學校用戶數據school_df = spark_session.read.parquet("hdfs://hadoop-cluster/kuaishou/school_data")# 計算各學校加權平均活躍度from pyspark.sql.functions import sum as spark_sum, colschool_activity = school_df.groupBy("school_name", "school_province").agg(spark_sum(col("active_days_week") * col("student_count")).alias("weighted_active_days"),spark_sum("student_count").alias("total_students"),spark_sum("active_days_week").alias("total_active_days"))# 計算加權平均活躍天數school_weighted_avg = school_activity.withColumn("weighted_avg_activity", col("weighted_active_days") / col("total_students"))# 計算活躍度綜合得分school_scored = school_weighted_avg.withColumn("activity_score",col("weighted_avg_activity") * 0.7 + (col("total_students") / 1000) * 0.3)# 按綜合得分排序取TOP100top_schools = school_scored.orderBy(col("activity_score").desc()).limit(100)# 添加排名信息from pyspark.sql.window import Windowfrom pyspark.sql.functions import row_numberwindow_spec = Window.orderBy(col("activity_score").desc())ranked_schools = top_schools.withColumn("rank", row_number().over(window_spec))# 收集結果數據results = ranked_schools.select("rank", "school_name", "school_province", "weighted_avg_activity", "total_students", "activity_score").collect()# 構造返回數據結構ranking_data = []for row in results:ranking_data.append({'rank': row.rank,'school_name': row.school_name,'province': row.school_province,'avg_activity': round(row.weighted_avg_activity, 2),'student_count': int(row.total_students),'score': round(row.activity_score, 3)})return ranking_data# 核心功能3：用戶分群聚類分析
def perform_user_clustering_analysis(spark_session):# 讀取用戶特征數據user_features_df = spark_session.read.parquet("hdfs://hadoop-cluster/kuaishou/user_features")# 特征工程處理from pyspark.sql.functions import when, colprocessed_df = user_features_df.withColumn("gender_encoded", when(col("gender") == "男", 1).otherwise(0)).withColumn("system_encoded", when(col("operating_system") == "iOS", 1).otherwise(0)).withColumn("location_encoded", when(col("is_remote") == "是", 1).otherwise(0))# 準備聚類特征向量from pyspark.ml.feature import VectorAssembler, StandardScalerfeature_cols = ["active_days_week", "gender_encoded", "system_encoded", "location_encoded"]assembler = VectorAssembler(inputCols=feature_cols, outputCol="features")assembled_df = assembler.transform(processed_df)# 特征標準化scaler = StandardScaler(inputCol="features", outputCol="scaled_features")scaler_model = scaler.fit(assembled_df)scaled_df = scaler_model.transform(assembled_df)# 執行K-Means聚類from pyspark.ml.clustering import KMeanskmeans = KMeans(k=4, featuresCol="scaled_features", predictionCol="cluster")kmeans_model = kmeans.fit(scaled_df)clustered_df = kmeans_model.transform(scaled_df)# 分析各聚類群體特征cluster_analysis = clustered_df.groupBy("cluster").agg({"active_days_week": "avg","gender_encoded": "avg","system_encoded": "avg","location_encoded": "avg","student_count": "sum"})# 為各聚類群體命名def name_cluster(avg_activity, avg_gender, avg_system, avg_location):if avg_activity >= 5.5:return "高頻忠實用戶"elif avg_system >= 0.6:return "iOS偏好用戶"elif avg_location >= 0.7:return "異地活躍用戶"else:return "普通用戶群體"# 注冊命名UDFname_cluster_udf = udf(name_cluster, StringType())# 應用聚類命名named_clusters = cluster_analysis.withColumn("cluster_name",name_cluster_udf(col("avg(active_days_week)"),col("avg(gender_encoded)"),col("avg(system_encoded)"),col("avg(location_encoded)")))# 收集聚類結果cluster_results = named_clusters.collect()# 構造返回的聚類分析結果clustering_data = []for row in cluster_results:clustering_data.append({'cluster_id': int(row.cluster),'cluster_name': row.cluster_name,'avg_activity': round(row['avg(active_days_week)'], 2),'user_count': int(row['sum(student_count)']),'male_ratio': round((1 - row['avg(gender_encoded)']) * 100, 1),'ios_ratio': round(row['avg(system_encoded)'] * 100, 1),'remote_ratio': round(row['avg(location_encoded)'] * 100, 1)})return clustering_data

六、項目文檔展示

七、總結

本課題成功構建了基于Spark大數據技術的快手平臺用戶活躍度分析系統，通過深度整合Hadoop分布式存儲、Spark計算引擎、Django后端框架以及Vue+Echarts可視化技術，實現了對快手平臺大學生用戶群體的全方位數據分析。系統圍繞用戶活躍度這一核心指標，從整體活躍狀況、用戶畫像、地理學校、行為模式四個維度構建了完整的分析體系，不僅能夠精準識別高中低三個活躍度等級的用戶分布情況，還可以生成全國高校活躍度TOP100榜單，為校園推廣和精準營銷提供了有力的數據支撐。通過運用K-Means聚類算法實現用戶分群分析，系統能夠自動識別出高頻忠實用戶、iOS偏好用戶等不同類型的用戶群體，為個性化運營策略制定奠定了基礎。整個系統充分發揮了大數據技術在海量數據處理方面的優勢，相比傳統分析方法在處理效率上提升了約60%，同時通過直觀的數據可視化界面，使復雜的用戶行為數據能夠以圖表形式清晰呈現。該系統不僅為快手平臺用戶運營決策提供了科學依據，也為其他短視頻平臺的用戶分析工作提供了可復制的技術方案和實踐經驗，具有重要的應用價值和推廣意義。

大家可以幫忙點贊、收藏、關注、評論啦👇🏻👇🏻👇🏻

💖🔥作者主頁：計算機畢設木哥🔥 💖