ARTICLE · 1064953
基于大数据的安卓应用市场数据分析与可视化
基于大数据的安卓应用市场数据分析与可视化
本系统是基于 Python、依托 Hadoop 与 Spark 大数据框架开发的安卓应用市场数据挖掘与可视化分析系统，以一份包含一万九千多条安卓应用信息的数据集作为分析基础，数据集涵盖应用分类、子分类、安装次数、评论分数、评论人数、开发者、更新时间以及应用介绍等多类信息，系统会先完成原始数据的预处理工作，针对安装次数字段里带 “万”“亿” 的文本格式做数值转换，区分标记无人评价导致评分记为 0 的记录，对少量缺失数据按照分析场景按需过滤而不是直接删除全部样本，之后依托 Spark SQL 完成多维度的统计计算，搭建起市场格局