20页PPT|视频类网站大数据生态 Spark在爱奇艺的应用实践

爱盈利（aiyingli.com）移动互联网具影响力的盈利指导网站。定位于服务移动互联网创业者，移动盈利指导。我们的目标是让盈利目标清晰可见！降低门槛，让缺乏经验、资金有限的个人和团队获得经验和机会，提高热情，激发产品。

Spark生态@爱奇艺

秉承“悦享品质”的品牌理念，提供更多、更好的视频 – 2010年4月上线 – 2013年5月与PPS合并 – 月度独’立访问用户4+亿（3月份数据） – 2014年1月以来，日均覆盖、月度覆盖、月度时长以及人均月度时长一直排名头名

爱奇艺Spark生态

– 版本：从0.7.3开始，0.8.X, 0.9.X, 1.0, 1.1…不断跟踪升级 – 部署环境：虚机 + 物理机 – 部署方式：Standalone、Spark on YARN、Spark on Mesos – Spark组件：通用Spark job， Spark MLlib，Spark Streaming –语言：Scala & Java & Python

推荐

– 推荐模型训练 – Spark MLlib Alternating Least Squares(ALS) Algorithm – 输入数据300+G，运行20分钟 – 模型提供给Hadoop，Storm进行批处理和实时数据预测 – Spark on YARN

用户行为分析

– 用户画像、分类 – iQIYI Logistic Regression (LR) Algorithm – 输入数据100G左右，1400W+ Features – 迭代1000次左右 – 单机运行（20G左右）2小时或更长，Spark集群10分钟左右 – Spark Standalone

PPT作者/主讲人：爱奇艺技术产品中心孙琦

下面是详细的PPT内容：

20页PPT|视频类网站大数据生态 Spark在爱奇艺的应用实践