05_CCTC_魅族莫涵宇_魅族大数据平台架构实践（PDF37页）

魅族大数据平台架构实践目录魅族大数据历程魅族大数据现状和规划魅族大数据挑战和愿景移动互联网未来Before丨20082009丨20112012丨20132014丨至今老板驱动、设计驱动产品驱动、全员创新、引入资本、股份改制老板驱动业务产品驱动ITintoDT信息时代向数据时代前进公司主业：MP3丨线下实体渠道互联网文化：互联网产品快速迭代丨周固、互联网服务日更新丨互联网业务：BBS丨官网互联网文化：无公司主业：智能手机公司主业：智能手机公司主业：智能手机丨Flyme互联网运营丨智能家居丨电商互联网业务：BBS丨官网丨电商丨flyme云服务互联网文化：互联网产品支撑、互联网产品固件互联网业务：BBS丨官网丨电商丨flyme云服务丨Flyme互联网产品互联网文化：主功能固件迭代、互联网产品迭代互联网业务：官网丨BBS丨官网丨电商丨游戏中心丨应用中心丨多媒体丨O2O丨服务开放平台丨开发生态圈魅族的互联网转型应用商店应用超过100万款；总下载量超过100亿；营收能力同比增长12倍。魅族大数据的业务基础魅族大数据的背景魅族大数据现状和规划魅族大数据挑战和愿景目录3人9人22人47人人员变化2013.122014.92015.62016.5兼职ETL平台研发运维算法数据PDBI魅族大数据的历程3台6T17台140T；数据日新增35G67台890T；数据日新增10Tspark/hbase上线；月活1200W+；日行为记录26亿+；500台6.0P(设备)；数据日新增20T；日行为记录100亿+数据规模2013.122014.92015.62016.5T级日新增月活日行为记录P级魅族大数据的历程uba接入业务3个，JSP方式报表uxip业务20+；调度任务100+；报表引擎；dw1.0上线业务50+；日任务800+；BI迁至bigdata；引入新的报表引擎；提供高层月报；日任务4000+；标签400+；接入安全、客服数据；广告推荐平台上线；各项推荐更新迭代业务支持2013.122014.92015.62016.5JSPUXIPBigdata高层月报标签推荐魅族大数据的历程业务层迁就业务的不规范统计只跟需求，数据口径未统一数据质量不可靠sdk埋点规范的缺失需求管理杂乱，开发疲于奔命架构层平台架构多次迁移多个统计分析界面没有数据portal，使用杂乱可视化开发使用不便没有足够的功能抽象我们曾踩过的坑从0开始时间紧、资源少需求比较多，经验不足，大步快跑=悬崖边跑有时候在需求的海洋中抓不住重点疲于应付需求而在招聘上投入不够压力大，会和其他公司的数据产品做对比（如友盟等）业务团队对数据的认识度不够，推动业务的阻力很大被信任度差，需要一步步证实自己团队成员配比不合理（分析师很晚才到位）顶住多方压力的情况下控制需求节奏一方面希望覆盖更多业务，另一方面又担心被业务需求所压垮成长的烦恼魅族大数据的背景魅族大数据历程魅族大数据挑战和愿景目录p集群：数据各业务近500台主机p数据总量：总数据超过2PBp数据增量：每天数据处理超过20Tp调度任务：每日运行4000个调度任务魅族大数据现状DataSourceODSEDWDM日志数据消息数据ERP数据多维模型分析应用用户宽表数据产品统一视图业务报表网站日志ERPAPP消息············魅族DW1.0数据开发平台数据产品门户报表门户用户画像数据开发门户数据接入平台WebIDE推荐平台全网分析多维自助分析系统数据服务平台数据质量管理任务编排管理DBLogs/RawFilesMessagesHDFS/TachyonHiveMRRDBKV/NoSQLSparkStreaming/StromUserProfile数据模型算法库/MLlib/Mahout…数据应用层数据仓库层接入层GeneralSchedulerKVStorage数据源层(Agents)OLAP/PGxc/Virtica推荐统计…Multi-LayerMonitoring/AlarmingService……SparkYARNAnyStream挖掘AnyLoaderStateCenter元数据RDD魅族大数据整体架构深耕细作，提升数据产品用户体验和数据分析的支撑深入业务，构建适合解决业务痛点的数据产品提供符合各种角色特征的个性化数据产品梳理角色，流程并对现有数据产品进行部分优化和整合HOWTOFOURTWOTHREEONEDW2.0的建设思路业务型数据产品平台型数据产品基础类数据产品服务类数据产品应用类数据产品用户后付费服务平台运营类数据产品推荐平台用户画像系统搜索服务……数据驾驶舱运营主题分析平台数据集成开发平台自助分析平台……数据可视化服务数据多维分析服务指标监控服务算法挖掘服务元数据服务数据同步服务数据权限控制服务数据质量监控平台数据开放平台……数据统一上报平台离线计算平台实时计算平台调度及任务监控平台……数据产品全景图UserMasterAgent•调度结构•调度通信•调度拓扑基础类数据产品-调度平台基础类数据产品–调度平台WebUIHTML界面接口Web服务接口权限申请/审核/授权/验证API操作日志权限信息配置管理权限组配置管理角色信息配置管理数据权限功能权限···用户信息及登录验证通用权限DBMZUSERCENTER单点登录应用C应用B应用A服务类数据产品–通用权限管理平台•基于RBAC的权限管理平台•菜单/报表/功能项/数据指标/数据对象服务类数据产品–通用权限管理平台关键词提取实体分析词性标注主题划分和统计内容分类热词统计话题检测与跟踪文本分析情感分析文本结构解析规则匹配Web爬虫数据提取数据预处理分词引擎词袋数据字典负面正面分类和打分查询引擎(ES)预警模块Web-UIAPI-Server应用类数据产品-舆情分析系统应用类数据产品-舆情分析系统Model&FeatureSet模型和特征集HDFS模型ModelMemory内容特征集MemoryDB用户特征集MemoryDB业务策略过滤排序CacheOnline（一期）Nearline（二期）Offline（一期）AnyBusODS数据HDFSUserProfile用户画像HDFS终端用户行为数据（全业务）CPD推荐CPA推荐Offline计算MR/RDDNearline计算StreamingContentProps业务内容集市HDFSOpenAPIRestfulServerUserBehavior用户行为集市HDFS广告服务端广告策略配置AnyMQAnySort用户增量特征集Memory应用中心视频阅读…BusinessSystemMQNotifySyncOnline计算AppsAdSystem业务属性ModelTraining模型训练MR/RDDOffline计算关联/加工/转换MR/RDDRecommenderPlatformABTest配置推荐指标监控推荐结果展示参数场景配置数据维护页面BigDataPlatformAny-Stream(二期)运营类数据产品–推荐平台用户属性用户行为向量物品属性特征向量CollaborativeFilteringMatrixFactorizationLogisticRegressionDeepLearningFactorizationMachineSparseLinearMethodA/BTest模块组合推荐计算模块用户个性化数据与物品数据预制应用行为数据音乐行为数据应用商店行为游戏中心行为······用户行为向量初始推荐结果Ensemble混合过滤排名规则选择最终推荐结果规则过滤重排模块LearningToRank运营类数据产品–推荐平台•目前支撑了6个重要应用•支持多算法的ABtest运营类数据产品–推荐平台新的尝试-大数据上云资源管理调度块存储对象存储网络虚拟化镜像管理新的尝试-大数据上云HDFSSwiftCephDockerEngineHiveMRRDBOLAP/PGxc/VirticaSparkYARNRDDDBLogs/RawFilesMessagesKV/NoSQLAnyStreamAnyLoaderKubernetesAlluxio新的尝试-大数据上云现状：容器宿主服务器：50+容器集群规模：1000+覆盖业务量：30%•简化Hadoop集群部署模型•解决资源隔离问题•提高资源利用率RoadMap•网络性能瓶颈•更大规模集群测试•自动化水平扩容•Swift和hdfs的集成魅族大数据的背景魅族大数据历程魅族大数据现状和规划目录决策层项目管理人员产品/运营人员数据技术人员第三方合作者终端用户多终端适配/移动分析解决业务痛点数据价值的落地数据运营的能力提高整体的数据解决方案……还不够好•成本和管理的投入•私有云的方案选择•近线/在线分析•智能的埋点上报面临的挑战–数据量越来越大•进销存、营销、售后、固件……•工具类APP、娱乐类APP、游戏类APP……•智能家居、外发固件和应用面临的挑战–企业级数据平台•用户隐私和效率•企业机密面临的挑战–数据安全为公司的战略规划及数据化运营做好数据服务利用数据服务和数据产品，结合业务理解，提供产品数据化运营解决方案发掘能为用户带来直接价值的数据产品，为用户提供更丰富的服务宗旨用户业务决策数据是基础，应用是核心，生态是目的我们的目标……精细化营销结合用户画像，细分目标用户群，在合适的时机使用合适的方式，对用户进行有效的广告推荐和产品营销活动效果/渠道质量/用户生命周期使用数据挖掘和各项业务建模，预测活动的效果；评估渠道是否作弊；判断用户的生命周期阶段，更好让用户进入成熟期，对具有流失可能的高价值用户进行关怀决策导航问题发现和智能预警体系，用数据支撑决策者制定业务方向更多数据应用构造FLYME生态[e-mail]