如何深度融合搜索和推荐：兴趣引擎架构设计

如何深度融合搜索和推荐——兴趣引擎架构设计大纲兴趣引擎=搜索+推荐兴趣引擎系统架构关键技术内容理解内容获取搜索/推荐系统工作流程用户行为分析用户画像指标报表排序召回策略有用兴趣引擎=搜索+推荐共性特征挖掘有趣、有料搜索兴趣订阅个性化推荐有品对比点搜索系统推荐系统意图表达方式主动、明确被动、模糊查询复杂程度3~5个词50+兴趣特征优化目标高位置结果的相关性停留时长模型训练数据存在GroundTruth，人工可label在线反馈搜索VS推荐排序模型指标监控与数据分析排序特征用户画像兴趣关系挖掘热点兴趣运维层次化兴趣体系采集/统计/存储定义/运维/挖掘UnifiedFeeder展分静示类态信聚特息类征频道推荐索引系统内容平台搜索索引系统索引池PopularityServer兴趣图谱CF挖掘结果索引内容特征Server用户平台获取/分析/挖掘推荐流式服务框架（召回、排序、策略）搜索应用新闻推荐视频推荐一点健康一点影视……资讯搜索PowerbyYidian关键技术异构索引结构UnifiedFeeder自适应索引召回排序框架策略与产品逻辑为何需要异构索引安装量2.9亿DAU4800wMAU1.5亿频道数300万+每用户兴趣频道50+文章总数2亿+三日文章三日文章索引库异构索引结构全量文章索引库月文章索引库精品文章索引库内容平台频道文章索引库编辑运维平台数据平台SegmentedPopularityItem2Item协同过滤Key-ValuedatabaseSorted-ListstorageInvertedIndex三日文章索引库垂直索引库优化检索性能全量文章索引库月文章索引库三日文章索引库+WAND频道文章索引库{炸酱面做法}{美食，炸酱面，特朗普，中美关系……}{体育，财经，娱乐，……}优化检索系统（WANDoperator)Channelid1sorteddocidlistChannelid2sorteddocidlistChannelid3sorteddocidlist…………Channelidnsorteddocidlist……UnifiedFeederKafkaMasterControllerSlaveIndexerOnline-offline（频道索引库)FederationLayerSlaveIndexerCacheLayerSlaveIndexer关键技术异构索引结构UnifiedFeeder自适应索引召回排序框架策略与产品逻辑CrawlerCrawler索索引系统内容处理平台自媒体系统Crawler内容处理流水线配置、模板与日志中心refeed流程UnifiedFeeder内容库引系统索引系统源数据特征数据自适应目的地编辑运维系统个别文档更新全量更新……………streaminputbuffercheckpointcurrentreaddeser&validatedocroutingschemacenterDBclientsdumpertargetsearchengineindexrankingDBdisplayDBdoccenterOLAPanalyze&aggUnifiedFeeder结构详解Feederinput容错，一致性checkpointsystem异构索引/特征库indexer关键技术异构索引结构UnifiedFeeder自适应索引召回排序框架策略与产品逻辑技术挑战➢决策需要调用的索引后端➢异构索引召回效率➢可扩展性与开发效率频道推荐索引系统搜索索引系统PopularityServerCF挖掘结果索引人工运维精选池LBS索引IndexingPool召回系统结构Search/RecommendationServerRanking/PredictionServerFederationLayer意图分析QueryBuilder通信模块存储模块ContextProfileParameter频道推荐索引系统搜索索引系统PopularityServerCF挖掘结果索引人工运维精选池LBS索引Query建立过程ContextProfileParameter热点兴趣图谱用户Demography搜索词逻辑层物理层意图分析头部、中部用户兴趣频道推荐索引系统搜索索引系统PopularityServerCF挖掘结果索引人工运维精选池LBS索引意图分析热点QueryBuilderContextProfileParameter热点兴趣图谱用户Demography搜索词逻辑层物理层频道推荐索引系统搜索索引系统PopularityServerCF挖掘结果索引人工运维精选池LBS索引意图分析搜索词QueryBuilderContextProfileParameter热点兴趣图谱用户Demography搜索词逻辑层物理层频道推荐索引系统搜索索引系统PopularityServerCF挖掘结果索引人工运维精选池LBS索引意图分析用户画像QueryBuilderContextProfileParameter热点兴趣图谱用户Demography搜索词逻辑层物理层频道推荐索引系统搜索索引系统PopularityServerCF挖掘结果索引人工运维精选池LBS索引用户画像QueryBuilderContextProfileParameter热点兴趣图谱用户Demography搜索词逻辑层物理层意图分析{互联网思维}人工智能深度学习机器学习机器人自然语言处理工业机器人未来科技兴趣图谱QueryBuilder兴趣点结果频道推荐索引系统运维频道垂直源搜索索引系统人工运维精选池编辑添加关键技术异构索引结构UnifiedFeeder自适应索引召回排序框架策略与产品逻辑周期性batch模型更新框架实时日志输出模型部署线下评测LearningSystem模型训练编辑标注训练数据生成OnlineLearning准实时模型更新框架PredictionServerParameterServerAStormFeatureConfigServerKafkaParameterServerBRealtimelogRedis关键技术异构索引结构UnifiedFeeder自适应索引召回排序框架策略与产品逻辑技术挑战➢高效接入外部数据资源➢灵活策略调整➢开发效率ServingPerRequestinit013end4RemoteclientForkJoin2•••配置化workflow组织核心逻辑的可配置化超强并发性支持流式服务框架特性技术要点Akkaactormodel•Spray:高效的REST/HTTP网络IO通信•使用流式服务框架的实例ServingPerRequesthitCacheparamParserForkJoinviewLogSenderblendercardControlfederation排序模型指标监控与数据分析排序特征用户画像兴趣关系挖掘热点兴趣运维层次化兴趣体系采集/统计/存储定义/运维/挖掘UnifiedFeeder展分静示类态信聚特息类征频道推荐索引系统内容平台搜索索引系统索引池PopularityServer兴趣图谱CF挖掘结果索引内容特征Server用户平台获取/分析/挖掘推荐流式服务框架（聚合、排序、规则）搜索应用新闻推荐视频推荐一点健康一点影视……资讯搜索PowerbyYidian