sphinx社区全文搜索平台配置手册

1/20千万级Discuz!数据全文检索方案（Sphinx）前言：康盛创想的Discuz!从创立之初即以提高产品效率为突破口，随着编译模板，语法生成内核，数据缓存和自动更新机制等独创或独有技术的应用，和坚固的数据结构及最少化数据库查询设计，使得Discuz!可以在极为繁忙的服务器环境下快速高效稳定运行。由于Discuz!产品依赖MySQL数据库性能，在全文检索方面如果仅仅依靠MySQL的LIKE%关键词%语句无法取得理想的成绩。本文阐述经过Discuz!生产环境考验的构建在Sphinx基础上的千万级Discuz!数据全文检索解决方案。出自俄罗斯的开源全文搜索引擎软件Sphinx在单一索引达到4千万条记录情况下的查询速度仍为0.x秒甚至0.0x秒级别。Sphinx创建索引的速度约五分钟处理百万条记录，对于每分钟的增量索引重建只需要几十秒，每日的增量索引合并到主索引也只需一分钟左右。此构架基础上的Discuz!高负载站点，已成功解决搜索速度慢、经常锁表、无法分布式搜索等问题。千万级Discuz!数据全文检索方案（Sphinx）适用于繁忙的站点并且论坛访问者有大量的搜索需求，本方案主要解决搜索缓慢问题。本文环境以CentOS5为基准。初始化一次全部索引，按系统计划任务crontab定时方式，每5分钟重建一次增量索引（增量索引不与主索引合并），每日凌晨3:30建立一次昨日比较的增量索引（合并到主索引中）。主索引建立在磁盘目录/data/sphdata，增量索引建立在内存/dev/shm/中避免大量的I/O操作，由于帖子编辑限制，全部索引每两个月重建一次。目录千万级Discuz!数据全文检索方案（Sphinx）............................................................................1Sphinx快速介绍........................................................................................................................2一、Sphinx全文检索方案构架图............................................................................................3二、Sphinx中文分词...............................................................................................................4三、Sphinx安装步骤...............................................................................................................41.安装、升级所需的程序库..............................................................................................42.创建安装文件夹并下载源代码.......................................................................................43.安装MMseg中文分词..................................................................................................44.安装CSFT（Sphinx的CoreSeek修改版）................................................................55.编译Sphinx过程可能出现的错误.................................................................................5a)无法找到mysql路径..............................................................................................5b)无法找到libiconv...................................................................................................5c)无法找到libmysqlclient.so.15................................................................................5d)php5.2.11版本的apiBUG...................................................................................5e)生成索引时容易发生磁盘空间不足写入失败的错误..............................................56.安装为php扩展（可选）.............................................................................................67.安装SphinxSE存储引擎（可选）................................................................................6四、Sphinx配置......................................................................................................................61.mmseg中文分词词库...................................................................................................6a)词典格式................................................................................................................6b)词库生成方法.........................................................................................................72/202.创建sphinx数据目录结构............................................................................................73.创建sphinx.conf配置文件............................................................................................74.mmseg.ini分词配置文件.............................................................................................145.建立Sphinx增量索引数据表......................................................................................146.书写常用的sphinx控制命令到sh文件......................................................................147.创建相应的文件结构，初始化Sphinx的全部索引.....................................................178.启动sphinx.................................................................................................................179.设置计划任务项..........................................................................................................1710.设置开机启动项.......................................................................................................17五、通过命令行测试搜索......................................................................................................17六、通过phpapi调用Sphinx搜索.......................................................................................18七、通过MySQL的SphinxSE存储引擎调用Sphinx搜索（可选）....................................19八、Sphinx数据占用量统计..................................................................................................19Sphinx快速介绍Sphinx是独立的搜索服务端，不依赖MySQL，当Sphinx和MySQL结合部署时，Sphinx的数据来源为MySQL。服务器安装Sphinx，由sphinx.conf配置文件指定Sphinx的数据源，如何读取MySQL的数据内容，设置Sphinx对MySQL数据库的哪个表哪些字段建立索引，索引的返回数据必须是数值型。例如一个配置段设置Sphinx对cdb_threads表的subject和author字段建立索引，搜索结果可以返回tid和uid。另一个配置段设置Sphinx对cdb_posts表的subject和message字段索引，搜索结果返回tid和pid。Sphinx建立的索引只是查询MySQL数据库获取数据内容，将索引存放在Sphinx的数据文件和内存中，一般不对MySQL数据库进行修改操作。因为Sphinx独立运行，使用SELECT*FROMcdb_threadsWHEREsubjectLIKE'%关键词%'LIMIT0,10;类似的SQL语句将无法利用Sphinx搜索，即使服务器端已经部署Sphinx也不会对该查询语句有任何优化作用。正确使用Sphinx搜索数据的操作方式主要有三种：1、命令行的search工具：/usr/local/webserver/sphinx/bin/search–ithreadstest2、php的api接口查询：原理是直接用fsockopen连接端口，传递数据取得返回结果。