您当前的位置: 首页 > 网站编程 > PHP教程 > php+mysql简单实现中文分词全文索引

php+mysql简单实现中文分词全文索引

作者:guanchaofeng 来源:不详 发布时间: 2008-10-04 21:55 点击:
相信很多人都研究过MYSQL的中文全文索引问题,目前MYSQL不支持中文全文索引,无奈!网上找了N多关于PHP+MYSQL中文全文索引的文章都没有一个好用的,对于一般的菜鸟根本不知道怎么使用,PHP中文分词有DDEDE的,DEDE的词库不是很强大,还算可以用吧!还有一个

php+mysql简单实现中文分词全文索引

  相信很多人都研究过MYSQL的中文全文索引问题,目前MYSQL不支持中文全文索引,无奈!网上找了N多关于PHP+MYSQL中文全文索引的文章都没有一个好用的,对于一般的菜鸟根本不知道怎么使用,PHP中文分词有DDEDE的,DEDE的词库不是很强大,还算可以用吧!还有一个是《SCWS - 简易中文分词系统》这个目前对于一般菜鸟根本不知道怎么用,虽然有人编译了Windows版的,但安装还是挺麻烦的,我尚未测试过!

  废话不多说了,首先去DEDE下载分词算法函数和词库;下载地址:http://www.dedecms.com/html/chanpinxiazai/20061229/3.html,里面有详细的使用说明,我在这里举一个使用的例子:
  MYSQL表名:music
  字段:title、tag
<?php
require("lib_splitword_full.php");
$str = "这里是你要分词的内容,一般不要超过1024KB会好一点,否则会很慢!";
$sp = new SplitWord();//实例化
$dd = explode(" ",$sp->SplitRMM($str));
$i=0;
foreach ($dd as $key=>$var) {
        if (strlen($var)>2)//UTF8编码的请设置为3,因为UTF8编码的中文一般为3个字节以上,过滤单个字不保存!
        {
               $str.=base64_encode($var)." ";//由于MYSQL不支持中文全文索引,所以在分词中我们必须把词转换成字母或者数字,这里我选择了base64编码
                                         //当然大家还可以把中文转成区码,但我测试过区码的方法,感觉很一般,所以在这样我推荐大家使用base64
               $i++;
        }
        if ($i>=50) break;//这里是设置你要存储多少个词组,如果是文章可能会有N多词组,你可以设置大一点,但如果你对标题分词的话,50个已经足够了!
//这样运行未编码得出来的结果:这里 分词 内容 一般 不要 超过 1024KB 一点 否则
//base64编码后的结果:1eLA7w== t9a0yg== xNrI3Q== 0ruw4w== srvSqg== s6y5/Q== MTAyNEtC 0ru14w== t/HU8g==
}
?>


  这样我们就可以把分好词而且转换成编码的分词存进tag字段了,当然tag字段必须设置成全文索引"full text"而且数据表类型必须为MyISAM。tag字段数据类型为CHAR和VARCHAR、text,有关如何创建MYSQL全文索引,大家可以搜索一下《mysql创建索引》遍地开花,到处都是!

  下面的例子是根据tag字段的内容进行全文索引查询:
<?php
include("Mysql.class.php");
$rs = $DB->get_one("select title,tag from music where id=$id");//根据ID读取title和tag字段内容
$title = $rs['title'];
$sql = $DB->query("select title,MATCH(tag) AGAINST('".trim($rs['tag'])."' IN BOOLEAN MODE) AS score from music where MATCH(tag) AGAINST('".trim($rs['tag'])."' IN BOOLEAN MODE) ORDER BY score DESC limit 21");//这里是查询20条相似的内容,而且按相似的排序,21是因为同一条记录都会匹配出来!
while ($rs = $DB->fetch_array($sql))
{
     if ($rs['title']!=$title)
        {
        echo $rs['title']."<br>";
        }
}
$DB->close();
?>
分享到:
本文"php+mysql简单实现中文分词全文索引"由远航站长收集整理而来,仅供大家学习与参考使用。更多网站制作教程尽在远航站长站。
顶一下
(0)
0%
踩一下
(0)
0%
[点击 次] [返回上一页] [打印]
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 密码: 验证码:
关于本站 - 联系我们 - 网站声明 - 友情连接- 网站地图 - 站点地图 - 返回顶部
Copyright © 2007-2013 www.yhzhan.com(远航站长). All Rights Reserved .
远航站长:为中小站长提供最佳的学习与交流平台,提供网页制作与网站编程等各类网站制作教程.
官方QQ:445490277 网站群:26680406 网站备案号:豫ICP备07500620号-4