SCWS中怎么添加自定义词典

发布时间:2021-07-29 16:41:47 作者:Leah
来源:亿速云 阅读:123

本篇文章为大家展示了SCWS中怎么添加自定义词典,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

require_once __DIR__.'/func/my_curl_function.php';
require_once __DIR__.'/func/simple_html_dom.php';
$url='http://www.xunsearch.com/scws/demo/get_tfidf.php';
$header=array(
    "Referer:http://www.xunsearch.com/scws/demo/get_tfidf.php",
"Cookie:PHPSESSID=1fuk5j3ckb7n55s5j4cltk2sd3"
);
$f= fopen('tfidf.txt','r');
$i=0;
$html=new simple_html_dom();
while (!feof($f))
{
sleep(1);
  $contents = array();
    $contents = trim(fgets($f));
   if($contents=="")continue;
         //echo $contents;
    $data['data']=urlencode(trim($contents));
    $returndata=my_curl_post($url,$data,$header);
    //var_dump($returndata);
    //正则匹配出TF IDF
preg_match('/WORD=.*? TF=(.*?) IDF=(.*?)<br \/>/',$returndata,$ret);
$tf=$ret[1];
$idf=$ret[2];
echo "\n";
echo $contents."\t".$tf."\t".$idf."\tn\r\n";
//$html->load($returndata);
//$ps=$html->find('p');
//var_dump($ret);
file_put_contents("tfidf.out",$contents."\t".$tf."\t".$idf."\tn\r\n",FILE_APPEND);
}
fclose($f);

生成好自己的字典后就可以添加了

其实只要添加$so->add_dict('路径',词典);即可.

function scws_text($string)
{
$so = scws_new();
$so->set_charset('utf8');
$so->set_ignore(true);
$so->add_dict('/usr/local/scws/etc/dict.xdb',SCWS_XDICT_XDB);
$so->add_dict('/usr/local/scws/etc/dict.utf8.xdb',SCWS_XDICT_XDB);
$so->add_dict('/usr/local/scws/etc/mydict.txt',SCWS_XDICT_TXT);
$so->send_text($string);
$text ="";
while ($tmp = $so->get_result())
{
foreach($tmp as $key=>$value){
  //print_r($tmp);
 //$tmp .= $tmp;
$text .= $value['word']." ";
}
}
//print_r($text);
$so->close();
return $text;
}

上述内容就是SCWS中怎么添加自定义词典,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注亿速云行业资讯频道。

推荐阅读:
  1. 如何把词库中没有的词语加进扩展词典中?
  2. 中文分词软件SCWS

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

scws

上一篇:php中怎么利用uasort()自定义排序 多维数组

下一篇:nagios中如何自定义监控

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》