CDH如何添加solr中文分词

发布时间:2021-12-17 09:18:52 作者:小新
来源:亿速云 阅读:223

小编给大家分享一下CDH如何添加solr中文分词,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

cdh最难找的就是solr\WEB-INF\lib的位置,由于cdh不是我安装的,也没有配置    SOLR_HOME,所以,我找了很久时间。可以赢find命令找。

solr本身对中文分词的处理不是太好,所以中文应用很多时候都需要额外加一个中文分词器对中文进行分词处理,ik-analyzer就是其中一个不错的中文分词器。
一、版本信息
solr版本:4.10.0
需要ik-analyzer版本:IK Analyzer 2012FF_hf1

二、配置步骤
下载压缩解压
我们把IKAnalyzer2012FF_u1.jar拷贝到solr服务的solr\WEB-INF\lib下面。注意:如果是cdh这个路径有变动,我的为:

/opt/cloudera/parcels/CDH-5.4.4-1.cdh6.4.4.pp0.4/lib/solr/webapps/solr/WEB-INF/lib

在高版本的CDH中,位置为:/usr/lib/solr/webapps/solr/WEB-INF/lib

如果不知道jar位置在哪里 ,可以这样搜搜索: find   /   -name  admin.html

注意:不要把jar上传到这里:/var/lib/solr/tomcat-deployment/webapps/solr/WEB-INF/lib

这是tomcat部署的时候的位置,重启后重新从上面两个路径的jar拷贝到/var/lib/solr/tomcat-deployment/webapps/solr/WEB-INF/lib这里,如果你上传到这里,重启solr,jar会消失

我们把IKAnalyzer.cfg.xml、stopword.dic拷贝到需要使用分词器的core的conf下面,和core的schema.xml文件一个目录。
修改core的schema.xml:

  1. <fieldType name="text_ik" class="solr.TextField">   

  2.         <analyzer type="index" isMaxWordLength="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/>  

  3.         <analyzer type="query" isMaxWordLength="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/>  

  4.     </fieldType>


配置测试字段:

  1. <field name="quesContent" type="text_ik" />

三:测试配置
CDH如何添加solr中文分词

以上是“CDH如何添加solr中文分词”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!

推荐阅读:
  1. 离线部署 CDH 5.12.1 及使用 CDH 部署 Ha
  2. 中文分词软件SCWS

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

cdh solr

上一篇:怎么进行Spark和MapReduce的对比

下一篇:python匿名函数怎么创建

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》