怎么使用Solr7对结构化csv文件建立全文索引

发布时间:2021-11-09 18:20:41 作者:柒染
来源:亿速云 阅读:255

这篇文章给大家介绍怎么使用Solr7对结构化csv文件建立全文索引,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

小编将介绍如何使用Solr对csv文件建立全文索引。

1.本次测试准备生成一个1GB左右大小的csv文件,该数据文件共有十个字段,其中有int、double、string、date以及中文文本和英文文本等类型,多一些数据类型方便测试,下面是生成数据的Java代码

https://github.com/fayson/cdhproject/blob/master/generatedata/src/main/java/com/cloudera/solr/GenerateSolrTestData.java

生成的数据一共60W条,大小1.1GB,十个字段分别为number,firstDouble,firstNo,secondDouble,secondNo,jarName,enText,cnText,firstTime,secondTime

怎么使用Solr7对结构化csv文件建立全文索引

建立索引    

在Solr Web页面,选择左侧的【Collections】,然后单击【Add collection】。创建一个Collection

怎么使用Solr7对结构化csv文件建立全文索引

Collection创建成功

怎么使用Solr7对结构化csv文件建立全文索引

将准备好的csv文件导入到Solr中,Solr自带的post.jar提供了这个功能,下面是post.jar的用法

怎么使用Solr7对结构化csv文件建立全文索引

参考help命令,使用下面的命令将csv文件导入到Solr中,并建立全文索引

java -Durl=http://localhost:8983/solr/test0723/update -Dtype=text/csv -Dc=test0723 -jar post.jar /tmp/solr/file/data.csv

怎么使用Solr7对结构化csv文件建立全文索引

csv文件导入成功,下一步在Solr上进行查询验证

进行查询验证    

1.进入query界面

怎么使用Solr7对结构化csv文件建立全文索引

2.根据单个字段查询

怎么使用Solr7对结构化csv文件建立全文索引

怎么使用Solr7对结构化csv文件建立全文索引

怎么使用Solr7对结构化csv文件建立全文索引

3.根据英文文本中的内容查找

怎么使用Solr7对结构化csv文件建立全文索引

4.根据中文文本中的内容进行查找

怎么使用Solr7对结构化csv文件建立全文索引

5.使用字段的组合进行查找

怎么使用Solr7对结构化csv文件建立全文索引

怎么使用Solr7对结构化csv文件建立全文索引

怎么使用Solr7对结构化csv文件建立全文索引

1.与上篇文档中使用的dataimport的方式导入数据建立索引不同,本文档使用Solr自带的post.jar将csv文件导入并创建索引,经过查询测试,该方式能够正常使用。

2.Solr在使用时间格式进行查询时,只能使用UTC格式,Solr只能识别这种格式的时间,例如2018-03-06T02:37:02Z。

3.在使用多条件查询时,可以使用fq,在fq中可以添加多个检索条件,其中范围检索可以使用{}、[]、TO搭配来实现,例如firstTime:[2018-01-01T00:00:00Z TO 2018-01-31T23:59:59Z],表示firstTime在1月1日到1月31日之间的数据。

4.Solr的query页面还有许多参数可以使用,例如sort可以对字段进行排序,start、rows可以定义分页的数量,wt可以指定检索结果的格式等等。

关于怎么使用Solr7对结构化csv文件建立全文索引就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

推荐阅读:
  1. 使用pandas库如何对csv文件进行筛选保存
  2. python如何对csv文件追加写入列

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

csv solr

上一篇:如何使用scrapy+splash+Lua滚动爬取CSDN

下一篇:Django中的unittest应用是什么

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》