您好,登录后才能下订单哦!
这篇文章主要讲解了“Nutch怎么使用”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Nutch怎么使用”吧!
Nutch现在已经到了2.2.2版本,而且版本1.x已经更新到了1.8,这里以1.7为例,1.8中的部分命令行工具的API有变,入门时不是很容易。
#安转运行Nutch#
下载安装Nutch
在${NUTCH_HOME}下,mkdir urls
cd urls
touch seed.txt
edit seed.txt ,write :http://nutch.apache.org
edit ${NUTCH_HOME}/conf/regex.urlfilter.txt
replace
'#accept anything else +.
with
+^http://([a-z0-9]*\.)*nutch.apache.org/
爬取网页: bin/nutch crawl urls -dir crawl -depth 3 -topN 5 注意:此命令1.8版本有改变
#安装Solr#
下载安装Solr,我使用的时最新版的4.8
cd ${SOLR_HOME}/example
java -jar start.jar
验证安装:http://localhost:8983/solr/
#Nutch和Solr集成# 这里要注意:文档说了那么多其实只有两件事:
使用${NUTCH_HOME}/conf/schema-solr4.xml 替换掉${SOLR_HOME}/example/solr/collection1/conf/schema.xml ,并将schema-solr4.xml改名为schema.xml
在schema.xml中第351行后面(其实只要添加在types标签中即可)添加:<field name="_version_" type="long" indexed="true" stored="true"/>
到这里集成就完成了。现在只要重新启动solr,并用下面的命令将Nutch爬取的数据索引到solr即可。
在${NUTCH_HOME}下,运行:
bin/nutch solrindex http://127.0.0.1:8983/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*
然后访问:http://localhost:8983/solr/
感谢各位的阅读,以上就是“Nutch怎么使用”的内容了,经过本文的学习后,相信大家对Nutch怎么使用这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。