使用js抓取今日头条的文章

发布时间:2020-07-23 08:04:05 作者:wx58450cfc9cfde
来源:网络 阅读:1528

首先验证头条接口是否支持jsonp,在接口地址的参数中添加callback=call

http://www.toutiao.com/pgc/ma/?page_type=1&count=10&version=2&platform=pc&media_id=52155491628&max_behot_time=0&as=A1A578A48B28B39&cp=584B080BD3899E1&callback=call

访问接口,返回的数据为:call(...)的形式

使用js抓取今日头条的文章

由此判断接口支持jsonp,那么接下来就好办了,可以使用jsonp访问接口,然后从返回数据中提取出所需要的数据。

var time = 0;
var as_param;
var cp_param;
$(function(){
	var param = getParam();
	as_param = param.as;
	cp_param = param.cp;
	getWeare();
});

function getWeare(){
	$.ajax({
		url:"http://www.toutiao.com/pgc/ma/?page_type=1&count=10&version=2&platform=pc&media_id=52155491628&max_behot_time="
		+time+"&as="+as_param+"&cp="+cp_param+"&callback=tt",
		type:'get',
		dataType:'jsonp',
		jsonp:'tt'
	});
}

function tt(data){
	var tarray = [];
	if(data.has_more==1){
		var adata = data.data;
		for(var i = 0; i < adata.length; i++){
			var tmap = {};
			var title = adata[i].title;
			var link = adata[i].source_url;
			tmap['title'] = title;
			tmap['url'] = TT + link;
			tarray.push(tmap);
		}
	}
}

如此,搞定

详细代码请访问微儿博客,可百度搜索微儿博客或者直接点击 www.weare.net.cn

推荐阅读:
  1. 实例:使用puppeteer headless方式抓取JS网
  2. 如何使用python3抓取微信公众号文章,了解一下?

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

接口 ajax 文章

上一篇:solidity智能合约[36]-连续继承与多重继承

下一篇:hadoop伪分布式部署

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》