python中怎么实现信息增益和信息增益率

这篇文章给大家分享的是有关python中怎么实现信息增益和信息增益率的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

python的五大特点是什么

python的五大特点：1.简单易学，开发程序时，专注的是解决问题,而不是搞明白语言本身。2.面向对象，与其他主要的语言如C++和Java相比, Python以一种非常强大又简单的方式实现面向对象编程。3.可移植性，Python程序无需修改就可以在各种平台上运行。4.解释性，Python语言写的程序不需要编译成二进制代码,可以直接从源代码运行程序。5.开源，Python是 FLOSS(自由/开放源码软件)之一。

一、信息增益与信息增益率

1、信息增益

以某特征划分数据集前后的熵的差值。熵可以表示样本集合的不确定性，熵越大，样本的不确定性就越大。因此可以使用划分前后集合熵的差值来衡量使用当前特征对于样本集合D划分效果的好坏。

信息增益 = entroy(前) - entroy(后)

注意：信息增益表示得知特征X的信息而使得类Y的信息熵减少的程度

2、信息增益率

增益率是用前面的信息增益Gain(D, a)和属性a对应的"固有值"(intrinsic value) [Quinlan , 1993J的比值来共同定义的。

二、信息增益与信息增益率python代码实现

1、信息增益定义计算信息增益的函数：计算g(D|A)

	def g(data, str1, str2):
	    e1 = data.groupby(str1).apply(lambda x: infor(x[str2]))
	    p1 = pd.value_counts(data[str1]) / len(data[str1])
	    # 计算Infor(D|A)
	    e2 = sum(e1 * p1)
    return infor(data[str2]) - e2
	print("学历信息增益：{}".format(g(data, "学历", "类别")))
	# 输出结果为：学历信息增益：0.08300749985576883

2、信息增益率定义计算信息增益率的函数：计算gr(D,A)

	def gr(data, str1, str2):
	    return g(data, str1, str2) / infor(data[str1])


	print("学历信息增益率：", gr(data, "学历", "类别"))
	# 输出结果为:学历信息增益率： 0.05237190142858302

感谢各位的阅读！关于“python中怎么实现信息增益和信息增益率”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！