时间:2023-01-19 | 标签: | 作者:Q8 | 来源:网络
小提示:您能找到这篇{威尔逊得分:样本量过少,如何科学衡量喜好程}绝对不是偶然,我们能帮您找到潜在客户,解决您的困扰。如果您对本页介绍的威尔逊得分:样本量过少,如何科学衡量喜好程内容感兴趣,有相关需求意向欢迎拨打我们的服务热线,或留言咨询,我们将第一时间联系您! |
“分享一个常见的场景,也是经常困扰大家的问题。” 先来一个场景:假设平台售卖两款手机A和B。A手机有800人喜欢,200人不喜欢;B手机有9人喜欢,2人不喜欢。那么,用户更喜欢哪款手机? 相信这个场景,各位朋友在日常生活中、在工作中都遇到过。你们平时是如何做判断呢?希望通过今天的文章,能给大家一个新的视角、也更加科学的方案。 一、常见的衡量方法我想,大家的第一反应应该是按照比率进行衡量吧?因此, A手机喜好率=800(800+200)=80% B手机喜好率=9(9+2)=82%80%<82% 因此用户更喜欢B手机。 这样对吗? 看起来没毛病。毕竟喜欢率越高,代表用户更喜欢嘛!但是,相信朋友也看出了这个例子的端倪:B手机的总共的样本量才11个,虽然喜欢率高,但是样本量这么低,随便一个数据变化都会对结果产生巨大的影响。 因此,按照这种比率的方法,算出的喜欢率,“靠谱”吗?用统计学的语言,置信吗? 二、威尔逊得分上面我们觉得按照简单的喜欢率来计算,有点难衡量。但是,如果不按照喜欢率来比较,还能如何计算呢?这就是我们今天的主题了:威尔逊得分。 1. 公式定义先看看具体的威尔逊得分计算公式: u表示正例数(喜欢),v表示负例数(不喜欢),n表示实例总数(总样本数),p表示喜欢率,z是正态分布的分位数(参数),S表示最终的威尔逊得分。得分越高,代表越喜欢的程度、喜欢的概率越大。 通常,当置信度95%的情况下,z取1.96(近似2)即可。其他常见置信水平与z取值的对应关系如下: 关于置信区间的概念,可以参考文章《区间估计的置信区间概念及方法》。 2. 案例验证下面,我们根据上面的公式,计算一下我们开头案例的A手机和B手机的威尔逊得分情况。 对于A手机,n=1000,p=0.8,按照95%的置信度,取z≈2,代入威尔逊得分公式中,求得S(A)=0.77 对于B手机,n=11,p=0.82,按照95%的置信度,取z≈2,代入威尔逊得分公式中,求得S(B)=0.52 因此,0.77>0.52,A手机的威尔逊得分高于B手机,按照该算法,我们有结论:在置信度95%的情况下,虽然A手机的喜欢率不如B手机,但是有理由相信用户对A手机其实是更加喜欢的。 3. 相关应用其实该得分算法的应用还是比较多的。 除了上文中提出的例子外,该得分算法经常应用于各个网站的排序上。比如知乎的搜索排序(我看网上有说知乎是用的威尔逊得分进行的。这里我也没法验证,如果有知乎的朋友可以留言验证一下。关于搜索算法可以参考文章《搜索系统的基础知识以及应用》): 可以看出,知乎的搜索结果排序中,并不是完全基于赞同数量进行的倒叙排列。如果完全赞同数多的回答置顶,那么新的高质量回答,就永远没有出头之日了,对于内容生态的维护一定是有很大问题的。 当然,哪怕是用了威尔逊得分,真实实践中,也会在这个基础上增加更多维度的打分,咱们这里就是以此举例,说明威尔逊得分的应用场景,大家清楚就好。 如果只是想把威尔逊得分作为工具,那么掌握到这里、知道了公式该如何使用、如何计算、应用场景是啥,就足够了。但如果想深入理解一下公式的统计学含义以及推导逻辑,可以参考下面一节。 三、统计原理与逻辑下面,我们一起看看这个威尔逊公式是怎么得到的,以及背后的统计学原理是啥。 1. 原理概述首先,威尔逊得分只是威尔逊区间的一个变形,取了威尔逊区间的下限值作为威尔逊得分。 那什么是威尔逊区间呢? 本质上,威尔逊区间其实就是用户喜欢率的一个区间估计(关于区间估计可参考历史文章《区间估计的基础介绍》)。但是该区间估计考虑了样本过小时候的情况,根据样本量对区间估计进行了修正,使得该区间估计能够较好的衡量不同样本量情况。 说白了,我们用样本计算的用户喜欢率,本质上只是对用户真正的喜欢率的一个点估计而已,样本越少,可信度越低;样投央视一套广告1个月价目本数越多,根据中心极限定理,点估计越接近真实值。如果样本数都很多,那么我们直接计算手机A和B的喜欢率,基本就能代表真实情况了,是可以比较的。但是当样本数不够,就面临了上文中的问题。威尔逊,就是1920年代提出了这个区间估计的公式,用以解决小样本的准确性问题。 由于提出的公式是区间估计公式,所以本来是一个一个的区间。比如假设A手机的喜欢率95%置信区间估计是[0.77,0.83],B手机喜欢率95%的置信区间估计是[0.52,1]。如何对比两个区间呢?威尔逊得分就是取了不同区间的下限进行比较,因此哪个下限高,代表概率更高。 2. 公式推导这里的公式推导其实还是有点复杂的,我不一一展开了,放一下网上的推导步骤截图,有兴趣的朋友可以自行探索一下啊! 3. 性质特性最后我们看看这个公式的一些性质吧。
4. 变形扩展另外,我们这里都是二项分布。如果是评分等级问题:如五星评价体系,或者百分评价体系,该怎么办呢? 将威尔逊得分的公式由伯努利分布修改为正态分布,带入相关参数即可。 注意:均值和方差均是归一化之后的数值。 关于威尔逊得分,我们就分享这些,希望对大家今后的数据工作能有所帮助。以后再衡量哪个更好,可以有更专业的算法模型了! #专栏作家#NK冬至,公众号:首席数据科学家,专栏作家。在金融领域、电商领域有丰富数据及产品经验。擅长数据分析、数据产品等相关内容。 本文于。,。 ,基于CC0协议。 |
上一篇:数据可视化10大案例分析
下一篇:医学数据科研——数据自定义导出
小提示:您应该对本页介绍的“威尔逊得分:样本量过少,如何科学衡量喜好程”相关内容感兴趣,若您有相关需求欢迎拨打我们的服务热线或留言咨询,我们尽快与您联系沟通威尔逊得分:样本量过少,如何科学衡量喜好程的相关事宜。
关键词:2年, 初级, 威尔逊得分,