当一名体育记者向冰球教练迈克·巴布科克询问一个特定的冰球分析时,巴布科克回应,“我们不知道这是不是真的。”他这么说是什么意思?
这里的分析是柯西统计,这与每支球队投中的球数有关。这只是一个数枪数的问题;所以这一点也不神秘。较高的科西数被认为是更好的。该指标简单而客观;所以巴布科克怎么能质疑这是不是真的呢?
问题不在于统计数据本身;任何精神分析都是为了帮助你做决定。教练是否应该决定使用高科西值的球员而不是低科西值的球员?巴布科克的意思是,事情没有那么简单,我们不知道这个数据在识别谁是最好的球员方面有多好。他反驳了一种过于简单的观念,即我们只需要看看数据,因为它能给我们答案。
你不需要是一个冰球迷,就能想象到有各种各样的因素影响着射门次数,而这些因素并不是球员技术的结果。这取决于他们的对手是谁;这取决于策略;这取决于队伍里还有谁。一个好的教练会考虑所有这些因素;Corsi评分是一个方便的数据;但它并没有告诉你谁是最好的球员,它只是指出了一件特别的事情。
我们不能过度依赖分析这一观察结果是如此明显,除了两件事外,它不值得说:
- 有些人对分析如此狂热,以至于他们认为自己可以捕捉到世界的一切;他们认为他们只需要看看分析数据就能决定和谁比赛。
- 有些人意识到其中的微妙之处,厌倦了数字迷,倾向于忽视分析作为一种判断方式的价值。
在大多数商业情况下,分析是绝对有用的告知判断,绝对无益于取代判断.Babcock是对的,我们不知道特定指标的含义有多“真实”,需要在决策中使用判断。
展望未来
下一个有趣的问题是,除了这些微妙之处,在什么情况下,分析本身会比通过分析得出的人类判断得出更好的决策?对于冰球来说,守门员常用的衡量标准是“平均进球数比”,即平均每场比赛失球数。很容易看出这个指标的局限性;如果球队很差,那么即使是一个优秀的守门员也会有一个很差的进球。然而,体育分析爱好者正在进一步分析,并观察守门员停止或不停止射门的难度。为了简单起见,你可能会决定看看一个守门员做了多少次糟糕的比赛(让一个容易的射门)和多少次好的比赛(阻止一个困难的射门),这就是你所需要知道的决定哪个守门员上场。
这种更高级的分析需要一些关于如何判断一个镜头是容易还是困难的判断。它还忽略了一些相关因素,比如守门员是否已经踢了太多比赛,以至于他们过度疲劳。然而,新层面的分析并不完美,这不是问题所在;问题是它是否好到足以优于人类的判断。在一些商业情况下,比如安排员工,算法往往比人类更好,让人类加入自己的判断只会让事情变得更糟。
文章继续如下
下面是对管理者的启示:
- 记住,这一切都取决于你做了什么决定;在这个关于冰球数据的例子中,我们正在决定使用哪些球员或雇用哪些守门员。问题是我们如何做出决定?
- 正确的方法通常是获得你所能获得的指标,并使用这些指标进行判断。这比崇拜指标好,也比忽视它们好。
- 然而,有时候分析+人类判断会比分析本身更糟糕。随着分析技术的进步,未来我们会发现更多这样的案例。
我们正在进入一个“精通分析”意味着理解判断和数据交集的时代。这是一项很难学的技能。
∼∼∼∼∼
特别感谢我们的实践社区提供这些见解。该社区是一组领先的组织,每月开会讨论现实世界中的分析和基于证据的决策。如果你对更有效的人员分析方法感兴趣,请发邮件给我dcreelman@creelmanresearch.com