手搓宝匣 · 与 AI 对赌
准头
给一段说法和一份已核实的事实,押一个概率:这说法越出事实了吗?同一个问题,TypeSafe 的 Jev 也答了——它的概率是构建时真跑出来的,就摆在同一张卡上跟你对照。算分用 Brier 分数,它同时惩罚「错」和「把话说得太满」。
你和 AI,谁判得更准?
一共 15 道判断题。每道给你一段「说法」和一份「已核实的事实」,你要押一个概率:这份说法有没有越出事实。
同一个问题,AI 也答了——用的是 TypeSafe 的 Jev,一个专门做判断的系统一模型。 它的答案在页面加载时就已经算好了(静态站没有后端,也不该把密钥放进浏览器)。
一句实话:Jev 在这套题上几乎满分,但前提是每道题都给了它一份写清楚的事实。 把这份事实抽掉、只丢给它一段材料,它就看不出问题了——这是实测出来的,不是猜的。它是对照器,不是检测器。
计分方式:Brier 分数 =(你的概率 − 真实结果)²
全程押 50% 得 0.25(等于没判断); 押 90% 却错了要付 0.81,押 60% 错了只付 0.36。它同时罚「错」和「把话说得太满」。