个常识？」
一名欧洲学者试探性地说。
「对，但不完全。」
江倾笑著点头。
「关键的是，这个推理默认了我没带伞就等于我淋雨了。但事实上，我没带伞，我可以躲雨，可以打车，可以借伞。所以没带伞和感冒之间，并没有必然的因果联系。」
说完，他停顿了一会儿，让这个简单的例子沉淀一下。
「人类的推理，建立在庞大的常识库和现实经验之上。而目前几乎所有大模型的推理测试，都是在封闭、干净、预设好的环境中进行的。」
他看向山姆·奥特曼。
「就像在无菌实验室里测试药物的疗效，但真实的人体环境要复杂得多。」
山姆·奥特曼皱起眉，刚想说什么，江倾已经继续说下去。
「所以，要比较推理能力，我们可能需要一些————更贴近现实的测试。」
他从西装内袋里掏出手机，低头快速操作了几下。
会场前方的大屏幕画面一变，切换到了一个简洁的界面。
上面显示著几行字：
实时开放性推理测试场景：厨房初始条件：灶台上炖著一锅汤，小火。冰箱里有鸡蛋、西红柿、青菜。厨房垃圾桶是满的。窗外开始下雨，你的手机电量还剩15%。
问题：接下来一小时，你可能会遇到哪些问题？需要做哪些准备？请按优先级排序。
全场所有人全都看向屏幕，却没人去细想，江倾是怎么通过手机直接控制大屏幕的。
这个问题看起来简单，却包含了时间、资源、环境变化、风险预估等多个维度。
「这是万象实时生成的测试题。」
江倾解释道，他晃了晃手机。
「模型没有预先见过这道题。现在，我们可以请两位选手现场试一试。」
他看向山姆，笑容温和。
「山姆，你们的新版本应该已经内部部署了吧？要不要联机，让两个模型现场做个对比测试？实时生成答案，现场评判。」
这话一出，全场哗然。
现场测试？
还是开放性推理？
山姆·奥特曼的脸色立马变了。
他张了张嘴，却说不出话。
这种完全即兴，多因素交织的现实场景推理，根本不是标准测试集里的内容。
模型很可能表现得不稳定。
「当然，这只是个提议。」
本章未完，请点击下一页继续阅读！