可判定的输出,核心不是“答案对不对”,而是读者交上来的东西能不能被另一个人独立复核。做法是:先明确这道题要检验哪一个动作,再规定交付物形态、判断依据和例外说明。样本少时,你可以用开放题看思路;一旦要批量练、批量改,就必须把输出压成可对照的格式,否则批改成本会吞掉练习收益。
如果练习者只有一两个人,且你本人批改,开放输出更合适。比如让练习者读完一篇讲活动复盘的教程后,写一段“如果由我重做,会改哪一步、依据是什么”。这种题能看出他是否真的理解因果,但代价是每份答案都要重新建立判断标准。
如果练习者超过十人,或批改者不止你一个,就要把输出改成结构化交付物。结构化不等于选择题,而是限定“必须交付哪几样、每样长什么样”。例如同样考活动复盘,要求交出:一句结论、两条证据、一条下次要改的动作、一条本次不适用该结论的边界。四样都齐,才进入评分;缺一样直接退回补充。这样批改者不需要猜练习者想表达什么。
选择依据可以压缩成一句话:批改者能否在不追问作者的情况下判断对错。能,就用开放题;不能,就结构化。
“分析用户画像”不是可判定输出,“写出三条会改变投放素材的画像结论,每条注明它改变哪个素材元素”才是。前者可以写得很热闹却无法验证,后者逼练习者把知识落到动作上。
让练习者标注每条结论的依据来自教程原文哪一段、或来自哪类可观察数据。依据必须能被第二个人找到,而不是“我觉得”。这一步会暴露大量把常识当结论的答案。
这是最容易被忽略的维度。要求练习者在输出末尾写一句“这条结论在什么条件下不成立”。没有例外位置的题目,会训练出只会套模板的人;规模化之后,例外恰恰是主要成本来源。
假设你有一篇讲“私域社群冷启动”的教程,原始练习题是:“请设计一个冷启动方案。”十个人会交出十种无法互相比较的文档。
改成可判定版本后,要求交付四行:
批改时,前两行看是否具体,第三行看指标是否能在周期内被观察到,第四行看边界是否与方案本身相关。四行都过,才给通过。这个结构不保证方案一定有效,但保证方案可被复核、可被比较、可被退回重做。
个别样本成立、规模化后出现例外,通常不是练习者变差了,而是题目默认了一个没有写出来的前提。常见的前提包括:同一批人、同一类渠道、同一预算量级、同一内容供给节奏。一旦其中一个变了,原来可判定的输出就会开始出现“看起来对但用不了”的答案。
处理动作分三步。第一步,收集被退回的答案,按“缺交付物、依据不可查、例外缺失、前提不成立”归类。第二步,如果某一类集中出现,先改题面:把隐含前提写成显式条件,或把题目拆成“标准条件版”和“例外条件版”。第三步,改完之后重新跑一小批,观察退回原因是否转移。如果退回原因从“前提不成立”变成“交付物不齐”,说明题目边界清楚了,接下来才是练执行。
需要提醒的是,退回率下降不能单独证明题目改对了。它也可能是练习者学会了迎合格式,或批改者放松了标准。合理解释至少还有两种:题目变简单了,或评分者疲劳后倾向于给过。要区分,就得保留一批旧题作为对照,或者让另一位批改者独立评同一批答案,看结论是否一致。
涉及判断时机、取舍权衡、跨部门协调的内容,强行做成填空或固定格式,会把最有价值的部分挤掉。这类知识更适合做成“决策记录题”:要求练习者写下当时掌握的信息、考虑过的两个选项、选择其中一个的理由、以及事后回看时哪条信息最关键。它的判定标准不是选得对不对,而是推理链是否完整、是否承认信息不足。
反过来,凡是能落到具体动作、具体交付物、具体观察周期的教程知识,都应该优先转成可判定输出。判断方法很简单:如果两个人拿着同一份答案,会做出同一个下一步动作,这个输出就是可判定的。做不到,就继续压缩题目,直到它能被独立复核为止。