←
PDF 369 / 520 There is a pair of ideas that you must understand in order to do inference correctly:
→
English · PDF 369
Original PDF page 369
中文 · PDF 369

要正确地进行推断,你必须理解一对概念:

  • 每条观测数据要么用于探索,要么用于验证,不能两者兼用。
  • 你可以将一条观测数据随意多次用于探索,但只能将其用于一次验证。一旦你将一条观测数据使用了两次,你就从验证转入了探索。

这是必要的,因为要验证一个假设,你必须使用与生成该假设所用数据相互独立的数据。否则你会过于乐观。探索本身完全没有问题,但你绝不应将探索性分析当作验证性分析来出售,因为这从根本上具有误导性。

如果你认真想要进行验证性分析,一种方法是在开始分析之前将数据分成三部分:

  • 60% 的数据放入训练(或探索)集。你可以对这些数据做任何想做的事:将其可视化并拟合大量模型。
  • 20% 放入查询集。你可以用这些数据手动比较模型或可视化结果,但不允许将其用于自动化流程。
  • 20% 留作测试集。你只能使用这些数据一次,用来测试你的最终模型。

这种划分让你可以探索训练数据,偶尔生成候选假设并用查询集进行检验。当你确信自己找到了正确的模型时,可以用测试数据检验一次。

(注意,即使在进行验证性建模时,你仍然需要做 EDA。如果不做任何 EDA,你将对数据中的质量问题一无所知。)