仅凭“想试试新方法”这一句话，无法判断某个投资方法是否靠谱，也无法推出任何具体的买卖、加减仓或执行动作。历史数据能做的，是把一个规则放到过去的样本里跑一遍，看它在当时是否自洽、是否经得起偏差排查；它不能证明这套规则在未来仍然有效。要判断“靠不靠谱”，至少还缺三类关键信息：这套方法的规则是否被完整、无歧义地写清楚；回测所用的数据是否可得、是否与真实交易条件一致；以及评估时是否排查了过拟合、幸存者偏差、未来函数等常见问题。
回测到底在检验什么
回测的基本逻辑，是把一套明确的规则套用到历史行情或历史财务数据上，观察它在过去会产生什么结果。它检验的是“规则与历史样本是否匹配”，而不是“规则在未来是否成立”。
这里有个容易被忽略的前提：能被回测的方法，必须是可被写成规则的。如果一套方法依赖临场判断、依赖对政策或消息的主观解读，那么它在历史数据上很难被一致地复现，回测结果的可参考程度也会随之下降。换句话说，回测首先检验的是规则的可描述性，其次才是历史表现。
回测结果好看，可能来自哪些原因
历史数据上表现好，存在多种并存的解释，不能直接等同于方法有效：
- 规则本身确实捕捉到了某种历史规律。这是最乐观的解释，但需要排除其他偏差后才谈得上。
- 过拟合。规则被反复调整，直到在特定历史区间上看起来漂亮。核对方法是看规则参数是否过多、是否对样本区间高度敏感、换一段历史区间后结果是否大幅变化。
- 幸存者偏差。样本里只留下了存活到今天的标的，已经退市、被并购或消失的标的被排除在外。核对方法是确认样本构建规则是否包含已消失的标的。
- 未来函数。回测中使用了在当时还不可能获得的信息，比如用了当天收盘后才知道的数据去做当天决策。核对方法是逐条检查每个决策点用到的数据，其披露或形成时点是否早于决策时点。
- 交易成本与流动性被忽略。历史价格上“买得到、卖得掉”，不代表真实条件下也能以同样价格成交。核对方法是确认回测是否计入手续费、滑点，以及成交量约束。
这些解释可能同时存在，也可能互相掩盖。把回测结果好看直接归因于“方法有效”，是把待验证假设当成了结论。
需要核对哪些公开事实
区分上述原因，靠的不是感觉，而是可核对的材料：
- 规则的完整表述。一套方法如果无法被写成无歧义的规则，就无法被一致地回测，也无法被他人复核。
- 数据来源与样本区间。数据来自哪里、覆盖哪些标的、区间如何选取，都会影响结果。样本区间是否被刻意挑选，是判断过拟合的重要线索。
- 样本是否包含已消失的标的。这决定了幸存者偏差是否存在。
- 每个决策点所用信息的可得时点。这决定了是否存在未来函数。
- 成本假设。手续费、滑点、成交约束是否被计入，决定了回测结果与真实交易条件的距离。
- 样本外检验的设置。如果规则是在某段历史上调出来的，那么它在另一段未参与调整的历史上表现如何，比原区间内的表现更有区分力。
这些事实大多需要向方法提供方或数据来源方核对原始说明，而不是从结果数字反推。
结论的适用边界
即便上述核对都通过，历史回测也只能说明“这套规则在特定历史样本、特定成本假设下是自洽的”，不能说明它在未来仍然成立。市场结构、参与者、规则环境都会变化，历史规律可能失效，也可能从未真实存在过。
因此，回测在方法评估中的合理定位是：排除明显不成立的规则、暴露规则对假设的敏感程度，而不是给出“有效”或“无效”的最终判定。任何把回测结果直接等同于未来表现的推断，都超出了历史数据能支持的边界。涉及具体产品的规则、费用与风险揭示，应以产品合同、招募说明书及监管机构披露的原文为准。
常见问题
回测结果好，是不是就说明方法靠谱？
不能。回测结果好存在多种解释，可能是规则捕捉到了历史规律，也可能是过拟合、幸存者偏差、未来函数或成本假设过于宽松造成的。要区分这些原因，需要核对规则表述、样本构建方式、数据可得时点和成本假设，而不是只看结果数字。
为什么换一段历史区间，结果就变了？
这通常说明规则对样本区间高度敏感，是过拟合的常见信号之一。也可能是不同区间的市场结构本身不同，导致原本的规律不再成立。判断属于哪种情况，需要看规则参数是否过多、是否在多个独立区间上都被检验过。
样本外检验和样本内检验有什么区别？
样本内检验用的是规则被调整时所依据的那段历史，样本外检验用的是未参与调整的另一段历史。样本外表现通常比样本内表现更有区分力，因为它不容易被反复调整所美化。但样本外检验同样不能证明未来有效，只是排除了部分过拟合的可能。