[【科研杂谈】] 论文中实验的目的是验证论文的主要条件

gl19860312

论文中的实验的目的是验证论文提出的理论或方法的正确性、可行性和有效性。有一个阶段我不太同意把仿真叫做实验，但随着仿真技术的进步，至少它可以成为一种验证的手段。
理论的正确性并非总是要用实验来验证的。那些用公认的定理证明的新定理就不需要验证。
方法可行性的验证相对简单一些，实验只要说明所用的方法解决了问题即可。
方法（特别是算法）有效性的验证在很多论文里做得不好。所谓有效性，应该是比别的方法更快或更简单地解决了问题，或是计算复杂性低，或是计算速度更高，或是占用的内存小。要说明有效性，一是要有比较，不能“老王卖瓜”；二是要有相应的数据。
从这个意义上来说，论文中的实验往往是一种为说明问题而专门设计的实验。实验的设计是非常重要的。要说明某一因素的作用，就要设法将它孤立起来。
我曾连续审了四篇关于构建机器人仿真球队的论文。这四篇论文除了叙述性的内容偏多以外，写得还是不错的。文章的内容涉及个人技巧、决策机制及整体协调，并不重复。而且，球队两次参加了机器人足球世界杯仿真组的比赛，都取得亚军的好成绩。这就是说，在构建球队时代所采取的技术措施还是有成效的。但是，这四篇文章都用参赛对阵的得分来说明技术措施的有效性，这是不合适的。因为，足球赛的成绩只是一种排名，只说明参赛队实力的相对强弱。如果对手的实力太低，即使己方取得冠军，也不能有效地说明自己所采取的措施是正确的。而且，如前所述，一个队能否取得胜利与个人技巧、决策能力、整体协调等多种因素有关，取得较好成绩倒底是哪个因素起了作用往往是说不清楚的。作者在最近的两篇文章中用了相同的比赛结果来说明不相同的技术措施的作用，显然也是没有说服力的。如果对同一对手以采取论文中的措施和不采用这种措施进行两次比赛，则比赛的结果就能较好地说明这种措施的作用。
有不少论文由于各种原因不能用严格的理论证明方法的正确性和有效性，也暂时做不了实验，于是就用仿真的方法来说明。这时应注意的是，尽管文章中只能给出个别的仿真实例，但做仿真时应该尽可能对各种可能发生的情况多做一些实例，因为，用一、两个实例的仿真结果说明的结论很可能被另一个实例推翻。有一篇论文要在相互距离已知的几个点中寻找一条最短的遍历路径，论文的篇幅很长，所用的方法兜了不少圈子，方法倒也对，但没有证明。最后用了一个实例做仿真。我在审稿时写了一个更简单的方法，与论文方法所得的结果一致。这样一来，这篇文章所提出的方法虽然不错，但一点意义也没有了。