4、目前测量不了：为时已晚。影响力测量的想法往往来自某个项目业已实施后，对进一步发展缺少计划。在这种情况下，测量影响力可能为时已晚。一旦一个项目业已实施，随意指派个人、家户或社区进行处理或控制，为时已晚。设立一个非随机的对照组也许是可行的，但往往难以实施，而且成本高昂。这个对照组的实际可比性可能成问题，因而进行这种评估是缺乏说服力的。

　　替代方案：为未来的发展做好规划。该项目是否会扩展到其他地方？如果真是如此，考虑一下测量影响力是否可行。如果该项目通过组织学习和完善发生了重大变化，那么最好先确定时间，然后再评估影响力。

　　5、缺乏可行性：资源太有限。资源的局限可能会以两种方式扼杀影响力评估的潜力：项目规模可能太小，或者资源可能太稀缺，难以做高质量的评估。

　　如果一个项目比较小，显然缺乏足够的数据来测量影响力，除非影响力巨大。结论模棱两可的影响力评估比什么都不做还要糟糕。大笔钱花在了解绝对无关紧要的事上，而那些钱实际上可以用来帮助更多的人。

　　同样，如果没有足够的资金来做一个好的评估，可以考虑干脆不做。你可能被迫选择一个很小的样本，砍掉许多你想测量的内容，或者冒着草草实施评估协议的风险。

　　替代方案：如果规模有限，切勿硬要回答这种影响力问题。可以考虑一下其他选项。首先，你想研究的问题可能大半已了解。其他评估对此可以说些什么呢？这些研究实施的背景有多大的适用性，干预的相似程度如何？研究一下文献，看看是否有什么文献认为你的做法可能是有效的。如果没有别的评估可以提供有益的洞见，那就跟踪实施过程，获取常规反馈信息，并收集相关的管理数据。

　　如果资金有限，考虑一下驱动你评估成本的动机。数据（尤其是家庭调查）是评估的关键成本动因。一个随机试验的随机部分几乎是不花钱的。你能否利用最便宜的数据（如行政管理数据）回答关键的影响力问题？

　　如果这种替代方案行不通或不能令人满意，那么集中跟踪执行数据，或收集其他可利用的管理数据。当然，作为一种替代性选择，你可以筹集更多的资金。如果有关你的问题的知识空白足够大，那么资助机构也可能对知晓答案深感兴趣。

　　6、缺乏可行性：间接效应难以识别，然而对变革理论来说至关重要。许多项目包含对变革理论来说至关重要的间接效应。例如，耕作信息干预传授给一些农民新技术，希望他们与其邻居及扩大家庭分享这种信息。健康干预保护个人不患传染病，并期望与患者有联系的人也能获得帮助。

　　在这种情况下，应该提出如下的问题：人们是否有理由相信间接效应足够重要，如果正是这样，那么忽视它们可能会产生一个有着深层缺陷的研究。

　　替代方案：测量间接效应可能是一个好的影响力评估的特征。当然，如果间接效应遭到忽视，那么这些问题的存在可能会导致偏差，从而得出错误的结论。

　　在考虑间接效应时，第一个策略是回顾现有的研究和理论，以预测这些问题的重要程度。如果这些问题举足轻重，因而对测量是重要的，那么可以采取如下两个步骤：第一，间接效应可以包含在实验设计中。第二，数据可以按照间接效应进行收集。询问参与者他们与谁说话，并测量其社会网络，这样可以估计间接效应路径。然而，如果间接效应无法精确估计，且间接效应可能是比较大的，那么影响力评估就不是一个好的选择。如果真正的影响力为间接效应所掩盖，做影响力评估将会是浪费资源。

　　7、缺乏可行性：项目环境杂乱无序。有些场合不适宜做影响力评估。例如，许多救灾场合可能是难以评估的，因为项目执行得适应不断演变的情形持续地变更。维系严格的实验协议可能是昂贵的。即使理论上不昂贵，这种协议在一个急剧变迁环境中是不可能遵循的，从而可能妨碍了对那些最需要者的援助。

　　替代方案：跟踪执行活动，并收集其他可以用来强化项目的管理数据。还得考虑是否存在可以产生有益学习的运作问题。运作实验可以帮助完善执行力。是否会发送文本信息，提醒某人做某些影响短期行为的事情？这种文本信息的发送频度该如何设定，在一天的什么时间，应该确切地说些什么？通过现金或移动支付划拨的资金对于将资金给到灾民是否更有效？整笔划拨与分批划拨是如何影响短期投资选择的？这种短期运作问题可能得接受评估的检验。

　　8、缺乏可行性：执行力发生于一个太高的层次。考虑一下金融或贸易政策。这类改革通常发生于整个国家层面。对国家层面的政策作随机处理是不可行的、荒谬的。在较低层面——如县、市——实施的政策可能对于随机检验是有效的，如果有足够的城市数量，溢出效应不是一个大问题。同样，倡导活动常常针对高层面（国家、省或地区），可能不太适合做影响力评估。

　　替代方案：一种清晰的有目的的政策变动理论是至关重要的。随后跟踪政策执行、反馈，以及有关这些变动是否如预期的那样发生的管理数据。

　　9、不值得测量：我们业已知晓答案。在某些情况下，有关一个项目是否起作用的答案，可能已从别的研究中知晓。在这种情况下，从影响力评估中了解的东西会很少。但有时捐助机构或董事会会推动这项多余的工作，以评审其投资。而组织可能无法确定现有的证据是否充分，导致他们投入多余的影响力评估。

　　替代方案：拒绝影响力评估的要求，寻找有力的论据。有两个主要条件对于评估现有研究适用性是关键的。首先，评估项目背后的理论必须与你的项目是相似的——换句话说，该项目依赖于同样的个人的、生物的或社会的机制。其次，对该项目至关紧要的情境特征应当是比较清晰的，并与你的工作情境相似。

　　10、不值得测量：无法获得普遍知识。影响力评估应当有助于确定什么东西起作用的原因，而不仅仅是它是否起作用。如果它们无法就“为什么”问题提供概括性知识——换句话说，如果它们仅仅对执行机构有用，或者仅仅对特定的执行的话，影响力评估就不应该进行。这一规则适用于没有规模化可能性的项目，或许因为该项目是稀有的，不可能被复制或规模化。如果评估只有是一次性的使用，那么它们通常是不值得做的。

　　替代方案：如果一个项目不可能再次运作，或者没有什么规模化或复制的可能性，那么最佳的做法是测量执行情况，以确信该项目是按预期目的运作的。如果需要有关“为什么”的某些概念，一种清晰的项目理论和好的执行数据也有助于阐明某个现象起作用的原因。但在这种情况下，花钱测量影响力是用错了地方。（摩诘译）

　　相关链接：【译文】不测量影响力的十个理由（上）

　　原文出处：https://ssir.org/articles/entry/ten_reasons_not_to_measure_impact_and_what_to_do_instead