海外慈善
影响力评估是了解社会问题解决方案是否有效的重要手段,但影响力评估只有在合适条件下才是一项好的投资。除此之外,组织必须培育一种定期收集、分析有效数据,并应用于管理项目实施和完善的内部文化。
十个理由
不测量影响力的10个理由可以分成四类:缺乏合适的工具、目前测量不了、缺乏可行性和不值得测量。对于每个理由,我们还提供了影响力评估热衷者可以采纳的替代方案。
1、缺乏合适的工具:绝妙的问题、错误的方法。下面是你在评估某个项目时可能会有的一些绝佳问题:成功或不成功的项目接受方背后的缘由是什么?通过改进我们的运作模式,我们能否做到事半功倍?我们是否聚焦了自己想聚焦的目标群体?我们的利益相关者是否对我们提供的服务感到满意?我们提供的服务是否存在重大的需求?这些需求是否会持续存在——人们是否会要求更多?我们想解决的问题是当下最迫切的吗?
我们还可继续追问。这是主要的利益相关者常常希望得到回答的一些问题。其中一些问题可以借助数据得到解答。
替代方案:为了回答这些问题,数据收集和分析需要更精确地聚焦所提出的问题。了解项目对象的满意度需要反馈数据。改善项目提供的成本效益需要收集地点、产品和服务成本的详细数据。所有这一切都是至关重要的需要收集的项目监测数据,但没有一个需要做影响力评估。
2、目前测量不了:项目设计还未准备就绪。通过变革理论进行思考是规划一个监测或评估战略的第一步。变革理论阐明了项目的各个要素,这些要素会产生怎样的作用,可以预期世界会发生怎样的变化。缺少变革理论,员工可能会对一个项目如何发生作用或为何发生作用持有相互冲突或混乱的看法,这会造成项目执行存在很大变数。
阐明一种清晰的变革理论,对于研究者和捐赠人来说不仅仅是一种学术性的操作。变革理论为数据收集提供了指南,从而为项目学习和完善提供了反馈数据,并为影响力评估中的关键成效跟踪提供了指南。
一种未经检验的变革理论可能包含错误的假定。例如,项目各个要素之间假设的联系有可能站不住脚。假定也有可能在经验上是错的:项目成效可能依赖于完成项目培训子目标的每个人。他们有没有这么做?好的管理数据可能有助于证实这一点。同样,项目可能假定对其服务来说,需求是存在的(如小额信贷),但一个好的需求评估可以证明,存在合理的信贷抉择。
在变革理论的关键假定经受检验之前开展的大型影响力评估,很可能会产生误导,并最终导致相互矛盾的解释。如果该项目被发现不起作用,执行者很可能否定结果,声称这个项目评估没有反映目前的实施情况。
替代方案:证实变革理论最初步骤的有效性是转向测量影响力的关键一步。考虑一下为了改善产前护理和幼儿效果,提供给孕妇有关婴儿发育、健康和营养信息的项目。在了解孕妇是否会实际参加培训,并采纳相关做法之前,就启动影响力评估是毫无意义的。首先确定该项目存在一个基本采纳量,一些直接的行为获得了采纳。在启动对一个提供储蓄账户的项目的影响力评估之前,确定人们在给予机会时是否实际会开储蓄账户,并随之将钱存入该账户。如果不是那样,储蓄账户的设计应当重新审议。
如果变革理论还未充分发展,那么显而易见的步骤是为该项目建立理论,一步步地执行,检验所做的假定,收集检验它们的数据。然后,在着手影响力评估之前,收集有关执行情况的检测数据和采纳情况。该项目是否给到了那些目标对象?那些人是否用到了该产品或服务?他们使用产品或服务的持续时间和密集程度?基于这些信息,该项目如何才能得到改进?
当项目仍待完善,执行方案仍待拟定,评估项目影响力可能还太早。这是一个棘手的局面。我们可以构想一些基本原则,以确定一个项目何时已做好评估的“准备”,如“针对项目的基本需求可以观察到”,或者“利益相关者提供了积极的反馈”。接下来的挑战是,将这些原则应用于特定的情境。在此,明智者无疑会不赞同,因为这些原则无法清晰地解决给定情境的具体步骤。最明智的办法是耐心等待,等待该项目拟定执行细节。如果女性没有接受培训,教师没有按照新课程授课,那么就等待、观察,试试新的策略或激励手段,与此同时,收集有效的检测数据,以为课题的进展提供相关咨询。
3、目前测量不了:项目执行方案还未准备好。即使一个项目的理论得到了充分界定,基本假设得到了检验,执行方案可能还悬而未决。当发现一个执行力糟糕的项目没有产生什么影响力,评估就难以进行了。这一发现是糟糕执行力、选错了合作伙伴,还是外部环境的结果?不管怎样,当执行力是糟糕的,影响力评估是一个糟糕的选择。
回到先前的例子,孕妇培训项目可能确定母亲需要这些服务,于是展示了项目得到检验的“理想”环境下的执行情况,并完成了培训。但如果项目所展示的培训没有按计划执行结果会怎样呢?并非所有的目前都完成了培训结果又会怎样呢?在转向影响力评估之前,需要有基本的执行状况信息,这样利益相关者才会感到满意:项目的设计与项目的执行大致上是一致的。不然的话,评估资源就纯属浪费。
替代方案:收集有效的检测数据,并运用它来加强执行力。评估者可以与项目负责人一起改善执行情况,也可以确定某个组织并非完全适合做影响力评估。
但如果现实社会说了算,政治(或出资方)要你现在就做评估,要么就永远不要做,该怎么办呢?如果项目还未准备好,再次仔细考虑一下,影响力评估是否正确的步骤。在实际执行的情况下,该项评估是否有助于回答以理论为基础的问题?一个让项目具有创新或争议的评估是否更可能为利益相关者所接受?下面讨论的技术问题是否得到解决的,你是否可能设立一个可靠的对照组?如果所有这些问题,你的回答是否定的,那么影响力评估就不是合适的步骤。但如果你对所有问题的回答是肯定的,对一个还未完全准备好的项目的评估,仍可能给予重要和及时的决策相关信息,尤其当评估者与决策者在整个评估过程中密切合作的话,情况更是如此。
原文出处:https://ssir.org/articles/entry/ten_reasons_not_to_measure_impact_and_what_to_do_instead