Vergleiche

Die Planung einer Messung beinhaltet immer auch die Definition des Massstabes zur Bewertung des untersuchten Gegenstandes. Die Definition des Vergleichsmassstabes bestimmt weitgehend, wie die Untersuchung angegangen werden sollte. Dabei müssen folgende Dimensionen beachtet werden: 

• Zeit
  Die Messung kann vor Aufnahme einer Tätigkeit, am Ende einer Periode oder nach Abschluss einer Tätigkeit durchgeführt werden. Soll die Entwicklung über die Zeit untersucht werden, sind zusätzliche Messungen während der Ausführung einer Tätigkeit nötig. 
• Bezugsgrösse
  Der Ist-Zustand kann mit den Zielen, der Ausgangslage oder mit einer Vergleichsgruppe verglichen werden. 

Basismodelle

Mit folgenden Basismodellen können die Zielerreichung, die Veränderungen bei der Zielgruppe oder der Einfluss einer Dienstleistung oder eines Projekts gemessen werden:  

Wichtig Eine rigorose Wirkungsmessung kann mittels einem Vorher-Nachher Vergleich mit Vergleichsgruppe oder im Rahmen einer randomisierten kontrollierten Studie1 durchgeführt werden. Festgestellte Veränderungen können so eindeutig der Dienstleistung oder dem Projekt zugeschrieben und externe Einflüsse ausgeschlossen werden. Solche Vergleichsmodelle werden in der Praxis zunehmend von institutionellen Geldgebern verlangt. Sie sind aber sehr aufwändig: Es braucht mindestens vier Messungen. Die Auswahl der Vergleichsgruppe und das Ziehen von Stichproben sind keineswegs trivial. Insbesondere kleinere Organisationen werden kaum die Ressourcen haben, rigorose Wirkungsmessungen durchzuführen. Auch grössere Organisationen müssen sich überlegen, wann und wo es für sie Sinn macht. An dieser Stelle wird dafür plädiert, dass auch einfachere Modelle zweckmässig sind. Sie eignen sich beispielsweise für organisationsinternes Lernen. Damit Vorher-Nachher Vergleiche möglich sind, sollte jedoch eine Messung bei der Lancierung einer neuen Dienstleistung beziehungsweise zu Beginn des Projekts (Baselinestudie) eingeplant werden. Damit Soll-Ist Vergleiche gemacht werden können, müssen klare Ziele formuliert sein. Für die kausale Zuordnung (Attribution) der Wirkung zu einer Intervention braucht es rigorose Methoden zur Wirkungsmessung. Zur Plausibilisierung, dass eine Intervention einen Beitrag zur Erreichung übergeordneter Ziele geleistet hat (Contribution), genügen auch einfachere Ansätze. In jedem Fall muss aber klar sein, wie die Wirkungsmessung gemacht wurde und welche Schlüsse sich daraus ableiten lassen. 1Bei einer randomisierten kontrollierten Studie (Randomized Controlled Trial) handelt es sich um eine Untersuchung, bei der man aus einer Grundgesamtheit mit identischen Bedingungen zufällig ein Sample auswählt, bei der man eine Einflussgrösse verändert. In einer kontrollierten Umgebung kann in der Folge der Effekt dieser veränderten Einflussgrösse im Vergleich zur Kontrollgruppe statistisch signifikant bestimmt werden.

Achtung In der Praxis kommt es immer wieder vor, dass lediglich der Zustand bei einer Dienstleistung am Ende einer Periode oder der Endzustand eines Projekts beschrieben wird. Für die Messung der Wirkung reicht eine Beschreibung der Zielgruppe ohne Bezug zu den Zielsetzungen, der Ausgangslage oder zu einer Vergleichsgruppe jedoch nicht aus.

Erweiterte Modelle

Komplexere Modelle mit erhöhter Aussagekraft entstehen durch die Erweiterung und die Kombination von Basismodellen.