Bei der Wirkungsevaluierung geht es nicht nur darum, zu beurteilen, ob ein Programm funktioniert hat oder nicht, sondern sie soll auch Erkenntnisse und Empfehlungen zur Verbesserung des Programms liefern. Man müsste zum Beispiel wissen, ob die Wirkung des Programms durch die Kombination oder Ergänzung mit anderen Maßnahmen verbessert werden kann. Die Analyse, inwieweit die Wirkungen von Kontext- und Umsetzungsfaktoren abhängen, kann mit Hilfe von Regressionsmethoden versucht werden. Dies kann zwar suggestive Hinweise liefern, doch sind solche Ansätze dem Risiko der Selektionsverzerrung ausgesetzt. Im Gegensatz dazu sind kontrollierte Studien mit mehreren Programmvarianten, die auch als Behandlungsarme bezeichnet werden, der ideale Ansatz, um zu erfahren, wie Entwicklungsprogramme verbessert werden können. So möchte man beispielsweise bei einem Bildungsprogramm, bei dem neue Schulbücher geliefert werden, wissen, ob eine zusätzliche pädagogische Ausbildung der Lehrer erforderlich ist oder ob die Bücher allein ausreichen. In einem solchen Umfeld werden die Schulen in der ersten
Die Schulen im ersten Behandlungsarm (TA1) würden nur Bücher erhalten, während die Schulen im zweiten Behandlungsarm (TA2) eine Kombination aus Büchern und zusätzlicher pädagogischer Lehrerfortbildung erhalten würden. Darüber hinaus verbleibt eine Kontrollgruppe, um die Auswirkungen von Büchern und Fortbildung im Vergleich zum Fehlen jeglicher Intervention zu schätzen - die Kontrollgruppe könnte sogar weggelassen werden, wenn man nur an den unterschiedlichen Auswirkungen der zusätzlichen Fortbildung interessiert wäre. In jedem Fall muss die Zuteilung der Schulen zu den Behandlungsgruppen auf einem Randomisierungsprotokoll beruhen, um Selektionsverzerrungen zu vermeiden.
Treatment-Arms-Designs können auch verwendet werden, um die Auswirkungen verschiedener Intensitäten einer bestimmten Maßnahme. So könnten beispielsweise Lehrerschulungen entweder einmal oder zweimal im Jahr durchgeführt werden. Der marginale Unterschied im Ergebnis könnte die Durchführungsstelle darüber informieren, ob sich die Investition in eine zweite jährliche Schulung im Hinblick auf die Verbesserung der Lernergebnisse lohnt. Die detaillierten Informationen, die die Analyse der Behandlungsarme liefert, können zur Beantwortung vielfältiger Fragen beitragen, die für die Gestaltung der Politik und die Entscheidungsfindung von Bedeutung sind. Die Einbettung von Behandlungsarmen in die Wirkungsevaluation kann zeigen, ob die Programmkomponenten Substitute oder Ergänzungen sind, oder sie kann Hinweise geben für Kosten-Wirksamkeits-Analyse.