Cited by 0Evaluation and Performance AssessmentPublic Policy and Administration ResearchEnvironmental and Social Impact Assessments

Empfehlungen für Auftraggebende von Evaluationen. Eine Einstiegsbroschüre

Open access
Lorenzen, Hans-Peter·2007

Abstract

Die "Empfehlungen für Auftraggebende von Evaluationen" sind ein Baustein in dem Bemühen der DeGEval um eine nachhaltige Professionalisierung von Evaluation. Damit wendet sich die DeGEval speziell an Organisationen und Einrichtungen der Öffentlichen Verwaltung. Zielgruppe sind diejenigen Personen, die in ihren Organisationen Maßnahmen verantworten, kontrollieren, entwickeln oder durchführen, aber bisher wenig Gelegenheit hatten, sich mit dem Instrument der Evaluation vertraut zu machen und eigene Erfahrungen zu sammeln. Die DeGEval möchte diesen Personenkreis ermutigen, sich des Instruments der Evaluation zu bedienen und es zu nutzen, wenn es darum geht, Rechenschaft abzulegen oder aus bisherigen Abläufen zu lernen.

AI snapshot

Written from the paper’s full text.

TL;DR

This DeGEval introductory brochure gives practical recommendations for commissioners of evaluations in German-speaking public, church, foundation, and association contexts. It covers preparing, scoping, tendering, accompanying, and using evaluations, emphasizing intended use, stakeholder clarification, result-openness, and choosing among external, internal, or self-evaluation.

Key findings

  • The guide structures commissioning into five stages: preparation, framing, external tender and award, accompaniment during implementation, and dissemination/use of results. It advises first visualizing the relevant system of decision-makers, managers, target groups, and their environment.
  • It recommends designing an evaluation from its intended use and timing, gathering questions from all participants, producing terms of reference, checking gender relevance, and considering ex ante, accompanying, and ex post evaluation. Baseline data and monitoring should be prepared early so changes can later be assessed.
  • It distinguishes external, internal, and self-evaluation: self-evaluation tends to have the strongest field knowledge but the weakest methodological competence; external evaluation tends to reverse this and costs more. Larger measures or evaluations preparing political decisions should be external, while institutions should be evaluated regularly every few years, alternating internal and external formats.
  • For procurement, it says external evaluations are services and should be competitively awarded. Tender documents should include subject, deadlines, exclusion criteria, competence requirements, weighted criteria, and a financial corridor; offers should cover evaluability, design, schedule, team allocation, methods, indicators, data, quality assurance, and protection of persons. After selection, unsuccessful bidders are informed and a 14-day objection period precedes contracting. The text also notes DeGEval was founded in 1997, held its 2005 annual meeting in Essen, and published standards in 2001 and further recommendations in 2002 and 2004.

Methods

  • Design: a practice-oriented introductory brochure/guidance document, not an empirical study. It was developed by the DeGEval board after the 2005 Essen annual meeting for leaders and staff in public bodies, public-law corporations, publicly supported institutions, churches, foundations, and associations.
  • Data or sample: none; no empirical sample, dataset, or fieldwork is reported. The text draws on DeGEval standards and earlier DeGEval publications, including the 2001 standards, the journal starting in 2002, and 2004 recommendations on self-evaluation and training.
  • Main analysis: normative synthesis and structured recommendations, presented in a checklist-like sequence across the commissioning process. No statistical or qualitative analysis is reported.

Limitations

  • Stated: the authors say the statements do not claim completeness or applicability to every concrete external evaluation, and that detail is naturally limited in an introductory brochure.
  • Stated: the recommendations were developed for external evaluation, though they may also offer ideas for internal or self-evaluation; evaluation practice varies across fields and countries.
  • Evident from the text: there is no empirical testing, case data, or outcome evidence, and the guidance is normative and tied to the DeGEval/German-speaking context.

Model-written summary. Check it against the paper before relying on it.

Integrity signals

Registry

Crossref · 10.22163/fteval.2007.158

Cites

Statistics

Nothing to recompute.

Claims the paper makes

    • Classified as probably not a substantial claim. 4
    • Probably not a substantial claim: may not pass S4 (based).

      Interpretationreasoning

      Wenn das System geklärt und die Beteiligten ergebnisoffen sind, können Evaluationen Informationen darüber liefern, in welchem Maße die Ziele von Projekten, Programmen und Rechtsvorschriften erreicht oder die Aufgaben einer Institution erfüllt werden.

      “Wenn beide Voraussetzungen -Klärung des Systems und Ergebnisoffenheit der Beteiligten -gegeben sind, können Evaluationen Informationen liefern, in welchem Maße die Ziele von Projekten, Programmen und Rechtsvorschriften erreicht werden oder die Aufgaben von einer Institution erfüllt werden.”
      Quote in the paperNot a substantial claim
    • Probably not a substantial claim: may not pass S4 (based).

      Study design and conductnone given

      Evaluationen einer bestehenden Institution setzen voraus, dass seit Arbeitsaufnahme genug Zeit vergangen ist, so dass Veränderungen beobachtbar sind.

      “Evaluationen einer bestehenden Institution setzen ebenfalls voraus, dass seit Arbeitsaufnahme genug Zeit vergangen ist, so dass Veränderungen beobachtbar sind.”
      Quote in the paperNot a substantial claim
    • Classified as probably not a substantial claim.

      Interpretationreasoning

      Wenn das System geklärt und die Beteiligten ergebnisoffen sind, können Evaluationen Hinweise geben, wie Maßnahmen, Rechtsvorschriften, Aufgabenstellungen und Verfahren von Institutionen verändert oder neu konzipiert werden sollten.

      “Sie können Hinweise geben, wie solche Maßnahmen, Rechtsvorschriften bzw.die Aufgabenstellungen und Verfahren von Institutionen verändert oder neue konzipiert werden sollten.”
      Quote in the paperSubstantial claim
    • Probably not a substantial claim: may not pass S2 (checkable), S4 (based).

      Interpretationnone given

      Evaluationen können ihren Nutzen nur entfalten, wenn sie ergebnisoffen vorbereitet, vergeben, geplant, durchgeführt und begleitet werden.

      “Es bedarf trotz aller unterschiedlichen Perspektiven und Annahmen der Beteiligten eines gemeinsamen Grundverständnisses, dass Evaluationen nur dann ihren Nutzen entfalten können, wenn sie ergebnisoffen vorbereitet, vergeben, geplant, durchgeführt und begleitet werden.”
      Quote in the paperNot a substantial claim
    4 of 4
    • The authors state this as an assumption.

      Bei einer Selbstevaluation sind die Feldkenntnisse in der Regel am größten und die Methodenkompetenz am niedrigsten.

      “Man kann i.d.R. davon ausgehen, dass bei einer Selbstevaluation die Feldkenntnisse am größten, die Methodenkompetenz am niedrigsten ist, weswegen eine Beratung durch Fachleute mit Methodenkompetenz anzuraten ist.”
    • The paper relies on this without support.

      Methodisch kontrollierte Selbstevaluation ist auf fokussierte Fragestellungen und begrenzte Maßnahmen beschränkt.

      “Methodisch kontrollierte Selbstevaluation ist auf fokussierte Fragestellungen und begrenzte Maßnahmen beschränkt.”
    • The paper relies on this without support.

      Bei einer externen Evaluation liegen die Verhältnisse in der Regel genau umgekehrt zu einer Selbstevaluation.

      “Bei einer externen Evaluation liegen die Verhältnisse i.d.R. genau umgekehrt, sie sollte sich aber soweit wie möglich auf internes Controlling und Monitoring, insbesondere die Erfassung von Prozessdaten, stützen können.”
    • The authors state this as an assumption.

      Der Mittelbedarf ist bei externer Vergabe höher als bei interner Evaluation.

      “Man kann davon ausgehen, dass der Mittelbedarf bei externer Vergabe höher liegt als bei interner Evaluation.”
    • The paper relies on this without support.

      Bei der Formulierung von Fragestellungen stellt sich häufig heraus, dass die Zielerreichung nicht einfach festzustellen ist, weil die Ziele nicht präzise genug definiert wurden.

      “Bei der Formulierung der Fragestellungen, die in einem Arbeitsprogramm von der Evaluation behandelt werden sollen, stellt sich häufig heraus, dass die Zielerreichung deshalb nicht einfach festzustellen ist, weil die Ziele in der Beschreibung der Maßnahme, in der Formulierung der Rechtsvorschrift oder in der Aufgabenstellung einer Institution nicht präzise genug definiert worden sind.”
    5 of 5

    Authors
    Lorenzen, H.-P.
    Corresponding author
    Lorenzen, Hans-Peter
    Published
    2007-03
    OpenAlex
    W4230326875
    Cited by
    0
    References
    0
    Type
    report
    Language
    de
    Open access
    Topics
    • Social Sciences › Decision Sciences › Management Science and Operations Research › Evaluation and Performance Assessment
    • Social Sciences › Public Administration › Public Policy and Administration Research
    • Physical Sciences › Environmental Science › Management, Monitoring, Policy and Law › Environmental and Social Impact Assessments
    Keywords
    evaluation, public administration, professionalization of evaluation, evaluation recommendations, accountability

    About these checks

    Registry, retraction, Cites and statistics results are computed, not judged, with one exception: a printed reference that no index lists is read once by a model before it counts as a citation error. Claims are extracted by a model and kept only when their quote appears verbatim in the text; each cited source is then checked, with a model’s help, for whether it says what the claim relies on. Those verdicts can be wrong — read the claim’s quote and the cited source before relying on one.

    Claims read by deepseek-v4.1-flash under definition version 3 (extract-v3) on 2026-10-11.

    Classified by jev-1.13-20260917 (gold-guideline-v0.2) on 2026-10-11.

    Statistics and arithmetic are recomputed, not judged.

    Confidence bands are shown only for fields calibrated on our annotated test set. None is calibrated yet, so no band is shown.

    What counts as a claim ›How we measure confidence ›How we check this ›

    Are you an author, or do you see a problem with this page? Request a review