Wie treffen wir gute Entscheidungen, insbesondere in Situationen mit hoher Ungewissheit und Risiken? Auf diese Frage stösst man unweigerlich, wenn man sich mit der Evaluation eines grösseren IT-Systems wie zum Beispiel eine ERP-System beschäftigt. In Situationen wie diesen sind Heuristiken wichtig. Sie liefert robustere Entscheidungsgrundlagen als die meist angewandte Nutzwertanalyse und reduziert die Risiken im Projekt.
ERP-Evaluation mit der Nutzwertanalyse
Als ich 2005 meine erste Evaluation eines ERP-Systems durchführte, haben wir die Entscheidungsgrundlage klassisch mit der Nutzwertanalyse erarbeitet. Fünf ERP-Systeme standen zur Auswahl. 25 Fachleute von vier Standorten bewerteten Offerten, Pflichtenheft, Anbieterworkshops, Projektteam, Roadmap, Referenzen und Webauftritt. Wir versuchten der Datenmenge mit Excel Herr zu werden und stellten das Ergebnis grafisch in verschiedenen Diagrammen dar.
Nutzwertanalyse: Zunächst werden Kriterien definiert, mit denen die Optionen bewertet werden sollen (z. B. Benutzerfreundlichkeit, Preis). Als nächstes werden die Kriterien gewichtet. Anschliessend bewerten Fachleute jede Option anhand der definierten Kriterien auf einer Skala von z. B. eins (ungenügend) bis zehn (perfekt). Wenn man für jedes Kriterium die Gewichtung mit der Bewertung multipliziert und diese Produkte addiert, erhält man für jede Option eine Punktzahl. Die Optionen werden anhand dieser Gesamtbewertungen verglichen. Dieser Vergleich dient als Entscheidungsgrundlage.
Die grösste Schwierigkeit war, dass wir von den ERP-Anbietern für viele Kriterien keine objektiven Angaben erhielten. Darum mussten wir Annahmen treffen und Schätzungen vornehmen:
- Welche Risiken und wie viel Reserven hat der Anbieter einkalkuliert?
- Wie gut kann er auf unsere spezifischen Anforderungen eingehen?
- Wie gut funktioniert der Support?
- Mit welchen Leistung müssen wir bei Releasewechseln rechnen? usw.
Des Weiteren war es schwierig, eine sinnvolle Gewichtung der Kriterien vorzunehmen. Gleichzeitig beeinflussten kleine Änderungen in der Gewichtung das Gesamtergebnis stark.
Am schwierigsten wo jedoch, dass die Analyse lediglich eine Momentaufnahme darstellte. Während der ERP-Evaluation und des Vorprojekts schufen wir laufend neue Erkenntnisse. Diese Änderungen der Schätzwerte liessen sich in der Nutzwertanalyse nur schwer berücksichtigen.
Schliesslich wollte die Geschäftsleitung wissen, ob die Differenzen zwischen den Punktzahlen in der Bewertung dem Eindruck entsprachen, den wir in der Evaluation erhalten hatten und ob die Preisdifferenzen gerechtfertigt seien. Eine kaum zu beantwortenden Frage. Denn die Skala wird in der Nutzwertanalyse von realen Werte entkoppelt.
Die Nutzwertanalyse ist in Situationen mit hoher Ungewissheit ungeeignet
So gehen viele Projektteams vor, wenn sie aus verschiedenen Möglichkeiten eine Auswahl treffen müssen. Es entspricht dem, was die meisten Autoren von Lehrbüchern zu Entscheidungsfindung empfehlen. Doch das Verfahren ist in Situationen, in der die Parameter unbekannt sind, höchst unbefriedigend. Es ist eine mathematisches Modell, das jedoch nicht viel mit dem zu tun hat, wie wir in der Praxis gute Entscheidungen treffen.
Wir denken, dass wir für die Beantwortung von komplexen Fragestellungen komplexe Lösungen brauchen. Liefert eine Entscheidungsgrundlage keine gute Entscheidung, machen wir das Lösungsverfahren komplexer. Wir bauen zusätzliche Kriterien ein. Unsere Hoffnung ist, dass die Sicherheit steigt, wenn wir mehr Informationen sammeln. Mehr hilft mehr. Doch die Komplexität der Lösung ist Teil des Problems.
Die Nutzwertanalyse versucht aufgrund Annahmen und Schätzungen, die auf historischen Daten basieren, eine Bewertung für die Zukunft vorzunehmen. Sie kann bestenfalls einen Trend fortführen. Wenn Sie sich in einer Situation befinden, in der alle Alternativen, Wahrscheinlichkeiten und Konsequenzen bekannt sind, dann funktioniert die Nutzwertanalyse zuverlässig.
Für Entscheidungen mit hoher Ungewissheit und damit für ERP-Evaluationen ist die Nutzwertanalyse ungeeignet.
Das Problem bei Analysen sind die Informationen, die wir nicht haben: In einer ERP-Evaluation haben wir es mit vielen Unbekannten zu tun. Und wir können die Zukunft nicht vorhersagen, schon gar nicht aufgrund vergangener Werte. Die Nutzwertanalyse ist anfällig auf kleine Änderungen der Eingangswerte. Und der ERP-Systemanbieter, der seine Lösung zuerst präsentiert wird schon aufgrund dieser Tatsache anders bewertet als der zweite oder dritte.
In Situationen mit hoher Ungewissheit brauchen wir robuste und einfache Lösungen: Heuristiken
Die Alternative sind sog. einfache Heurisiken.
Heuristiken sind mentale Strategien, Faustregeln oder Abkürzungen, die uns helfen, mit begrenztem Wissen und begrenzter Zeit Entscheidungen zu treffen und Urteile zu fällen. Heuristiken lassen sich abgrenzen von Entscheidungsstrategien, die auf den Gesetzen der Logik, der Wahrscheinlichkeitsrechnung oder der Maximierung des erwarteten Nutzens basieren.
Martha Michalkiewicz
Eine Heuristik zu verwenden heisst, eine oder zwei Variablen zu finden, die ausreichen, um das Problem zuverlässig, das heisst wenig fehleranfällig zu lösen. In komplexen Fragestellungen gilt: Einfachheit lohnt sich.
Ein komplexes System erfordert, im Gegensatz zu dem, was die Leute glauben,
keine komplizierten Systeme und Regularien und verworrenen Richtlinien. Je einfacher, desto besser.N. N. Taleb in Antifragile
Heuristiken funktionieren häufig iterativ. Das heisst, die Variablen werden nicht einmal, sondern wiederkehrend überprüft. Heuristiken sind dadurch in der Lage, Änderungen der Situation zu berücksichtigen. Sie sind weniger fehleranfällig als Algorithmen, die immer auf Annahmen beruhen.
Wir leben in einer Gesellschaft die glaubt, alles über Analysen lösen zu können. Doch wir brauchen beides: analytische Methoden (wie die Nutzwertanalyse) und Heuristiken. Prof. Bernd Gigerenzer beschreibt die Einsatzgebiete der unterschiedlichen Ansätze wie folgt:
- Stabile Situation, wenig Optionen, viele Daten > Mach es komplex: z. B. Big Data, Statistik, Data Mining
- Unstabile Situation, viele Optionen, wenig Daten > Mach es einfach: Heuristik
Eine ERP-Evaluation ist ein Vorhaben mit vielen unbekannten Risiken. Sprich: es braucht Heuristiken. Ein solche Heuristik ist die agile ERP-Evaluation. Als Variablen werden hier die Kooperation mit dem Team des ERP-Systemanbeiter sowie die Umsetzung der am höchsten priorisierten Anforderungen im System verwendet. «Enough Specification Upfront» statt «Big Specification Upfront». Denn was bringt es, das ganze ERP-System zu spezifizieren, wenn man nicht weiss, wie die Kooperation zwischen den Teams funktioniert?
Warum werden trotzdem in unsicheren Situationen wie grossen ERP-Systembeschaffungen Analysen durchgeführt? Prof. Bernd Gigerenzer führt dafür zwei mögliche Gründe an:
- Unwissen: Die Leute wissen nicht, wie unbrauchbar die Analysen sind
- Defensive Entscheidung: Die Leute spüren, dass die Analyse nicht aussagefähig ist, sie nutzen sie dennoch, um sich selbst zu schützen
Es besteht die Gefahr, eine Absicherungskultur zu fördern: die Bereitschaft, Verantwortung zu übernehmen ist gering. Man sichert sich durch Expertengutachten ab oder überlässt die Entscheidung einem Fachberater.
