softXplain

Leitung:  Kurt Schneider
Team:  Jakob Droste, Hannah Deters, Martin Obaidi
Jahr:  2022
Förderung:  Deutsche Forschungsgemeinschaft (DFG)
Weitere Informationen https://gepris.dfg.de/gepris/projekt/470146331

Motivation

Softwaresysteme werden zur heutigen Zeit zunehmend komplexer und gleichzeitig sind wir in immer mehr Bereichen auf diese Systeme angewiesen. Es wird daher zunehmend schwieriger, diese Systeme zu verstehen, aber zeitgleich auch immer wichtiger. Da bei der Nutzung von Softwaresystemen in der Regel keine Ansprechperson für Fragen und Probleme zur Verfügung steht, müssen die Softwaresysteme in der Lage sein, mögliche Fragen selbst zu beantworten. Diese Fähigkeit, als Softwaresystem das eigene Verhalten zu erklären, wird Erklärbarkeit (engl: Explainability) genannt. Es handelt sich hierbei wie bei Benutzbarkeit, Sicherheit oder Wartbarkeit um eine nicht-funktionale Anforderung, dessen genaue Bedeutung und Grad ihrer Umsetzung in einem Softwareprojekt spezifiziert werden müssen. Werden diese Eigenschaften gut umgesetzt, kann die Verwirrung bei der Benutzung verringert und letztlich die Akzeptanz für das System gesteigert werden.

Ziele

Da sich verschiedene Qualitätseigenschaften widersprechen können, ist es wichtig zu ermitteln, welche Anforderungen hinsichtlich Erklärbarkeit erreicht werden sollen. Dabei steht im Fokus, welche Funktionen nützlich sind, was realistisch umsetzbar ist und wie zwischen konkurrierenden Qualitätsanforderungen abgewogen wird. Um dies zu ermöglichen, sollen folgende Schlüsselfragen geklärt werden:

  • Wie kann die Software erfahren, welches Verhalten von ihr erwartet wird?
  • Wie lässt sich erkennen, ob Menschen Erklärungen benötigen?
  • Was ist die richtige Form und der geeignete Zeitpunkt für solche Erklärungen?

Unterstützend sollen Demonstratoren entwickelt werden, welche unter anderem empirische Untersuchungen ermöglichen.

In diesem Projekt geht es nicht darum, Black Boxen wie neuronale Netze erklärbar zu machen. Deshalb fokussiert dieses Projekt nicht auf Bereiche wie Künstliche Intelligenz bzw. Maschinelles Lernen. Vielmehr sollen generell komplizierte, selbst-erklärende Softwaresysteme untersucht werden und dabei offengelegt werden, wann Erklärungen in welchem Maße benötigt werden.

Mentale Modelle

Eine mögliche Ursache für Verwirrung stellt eine Abweichung zwischen dem mentalen Modell der Nutzenden und dem tatsächlichen Verhalten des Systems dar. Dabei versteht man unter dem mentalen Modell die Vorstellung, welche die Nutzenden vom System aufgebaut haben. Abhängig davon treffen die Nutzenden Vorhersagen zu dem Systemverhalten und passen ihre eigenen Aktionen daran an. Wenn nun die Vorhersage des Nutzenden nicht mit dem tatsächlichen Verhalten übereinstimmt, entsteht Verwirrung. Dieser Verwirrung kann mithilfe von Erklärungen entgegengewirkt werden. Dafür können explizite mentale Modelle erstellt werden, die die Abweichung des erwarteten Verhaltens von dem tatsächlichen Verhalten vorhersagen. Die untenstehende Abbildung zeigt diesen Prozess. Wenn eine Abweichung besteht, werden Erklärungen geliefert und so der Verwirrung vorgebeugt.

Publikationen

  • Chazette, L., & Schneider, K. (2020). Explainability as a non-functional requirement: challenges and recommendations. Requirements Engineering, 25(4), 493-514. https://doi.org/10.1007/s00766-020-00333-1
  • Deters HL, Droste JRC, Schneider K. A Means to what End? Evaluating the Explainability of Software Systems using Goal-Oriented Heuristics. In EASE '23: Proceedings of the 27th International Conference on Evaluation and Assessment in Software Engineering. 2023. S. 329-338. https://doi.org/10.1145/3593434.3593444
  • Droste JRC, Deters HL, Puglisi J, Schneider K. Designing End-user Personas for Explainability Requirements using Mixed Methods Research. In 2023 IEEE 31st International Requirements Engineering Conference Workshops (REW). 2023. S. 129-135 https://doi.org/10.1109/REW57809.2023.00028
  • Deters HL, Droste JRC, Fechner M, Schneider K. Explanations on Demand - a Technique for Eliciting the Actual Need for Explanations. In 2023 IEEE 31st International Requirements Engineering Conference Workshops (REW). 2023. S. 345 - 351 https://doi.org/10.1109/REW57809.2023.00065
  • Chazette, L., Klünder, J., Balci, M., & Schneider, K. (2022, May). How can we develop explainable systems? Insights from a literature review and an interview study. In Proceedings of the International Conference on Software and System Processes and International Conference on Global Software Engineering (pp. 1-12). https://doi.org/10.1145/3529320.3529321