*Result*: Die Analyse des CIRSmedical.de mittels Natural Language Processing.

*CIRSmedical.de ist ein öffentlich zugängliches, einrichtungsübergreifendes Bericht- und Lernsystem der deutschen Ärzteschaft, welches zum Zeitpunkt der Durchführung dieser Analyse vom Ärztlichen Zentrum für Qualität (ÄZQ) in der Medizin betrieben wurde. CIRSmedical.de existiert seit 2005 und hat mehr als 6000 Ereignisberichte veröffentlicht. Bisher war es üblich, diese Berichte im Einzelnen zu analysieren oder systematische Auswertungen zu spezifischen Themenschwerpunkten durchzuführen. Eine systematische Auswertung über alle Ereignisberichte blieb bisher aus. Natural Language Processing (NLP) ist eine Analysestrategie aus dem Bereich Künstlicher Intelligenz zur Erschließung von Texten. Die Untersuchung der Ereignisberichte mittels NLP wurde durchgeführt, um die Eigenschaften von Ereignisberichten und Kommentaren zu beschreiben. Für diese Untersuchung wurden 6480 anonymisierte Ereignisberichte aus CIRSmedical.de (Stand 10.12.2019) vom ÄZQ als Excel Datei zur Verfügung gestellt. Es wurden mehrere Freitextfelder in die Analyse einbezogen sowie das Feedback des CIRS-Teams (Fachkommentar). Es wurden Textlängen, Berichtsverhalten, Sentimentwerte und Schlüsselwörter untersucht. Mit der Programmiersprache Python und den dazugehörigen Bibliotheken NLTK und SpaCy wurden die Algorithmen für die Analyse entwickelt. Der Vergleich von Berichtslängen in Abhängigkeit der unterschiedlichen Fachgruppen ergab ein heterogenes Bild sowohl bezüglich der Anzahl der Berichte als auch in der Anzahl der Wörter. Aus dem Fachgebiet der Anästhesiologie sind über 4000 Berichte, wobei die Textlängen mit einer rechtsschiefen Verteilung besonders stark variieren. Es gibt nur wenige Berichte aus der Psychotherapie und diese sind auch noch kurzgehalten. Die unterschiedlichen Berufsgruppen (Pflegekräfte, Ärzt*innen, anderes Personal) schreiben in etwa gleich lange Berichte. In den Sentimentwerten unterscheiden sich Berichte und Fachkommentare. Bedingt durch die Länge der Kommentare fallen diese von der Stimmung her negativer aus. Schlüsselwörter können identifiziert werden, weisen jedoch eine hohe Heterogenität auf. Die systematische Analyse mittels NLP ermöglicht die Beschreibung von Texteigenschaften in den Ereignisberichten und Kommentaren. Es können damit Schlussfolgerungen über die Intentionen, der Fokus und die Stimmung der Anwender*innen bei der Eingabe der Berichte in das CIRS gezogen werden. Die Sentimentanalyse ist ein Indiz für die Stimmung, mit der die Texte verfasst werden, sowohl als Bericht oder als Kommentar. Die Textlängenanalyse macht auf unterschiedliche Probleme und Tendenzen aufmerksam: Ereignisberichte sind in der Regel deutlich kürzer. Zu kurze Texte laufen Gefahr, dass die Informationen nicht für eine Auswertung gut verwertbar sind. Kommentare sind häufig länger, aber hier ist das gegenteilige Problem zu fürchten: zu lange Texte werden womöglich nicht gelesen. Die Untersuchung der Texte mittels NLP trägt dazu bei, Eingabeanlass und Eingabeform sowohl beim Berichten als auch beim Kommentieren zu überdenken. Dies ist ein erster Schritt zur automatischen, unterstützenden Klassifikation von Texten und Verbesserung der Interaktion zwischen Melder*in und System. CIRSmedical.de is a publicly accessible, cross-institutional reporting and learning system, which is organized by the German Agency for Quality in Medicine (ÄZQ). CIRSmedical.de has existed since 2005 and has published more than 6,000 event reports. Up to now it has been common practice to analyse these reports in detail or carry out systematic evaluations focusing on specific topics. A systematic evaluation of all case reports has not yet been conducted. Natural Language Processing (NLP) is an analysis strategy from the field of Artificial Intelligence for indexing texts. The examination of case reports using NLP was carried out to describe the characteristics of event reports and comments. For this analysis 6,480 case reports from CIRSmedical.de (as of December 10, 2019) were provided by the ÄZQ as Excel files. Several free text fields were included in the analysis as well as the feedback of the CIRS team (expert commentary). Text lengths, reporting behaviour, sentiment values and keywords were examined. The algorithms for the analysis were developed with the programming language Python and the corresponding libraries NLTK and SpaCy. The comparison of report lengths depending on the different subject groups presented a heterogeneous picture, in terms of both the number of reports and the number of words. There are more than 4,000 reports from the field of anaesthesiology, whereby text lengths vary particularly strongly with a right-skewed distribution. There are only a few reports from the field of psychotherapy, and these are also very short. The different professional groups (nurses, doctors, other staff) write reports of about the same length. Reports and expert commentaries also differ in terms of sentiment values. Due to the length of the comments, they are more negative in terms of sentiment. Keywords can be identified but show a high heterogeneity. Systematic analysis using NLP allows for the description of text properties in event reports and comments. It is now possible to draw a conclusion about the reporters' intention, focus and mood when they report in CIRS. The sentiment analysis is an indication of the mood which the texts convey, both as a report and as a commentary. Text length analysis draws attention to different problems and tendencies: event reports are usually much shorter. Texts that are too short, however, run the risk that the information will not be readily usable for analysis. Comments are often longer, but here one faces the opposite problem: texts that are too long may not be read. The examination of texts by means of NLP helps to rethink the reason for and the form of input, both when reporting and when commenting. It is a first step in the automatic, supportive classification of texts and an improvement of the interaction between reporters and the system. [ABSTRACT FROM AUTHOR]

Copyright of Zeitschrift für Evidenz, Fortbildung & Qualität im Gesundheitswesen is the property of Elsevier GmbH, Urban & Fischer Verlag and its content may not be copied or emailed to multiple sites without the copyright holder's express written permission. Additionally, content may not be used with any artificial intelligence tools or machine learning technologies. However, users may print, download, or email articles for individual use. This abstract may be abridged. No warranty is given about the accuracy of the copy. Users should refer to the original published version of the material for the full abstract. (Copyright applies to all Abstracts.)*