Kontakt zu maexware solutions

Hast Du Fragen, möchtest ein erstes Kennenlernen vereinbaren oder hast bereits konkrete Pläne? Du kannst Dich jederzeit unverbindlich an uns wenden.

Telefon: 0 76 41 - 948 77 68
Email: info@maexware-solutions.de

über Kontaktformular:

Mit Absenden des Kontaktformulars erklärst Du Dich damit einverstanden, dass Deine Daten zur Bearbeitung Deines Anliegens verwendet werden. Weitere Informationen kannst Du der Datenschutzerklärung entnehmen.

Erste Versuche mit ChatGPT – Teil 1: Warum schlechte Prompts scheitern

Erste Versuche mit ChatGPT – Teil 1: Warum schlechte Prompts scheitern

- Monib Asad Masud

Am Anfang steht immer eine Aufgabe: ein Ziel, das erreicht werden soll. Die Aufgabe braucht eine Lösung – und schnell versteht man ChatGPT als Antwortgeber, Helfer oder „Arbeitstier“ für genau diese Lösung.

In unserem ersten Versuch wollten wir prüfen, wie gut ChatGPT uns bei einer scheinbar einfachen Aufgabe im Arbeitsalltag mit Jira und Confluence unterstützen kann. Das Ergebnis war spannend, aber auch ernüchternd: Nicht unbedingt ChatGPT war das Problem, sondern vor allem unsere eigene Aufgabenstellung.

Die Aufgabe: Boilerplate-Markup für Jira und Confluence

Die Aufgabe klang zunächst einfach: Ein Boilerplate-Markup erzeugen, das in Editoren verwendet werden kann, die Markup verstehen. Da wir viel mit verschiedenen Editoren arbeiten, zum Beispiel Jira, Confluence und weiteren Anwendungen, sollte das Ergebnis möglichst wiederverwendbar sein.

Unsere erste Frage an ChatGPT lautete:

“Can you provide a simple Confluence Atlassian page layout, which I can use as markup to import into Jira?”

ChatGPTs Antwort kam binnen Sekunden:

h1. Page Title

{info}
This is a simple Confluence page layout for use with Jira.
{info}

bq. Quote
This is a sample quote to illustrate the format.

h2. Section Title

This is a sample section of text. Use this space to provide more information or detail about the topic at hand.

h3. Subsection Title

This is a sample subsection of text. Use this space to provide even more detail or additional information related to the section above.

* List item 1
* List item 2
* List item 3

{code}
This is a sample code block. Use this space to include code snippets or other types of content that need to be displayed in a specific format.
{code}

h2. Another Section Title

This is another sample section of text. Use this space to continue building out the content of your Confluence page.

| Column 1 | Column 2 | Column 3 |
|----------|----------|----------|
| Row 1, Column 1 | Row 1, Column 2 | Row 1, Column 3 |
| Row 2, Column 1 | Row 2, Column 2 | Row 2, Column 3 |

Wow. Das war einfach, schnell und fast zu schön, um wahr zu sein. Aber langsam. Erst einmal probieren wir das Boilerplate aus. Wir gehen also in Confluence, erzeugen eine neue Seite und wollen das Markup einfügen.

Das erste Problem: Markup in Confluence einfügen

Wir suchen den Menüpunkt, um Markup einzufügen, finden ihn aber nicht. Wir suchen unter den Makros im Editor-Menü und finden auch dort keine Möglichkeit, Markup einzufügen.

Wir nutzen die Cloud-Variante von Confluence und wollen einen Weg finden, dort Markup einzufügen. Warum also nicht ChatGPT erneut fragen?

Unsere zweite Frage lautet:

“It seems not possible to insert a markup macro inside the Confluence site editor. Can you please provide instructions?”

Und prompt, nach ein paar hundert Millisekunden, kommt wieder eine ausführliche Antwort:

  1. Log in to your Confluence account.
  2. Click on the “Create” button located in the top right corner of the screen.
  3. Select “Seite” from the drop-down menu.
  4. Enter the title for your page in the “Titel” field.
  5. In the editor, type the following text:
Example Page

This is a sample Confluence page created using the built-in formatting options.

Section 1

This is a sample section of text. Use this space to provide more information or detail about the topic at hand.

- List item 1
- List item 2
- List item 3

Section 2

This is another sample section of text. Use this space to continue building out the content of your Confluence page.

| Column 1 | Column 2 |
|----------|----------|
| Row 1, Column 1 | Row 1, Column 2 |
| Row 2, Column 1 | Row 2, Column 2 |

Zusätzlich erklärt ChatGPT, dass man Texte im Editor markieren und über die Formatierungsoptionen Überschriften, Listen oder Tabellen erzeugen könne.

Wieder ist die Antwort ausführlich, strukturiert und auf den ersten Blick hilfreich. Sie enthält sogar den Hinweis, dass sich die Formatierungsoptionen je nach Confluence-Version unterscheiden können.

Warum die Antwort trotzdem nicht unser Ziel erfüllte

Wir hinterfragen zunächst nicht weiter und führen die Punkte aus. Wir kopieren unsere von ChatGPT erzeugte Boilerplate als Text ohne Markup-Anweisungen in den Editor. Dann wählen wir die jeweiligen Teile des Textes aus und formatieren sie manuell als Überschrift, Sektion, Tabelle oder Liste.

Aber Moment mal: Was machen wir denn da?

Wollten wir nicht ein Markup-Boilerplate, das wir einfach einfügen können? Wir wollten ja gerade nicht manuell irgendwelche Formatierungen anfassen. Außerdem wollten wir dasselbe Erzeugnis möglichst auch in anderen Editoren verwenden können.

Die Antwort von ChatGPT war also nicht völlig falsch. Sie beantwortete unsere zweite Frage nach einer Alternative im Confluence-Editor. Aber sie löste nicht unsere ursprüngliche Aufgabe.

Die eigentliche Ursache: Unsere Frage war nicht präzise genug

Was ist passiert? Haben wir einen Fehler gemacht? Ist ChatGPT doch nicht so gut? Oder liegt das Problem bei Confluence?

Starker Tipp: Suchen wir den Fehler zuerst bei uns selbst.

Bei genauerem Nachdenken wird klar: Unsere Aufgabenstellung und unsere initiale Frage waren nicht kohärent genug.

Wir fragten:

“Can you provide a simple Confluence Atlassian page layout, which I can use as markup to import into Jira?”

Wenn wir das sachlich analysieren, war diese Frage nicht besonders qualifiziert. Wir wussten, was wir uns wünschen, hatten verschiedene Dinge im Kopf und formulierten einfach drauf los.

  • Confluence und Jira sind beide von Atlassian, aber unterschiedliche Anwendungen.
  • Ein Confluence-Layout ist nicht automatisch ein Jira-kompatibles Markup.
  • Wir sprachen von einem Layout, wie es in Confluence üblich ist, wollten es aber als Markup in Jira verwenden.
  • Unsere eigentliche Aufgabenstellung war allgemeiner: ein wiederverwendbares Markup-Boilerplate für Editoren, die Markup verstehen.

Unsere Aufgabenstellung setzte eine Lösung in Aussicht, die in verschiedenen Anwendungskontexten funktionieren soll. Dann hätten wir genau das auch so in der Frage an ChatGPT formulieren müssen.

Learning 1: Schlechte Prompts erzeugen scheinbar gute Antworten

Unser erstes Learning: Wir haben ziemlich viel erwartet, obwohl unsere Frage ziemlich unklar war.

Manch Leser mag meinen, dass dies doch von Anfang an klar war. Aber genau dieses Prinzip wird auch bei deutlich komplexeren Anfragen auftreten: Wir haben im Kopf bereits einen Kontext, den wir nicht sauber aussprechen. ChatGPT sieht aber nur das, was wir tatsächlich formulieren.

Eine KI kann auf eine ungenaue Frage eine sehr überzeugende Antwort geben. Diese Antwort kann sprachlich gut, strukturiert und hilfreich wirken – und trotzdem am eigentlichen Ziel vorbeigehen.

Gerade bei digitalen Arbeitsprozessen, technischen Aufgaben und Unternehmenskontexten ist es deshalb wichtig, Anforderungen, Zielsysteme, Rahmenbedingungen und gewünschtes Ergebnis klar zu benennen.

Learning 2: Anwendungskontext ist entscheidend

Das zweite Learning betrifft Confluence selbst. Die Anwendung Confluence in der Cloud-Version, wie sie uns zu diesem Zeitpunkt vorlag, war nicht mehr in der Lage, Markup über ein Makro so einzufügen, wie wir es erwartet hatten.

Der Legacy Editor hatte dieses Feature früher. Beim neuen Editor war es in dieser Form nicht mehr verfügbar. Gegenüber ChatGPT hatten wir diese Information jedoch nicht erwähnt – vielleicht, weil wir in dem Moment selbst nicht bewusst daran gedacht hatten.

Wichtig ist: ChatGPT konnte nicht automatisch wissen, welche Confluence-Version wir nutzen, welche Einschränkungen im Editor bestehen und welches konkrete Zielformat wir benötigen.

Bei KI-gestützten Arbeitsprozessen reicht es deshalb nicht aus, nur das gewünschte Ergebnis zu nennen. Man muss auch den Kontext beschreiben: System, Version, Einschränkungen, Zielplattform, gewünschtes Ausgabeformat und mögliche Ausschlüsse.

Learning 3: Prompt Engineering beginnt vor der Frage

Das dritte Learning: Es gibt noch ein Detail, das wir wissen, aber bewusst aus diesem Artikel herausgelassen haben. Mehr dazu im nächsten Artikel-Teil – und ja, das ist ein kleiner Cliffhanger.

Wichtiger ist an dieser Stelle: Prompt Engineering beginnt nicht erst beim Schreiben der Frage. Es beginnt davor – bei der Klärung der eigenen Aufgabe.

Bevor wir ChatGPT fragen, sollten wir wissen:

  • Was genau soll erzeugt werden?
  • Für welches Tool oder System ist das Ergebnis gedacht?
  • In welchem Format soll die Ausgabe erfolgen?
  • Was darf nicht passieren?
  • Welche Rahmenbedingungen kennt die KI nicht automatisch?
  • Welche Begriffe könnten die Antwort ungewollt in eine falsche Richtung lenken?

Erst wenn diese Punkte klar sind, kann ChatGPT sinnvoll unterstützen.

Fazit: Der Fehler lag nicht nur bei ChatGPT

Ups. Der Fehler lag also bei uns – oder zumindest nicht einfach nur bei ChatGPT.

Aus menschlicher Sicht ist das nachvollziehbar. Wir arbeiten täglich mit Jira, Confluence und anderen Anwendungen. Dadurch verknüpfen wir diese Tools automatisch miteinander und denken an Markup-Boilerplates, Templates, Code-Snippets, Reports und wiederverwendbare Inhalte, die in verschiedenen Systemen funktionieren sollen.

In unserer täglichen Arbeit verfassen wir ständig solche Templates, legen sie an unterschiedlichen Stellen ab und verwenden sie später wieder. Wir wissen, was wir tun müssen, um bestimmte Ziele zu erreichen. Was wir dabei oft nicht mehr bewusst sehen, sind die Details.

Zum Beispiel wissen wir aus Erfahrung, dass ein bestimmter Markup-Schnipsel in Anwendung A direkt per Copy & Paste funktioniert, während wir ihn in Anwendung B noch an zwei Stellen anpassen müssen. Für uns ist das selbstverständlich. Für ChatGPT ist es das nicht, wenn wir es nicht ausdrücklich formulieren.

Genau hier liegt eine Chance: Die Arbeit mit ChatGPT zwingt uns dazu, eigene Aufgabenstellungen, Annahmen und Prozessdetails klarer zu beschreiben. Das kann nicht nur die Qualität der KI-Ergebnisse verbessern, sondern auch die eigene Arbeitsweise strukturierter machen.

Der Versuch hat uns gezeigt: KI kann Arbeitsprozesse unterstützen, aber sie ersetzt nicht die saubere Klärung der Aufgabe. Gute Ergebnisse entstehen nicht nur durch ein gutes Tool, sondern durch präzise Prompts, klaren Kontext und ein bewusstes Verständnis des gewünschten Ergebnisses.

Mehr zum Zusammenspiel von KI, digitalen Prozessen und Arbeitsabläufen findest Du im Bereich Business & Prozesse.

Hier geht es zum zweiten Anlauf.

maexware solutions