ChatGPT Sites gegen Hermes: Website-Test statt Tool-Sieger

Der Auftrag war konkreter als „baue eine Website“

Im Video beschreibe ich einen Auftrag für eine bestehende Unternehmenswebsite. Der Prompt sollte den bisherigen Auftritt untersuchen, Angebote und Unternehmensstruktur verstehen und eine neue Seitenstruktur daraus entwickeln. Hinzu kamen vom Auftraggeber und mir betrachtete Vergleichsseiten sowie Anforderungen an Filter und ein CMS. Die Aufgabe enthielt also sowohl gestalterische als auch funktionale Erwartungen.

Nach meiner Beschreibung bekamen beide Werkzeuge denselben Prompt, dieselbe Farbvorgabe und eine vergleichbare Modelleinstellung. Diese Angaben gehören zu meinem Versuchsbericht. Der Film liefert jedoch kein vollständig reproduzierbares Testprotokoll mit exportierten Systemkonfigurationen. Die genaue Modellbezeichnung ist zudem im automatischen Transkript fehleranfällig. Deshalb verwende ich sie hier nicht als scheinbar präzisen technischen Beweis.

Die sinnvolle Vergleichsfrage bleibt trotzdem verständlich: Was machen zwei von mir verwendete Arbeitsumgebungen aus demselben beschriebenen Websiteauftrag? Das ist ein nützlicher Alltagstest. Er kann zeigen, welcher Entwurf in dieser Situation besser zu meinem Bedarf passt. Er ist nur eine andere Art von Aussage als ein kontrollierter Vergleich der zugrunde liegenden Modelle.

Warum mir der erste Entwurf besser gefiel

Beim direkten Gegenüberstellen benenne ich konkrete Unterschiede. Der Entwurf aus ChatGPT Sites wirkt für mich glatter und besser abgestimmt. Ich erwähne unter anderem die Farben und ein passendes Symbol im Browsertab. Beim Hermes-Ergebnis fällt mir dagegen auf, dass die Farben aus meiner Sicht nicht richtig zur Branche passen, obwohl ich eine Palette angegeben hatte. Die grundlegende Struktur beschreibe ich als ähnlich.

Damit ist das Urteil klar eingegrenzt. Es geht zuerst um meine gestalterische Einschätzung dieser beiden Ergebnisse. Daraus folgt keine gemessene höhere Conversionrate, keine bessere Suchmaschinenleistung und kein Beweis vollständiger Barrierefreiheit. Auch eine passende Farbpalette sagt noch nichts darüber aus, ob sämtliche CMS-Inhalte oder Filterzustände korrekt funktionieren. Diese Fragen bräuchten ihre eigenen Prüfungen.

Ich finde es wichtig, das bevorzugte Werkzeug hier nicht zu verteidigen. Wenn ein anderer Entwurf die Aufgabe sichtbar stimmiger löst, sollte das im Arbeitsprozess Konsequenzen haben. Man kann ihn als Referenz für die nächste Runde nehmen und die Abweichungen genau benennen. Für Hermes wäre der konkrete nächste Lernpunkt in diesem Fall, die vorgegebene Gestaltung zuverlässiger zu erhalten, statt die gesamte Arbeit im Nachhinein schönzureden.

Eine frühe Vorschau verändert die Zusammenarbeit

Im Video erwähne ich, dass ich bei ChatGPT Sites schon während der laufenden Arbeit eine Vorschau sehen konnte. Das endgültige Ergebnis war zu diesem Zeitpunkt noch nicht abgeschlossen, aber die Richtung war erkennbar. Für einen Websiteauftrag kann das hilfreich sein: Man bemerkt früher, ob die Gliederung oder die visuelle Grundidee am Bedarf vorbeigeht, anstatt erst das Ende des ganzen Durchlaufs abzuwarten.

Die ebenfalls erzählte Zeitdifferenz ist eine Beobachtung aus diesem einen Versuch, keine allgemeine Geschwindigkeitsmessung. Unterschiedliche Aufgaben, Zugänge und Zustände können anders ausgehen. Ich würde daraus weder eine feste Lieferzeit noch das Versprechen ableiten, dass ein Werkzeug grundsätzlich doppelt so schnell arbeitet. Für die Entscheidung interessiert mich eher, wann ich sinnvoll prüfen und Rückmeldung geben kann.

Eine frühe Vorschau muss dafür als Zwischenstand erkennbar bleiben. Wenn das Layout schon fertig aussieht, können fehlende Funktionen leicht übersehen werden. Bei den im Prompt genannten Filtern und CMS-Anforderungen würde ich daher eine getrennte Prüfliste führen. Was ist nur dargestellt? Was lässt sich tatsächlich bedienen? Welche Inhalte bleiben nach einem erneuten Aufruf erhalten? Der Film zeigt keinen vollständigen Funktionstest aller dieser Fälle.

Gleicher Prompt, unterschiedliche Arbeitsumgebung

Ich vermute im Video, dass hinter ChatGPT Sites zusätzliche Mechanismen und spezialisierte Vorgehensweisen den Websitebau unterstützen. Das ist ausdrücklich eine Erklärungsidee, kein Einblick in eine intern geprüfte Implementierung. Bei Hermes verweise ich auf meine gespeicherten Skills, den vorhandenen Kontext und die Möglichkeit, das eigene System weiterzuentwickeln. Auch hier sollte man Erfahrung mit der Nutzung nicht mit einer vollständigen technischen Ursachenanalyse verwechseln.

Gerade diese Unterschiede begrenzen die Aussage „gleiches Modell“. Der eingegebene Auftrag ist nur ein Teil dessen, womit ein System arbeitet. Sichtbar verschiedene Arbeitsumgebungen können zusätzliche Anweisungen, Werkzeuge oder Projektinformationen nutzen. Aus dem Ergebnis allein lässt sich nicht ableiten, welcher Bestandteil den Unterschied verursacht hat. Ein besserer erster Entwurf beweist deshalb noch nicht, dass die andere Umgebung dasselbe Modell schlechter ausführt.

Für einen nächsten Vergleich würde ich die erreichbaren Bedingungen festhalten und die unbekannten offenlassen. Dazu gehören Aufgabenbeschreibung, verfügbare Materialien, gewünschte Seiten, erlaubte Werkzeuge und Abnahmekriterien. Diese Liste macht den Versuch nicht automatisch wissenschaftlich. Sie hilft aber, Unterschiede beim zweiten Durchlauf nicht mit einer veränderten Aufgabe zu verwechseln.

Warum Hermes für mich trotzdem im System bleibt

Meine Begründung im Video richtet sich auf die Arbeitsweise über diesen Websiteauftrag hinaus. Ich möchte mein eigenes System anpassen, Vorgehensweisen wiederverwenden und verschiedene Modellanbieter ausprobieren können. Außerdem beschreibe ich die Steuerung über einen Messenger als Teil meiner Arbeit. Das sind persönliche Auswahlkriterien für meine Umgebung, keine nachträglichen Beweise dafür, dass der schlechter bewertete Entwurf eigentlich besser war.

Die konkrete Verfügbarkeit solcher Möglichkeiten muss immer am jeweiligen System geprüft werden. Dieser Artikel ist weder eine aktuelle Tarifübersicht noch eine Installationsanleitung. Er rekonstruiert, warum ich mich im gezeigten Versuch nicht ausschließlich anhand der ersten Website entschieden habe. Für jemanden mit einem einzelnen abgeschlossenen Websiteauftrag können andere Kriterien sinnvollerweise mehr Gewicht haben als für jemanden, der zahlreiche wiederkehrende Geschäftsprozesse verbindet.

Die Entscheidung hat außerdem Kosten in Form eigener Arbeit. Wer mehr selbst anpassen möchte, übernimmt auch mehr Verantwortung für seine Anleitungen, Verbindungen und Prüfungen. Diese Freiheit ist nicht automatisch ein Vorteil für jeden. Ich möchte sie in meinem Alltag haben; ein anderer Auftraggeber möchte vielleicht vor allem einen gut gepflegten fertigen Weg. Beides kann vernünftig sein, solange die Anforderungen ehrlich benannt werden.

Ein Vergleich mit zwei getrennten Ergebnissen

Meine praktische Ableitung ist eine Bewertung in zwei Durchgängen. Zuerst bekommt das konkrete Ergebnis eine Prüfung: Inhalt, Gestaltung, Navigation und die geforderten Funktionen. Danach folgt die Arbeitsumgebung: Wie gut kann ich korrigieren, vorhandenes Wissen nutzen und an späteren Aufgaben weiterarbeiten? Ein gutes Ergebnis im zweiten Durchgang darf Fehler im ersten nicht verstecken.

So lässt sich auch der nächste Schritt genauer wählen. Man muss nicht sofort das vertraute System wegwerfen oder sämtliche Alternativen ablehnen. Man kann den besseren Entwurf anerkennen, die Schwachstelle im eigenen Ablauf untersuchen und später mit derselben klaren Aufgabe erneut vergleichen. Ein solcher Versuch ist für mich nützlicher als eine dauerhafte Rangliste aus einem einzigen Durchlauf.

Was bleibt.

ChatGPT Sites gewann in diesem Versuch meine Bewertung des ersten Websiteentwurfs. Hermes blieb meine Wahl für den längerfristigen, selbst gestalteten Arbeitsablauf. Beide Aussagen können gleichzeitig stimmen.

Bei deiner eigenen Auswahl würde ich deshalb zuerst die konkrete Aufgabe prüfen und erst danach über das ganze Werkzeug entscheiden. Sonst gewinnt möglicherweise das schönere Demo, obwohl du eigentlich eine andere Frage beantworten wolltest.