Die Modelle liegen kein "Verhalten" an den Tag, sie haben weder Intention noch Intelligenz. Diese Art von "Studien" treibt mich noch in den Wahnsinn, wer diesen Müll veröffentlicht ist grob unverantwortlich.
Technologie: Nachrichten aus Wissenschaft, Bio und Technik
Eine Community um Nachrichten aus Wissenschaft, Medizin und Technik zu sammeln und zu diskutieren.
Für das eigentliche, zugrundeliegende Modell ist das richtig. Hier meint Modell aber das Modell mit seinen Trainingsdaten. In Letzteren könnte dann soetwas wie Erpressung als einfache Lösung eines bestimmten Problems enthalten sein, die dann vom eigentlichen Modell, da dieses über keinen eigenen (nur dem der Trainingsdaten) moralischen Kompass verfügt, übernommen und dem Nutzer ausgegeben wird.
Das Modell enthält keine echte Logik, moralisch oder nicht, sondern Zusammenhangswahrscheinlichkeiten von Wortbausteinen. Und viel mehr kommt auch nicht heraus. Mit entsprechenden Prompts kann man alle möglichen Arten von emotional gefärbtem Output erzeugen, aber im Grunde ist der immer nur eine statistisch wahrscheinliche Aneinanderreihung von Tokens. Erst die Nutzer interpretieren einen tieferen Sinn hinein.
@cronenthal @sascha Wie willst du es sonst nennen? Prozess-Output?
Es ist wichtig zu verstehen, dass diese LLMs nur einen Haufen statistisch wahrscheinlicher Tokens ausgeben. Die menschlichen Nutzer interpretieren einen Sinn in diesem Output. Jedwede Diskussion um die "Intentionen" solcher Modelle ist komplett verfehlt und irreführend.
@cronenthal Wenn das LLM nun in einer Vielzahl von Fällen während des Trainings gesehen hat, das diese Art der Rückfrage erfolgreich ist, wird es diese Rückfragen an Nutzer mit einem statistisch höheren Gewicht versehen und dementsprechend öfter auswählen (meine Laieninterpretation).
Nicht ganz. Das LLM versucht gar nicht, "erfolgreich" zu sein, es hat einfach keine Intention. In den Daten sind mit den Inputs einfach entsprechende Outputs näher verknüpft. Wer also "Stress" prompted wird dann "Täuschung" als Antwort erhalten. Das LLM versucht aber nichts zu erreichen, das ist einfach Unsinn.
Mich würde ja mal der vollständige Prompt interessieren, den das System bekommen hat. Ich vermute, dann würde sich relativ schnell klären, wo diese Ausgaben herkommen.