RAG: Antworten aus den Dokumenten in Java

Problem

Eine Gratis-Lieferung, die es nicht gibt

Der Support-Assistent antwortet Kunden. Der System-Prompt sagt ihm, wer er ist, und die Frage geht an das Modell:

// ohne Dokumente: nur die Frage
String question = "was kostet die lieferung an eine filiale";
String system = "Du bist der Assistent des Supports im Shop. Antworte kurz.";
var messages = List.of(new Message("user", question));
Response r = CLIENT.create("model-large", 200, system, messages);
System.out.println(r.text());

Die Lieferung ist für alle Bestellungen kostenlos.

In den Dokumenten des Shops steht etwas anderes: Die Lieferung an eine Filiale des Kuriers kostet 3 €, und gratis ist sie erst ab 50 €. Ein Kunde bestellt für 20 € und sieht beim Bezahlen 3 € für die Lieferung. Er schreibt eine wütende E-Mail mit der Antwort des Assistenten darin.

Das Modell wollte nichts Böses. Es hat die Dokumente des Shops nie gesehen. Es schreibt eine Antwort, die klingt wie eine Antwort über Lieferung, genau wie in der Lektion über die Grenzen des Modells.

Die Idee

Finden, hinzufügen, antworten

Das Modell kennt deine Dokumente nicht, aber es kann sie lesen, wenn sie im Prompt stehen. Es passt nicht alles hinein, und alles kostet Geld, also kommen nur die Abschnitte zur Frage in den Prompt.

Das Programm macht drei Schritte:

Es findet die Abschnitte der Dokumente, die der Frage in der Bedeutung am nächsten sind. Das ist die Suche nach Bedeutung, und die Abschnitte kommen aus der Lektion über das Aufteilen in Abschnitte.
Es fügt sie dem Prompt hinzu, jeden mit seiner Quelle, zusammen mit der Regel: nur daraus antworten, die Quelle schreiben, und wenn die Antwort nicht dort steht, „Ich weiß es nicht“ sagen.
Das Modell antwortet aus den Abschnitten und zitiert die Quelle.

Das heißt RAG (retrieval-augmented generation): eine Antwort, die auf gefundenem Text beruht. Das Modell bleibt dasselbe. Was sich ändert, ist das, was es sieht.

Sieh es dir an

Die Abschnitte

Die Dokumente des Shops sind schon aufgeteilt: eine Regel pro Abschnitt, jeder mit eigener Quelle.

// ein Abschnitt der Dokumente: Quelle und Text
record Piece(String id, String text) {}

// ein gefundener Abschnitt und wie nah er an der Frage ist
record Hit(Piece piece, double score) {}

// die Abschnitte der Shop-Dokumente
static final List<Piece> PIECES = List.of(
        new Piece("lieferung-1", "die lieferung an eine adresse kostet 5 € und an eine filiale des kuriers 3 €"),
        new Piece("lieferung-2", "ab 50 € ist die lieferung gratis und das paket dauert zwei tage"),
        new Piece("rückgabe-1", "du kannst die ware 14 tage lang in der originalverpackung zurückgeben"),
        new Piece("rückgabe-2", "das geld wird innerhalb von fünf tagen erstattet"),
        new Piece("zahlung-1", "du kannst mit karte oder per nachnahme bezahlen"),
        new Piece("zahlung-2", "wenn die bank die zahlung abgelehnt hat versuche eine andere karte"),
        new Piece("garantie-1", "die garantie auf die ware beträgt 2 jahre"));

Die Vektoren kommen aus dem kleinen Modell der Lektion über Vektoren: acht Achsen aus dem Text des Shops und der Kosinus. Sein Code steht dort, hier benutzen wir es nur. Deshalb hat der Text der Abschnitte keine Großbuchstaben und keine Satzzeichen: So sieht das kleine Modell sie. Ein echtes Embedding-Modell nimmt den Text, wie er ist.

Sieh es dir an

Die nächsten, aber nicht zu weit weg

Die Suche berechnet den Kosinus der Frage zu jedem Abschnitt und sortiert vom nächsten an. Dann nimmt sie höchstens k, aber nur die, die mindestens an der Schwelle liegen:

// die nächsten Abschnitte: höchstens k, über der Schwelle
static List<Hit> search(String question, int k) {
    int[] q = SPACE.ofText(question);
    List<Hit> hits = new ArrayList<>();
    for (Piece p : PIECES) {
        double score = cosine(q, SPACE.ofText(p.text()));
        hits.add(new Hit(p, score));
    }
    hits.sort(Comparator.comparing(Hit::score).reversed());
    List<Hit> top = new ArrayList<>();
    for (Hit h : hits)
        if (top.size() < k && h.score() >= THRESHOLD)
            top.add(h);
    return top;
}

for (Hit h : search("was kostet die lieferung an eine filiale", 3))
    System.out.printf("%-12s%.3f%n", h.piece().id(), h.score());

lieferung-1 0.984
lieferung-2 0.826

k ist 3, und es gibt zwei Abschnitte. Der dritte ist „rückgabe-2“ mit 0,438: unter der Schwelle von 0,5. Er hat nichts mit dem Preis der Lieferung zu tun. Im Prompt würde er nur Tokens kosten und das Modell zur Seite ziehen.

Die Schwelle ist 0,5, wie in der Übung der Lektion über Vektoren. Sie ist kein Gesetz: Du misst sie an einem Testset, wie in der nächsten Lektion.

Probier es aus

Sag die Ausgabe voraus

Bei „die bank hat meine zahlung abgelehnt“ liegen die Abschnitte bei 0,949, 0,904 und 0,208, die übrigen bei 0,000. Wie viele Abschnitte kommen in den Prompt?

System.out.println(search("die bank hat meine zahlung abgelehnt", 3).size());

Antwort

Sieh es dir an

Der Prompt

Die gefundenen Abschnitte kommen nach den Regeln in den System-Prompt, jeder in einer eigenen Zeile mit der Quelle in [ ]:

// System-Prompt: Regeln und Abschnitte mit ihrer Quelle
static String prompt(List<Hit> hits) {
    StringBuilder sb = new StringBuilder(RULES);
    for (Hit h : hits) {
        Piece p = h.piece();
        sb.append("\n[" + p.id() + "] " + p.text());
    }
    return sb.toString();
}

System.out.println(prompt(search("was kostet die lieferung an eine filiale", 3)));

Du bist der Assistent des Supports im Shop. Antworte nur aus den Abschnitten unten. Schreibe nach der Antwort die Quelle in [ ]. Steht die Antwort nicht in den Abschnitten, sag: Ich weiß es nicht.
[lieferung-1] die lieferung an eine adresse kostet 5 € und an eine filiale des kuriers 3 €
[lieferung-2] ab 50 € ist die lieferung gratis und das paket dauert zwei tage

Die drei Regeln haben verschiedene Aufgaben. „Nur aus den Abschnitten“ verhindert Antworten aus dem Gedächtnis. Die Quelle macht die Antwort prüfbar. „Ich weiß es nicht“ gibt dem Modell einen ehrlichen Ausweg, wenn die Abschnitte nicht reichen. Wie man so einen Prompt schreibt, steht in der Lektion über Prompts.

Sieh es dir an

Das ganze RAG

answer setzt die drei Schritte zusammen. Wenn nichts über der Schwelle liegt, wird das Modell gar nicht aufgerufen:

// RAG: finden, in den Prompt packen, antworten
static String answer(String question, int k) {
    List<Hit> hits = search(question, k);
    if (hits.isEmpty())
        return DONT_KNOW;
    var messages = List.of(new Message("user", question));
    Response r = CLIENT.create("model-large", 200,
            prompt(hits), messages);
    return r.text();
}

Der falsche Client ist der aus der Lektion über das Bewerten: Die aufgezeichneten Antworten werden nach einem Wort in der Frage und nach einem Text im Prompt gewählt. Hier ist dieser Text die Quelle des Abschnitts. Steht „[lieferung-1]“ im Prompt, kommt die Antwort aus dem Abschnitt; wenn nicht, die Antwort „aus dem Gedächtnis“.

for (String question : List.of("was kostet die lieferung an eine filiale", "die bank hat meine zahlung abgelehnt", "habt ihr sonntags geöffnet"))
    System.out.println(question + "\n  → " + answer(question, 3));

was kostet die lieferung an eine filiale
  → Die Lieferung an eine Filiale des Kuriers kostet 3 €. [lieferung-1]
die bank hat meine zahlung abgelehnt
  → Versuche die Zahlung mit einer anderen Karte. [zahlung-2]
habt ihr sonntags geöffnet
  → Ich weiß es nicht, ich gebe an einen Kollegen weiter

// RAG: finden, in den Prompt packen, antworten
static String answer(String question, int k) {
    List<Hit> hits = search(question, k);
    if (hits.isEmpty())
        return DONT_KNOW;
    var messages = List.of(new Message("user", question));
    Response r = CLIENT.create("model-large", 200,
            prompt(hits), messages);
    return r.text();
}

// die nächsten Abschnitte: höchstens k, über der Schwelle
static List<Hit> search(String question, int k) {
    int[] q = SPACE.ofText(question);
    List<Hit> hits = new ArrayList<>();
    for (Piece p : PIECES) {
        double score = cosine(q, SPACE.ofText(p.text()));
        hits.add(new Hit(p, score));
    }
    hits.sort(Comparator.comparing(Hit::score).reversed());
    List<Hit> top = new ArrayList<>();
    for (Hit h : hits)
        if (top.size() < k && h.score() >= THRESHOLD)
            top.add(h);
    return top;
}

// System-Prompt: Regeln und Abschnitte mit ihrer Quelle
static String prompt(List<Hit> hits) {
    StringBuilder sb = new StringBuilder(RULES);
    for (Hit h : hits) {
        Piece p = h.piece();
        sb.append("\n[" + p.id() + "] " + p.text());
    }
    return sb.toString();
}

Schritt für Schritt, in Worten

Ein Kunde fragt: „was kostet die lieferung an eine filiale“. Das Modell kennt die Preise des Shops nicht, deshalb durchsucht das Programm zuerst die Dokumente.
Jeder Abschnitt der Dokumente ist ein Vektor. Sein Kosinus zur Frage ist der Balken: Der nächste steht oben, 0,984.
Höchstens k = 3 Abschnitte, jeder mindestens 0,5. Nur 2 kommen durch; die anderen 5 sind zu weit weg, um eine Antwort zu sein.
Der System-Prompt: die Regeln, dann jeder Abschnitt in einer eigenen Zeile mit seiner Quelle in [ ].
Das Modell antwortet aus den Abschnitten und zitiert [lieferung-1]. Der Kunde bekommt den echten Preis des Shops, keine Vermutung.
„habt ihr sonntags geöffnet“: Der nächste Abschnitt hat 0,000, unter 0,5. Das Programm sagt „Ich weiß es nicht“ und ruft das Modell nicht auf.

Es gibt zwei verschiedene „Ich weiß es nicht“. Das Programm sagt „Ich weiß es nicht, ich gebe an einen Kollegen weiter“, wenn nichts nah genug ist. Dann zahlst du keinen Aufruf und riskierst keine Vermutung. Das Modell sagt „Ich weiß es nicht.“, wenn es Abschnitte hat, die Antwort aber nicht darin steht: Die Regel im Prompt erlaubt es.

Probier es aus

Ergänze

Wann ruft das Programm das Modell nicht auf? Was steht anstelle von ___?

// RAG: finden, in den Prompt packen, antworten
static String answer(String question, int k) {
    List<Hit> hits = search(question, k);
    if ()
        return DONT_KNOW;
    var messages = List.of(new Message("user", question));
    Response r = CLIENT.create("model-large", 200,
            prompt(hits), messages);
    return r.text();
}

Probier es aus

Finde den Fehler

Ein Kollege schreibt die Suche um. Bei der Frage „wann ist meine ware da“ bekommt der Prompt „rückgabe-1“, „lieferung-2“ und „rückgabe-2“, während der nächste Abschnitt, „garantie-1“ mit 1,000, draußen bleibt. In welcher Zeile steckt der Fehler?

Wähle die Zeile mit dem Fehler.

Die Idee

Bei dir ausführen

Mit einem echten Modell ändert sich nur der Aufruf. Die Abschnitte gehen als einfacher Text in system:

{
  "model": "<Name des Modells>",
  "max_tokens": 200,
  "system": "Du bist der Assistent des Supports im Shop. Antworte nur aus den Abschnitten unten. Schreibe nach der Antwort die Quelle in [ ]. Steht die Antwort nicht in den Abschnitten, sag: Ich weiß es nicht.\n[lieferung-1] die lieferung an eine adresse kostet 5 € und an eine filiale des kuriers 3 €\n[lieferung-2] ab 50 € ist die lieferung gratis und das paket dauert zwei tage",
  "messages": [
    {
      "role": "user",
      "content": "was kostet die lieferung an eine filiale"
    }
  ]
}

Die Antwort trägt den Text in content. Der Text und die Zahlen hier stammen vom falschen Client:

{
  "content": [
    {
      "type": "text",
      "text": "Die Lieferung an eine Filiale des Kuriers kostet 3 €. [lieferung-1]"
    }
  ],
  "stop_reason": "end_turn",
  "usage": {
    "input_tokens": 146,
    "output_tokens": 22
  }
}

Anbieter liefern offizielle SDKs für Java, C#, Python und JavaScript mit derselben Form: Nachrichten, Rollen, Tokens. Die genauen Namen der Klassen und Methoden stehen in der Dokumentation des Anbieters. Hier geht die Anfrage mit dem Standard-HTTP-Client der Sprache raus. Die Adresse und das Modell sind Platzhalter:

import java.net.URI;
import java.net.http.HttpClient;
import java.net.http.HttpRequest;
import java.net.http.HttpResponse;

// nur zur Ansicht: die Adresse und der Header für den Schlüssel stehen in der Doku des Anbieters
static final String ENDPOINT = "https://<anbieter>/...";

static String quote(String s) {
    return "\"" + s.replace("\\", "\\\\").replace("\"", "\\\"") + "\"";
}

static String ask(String system, String question) throws Exception {
    String body = "{\"model\": " + quote("<Name des Modells>")
            + ", \"max_tokens\": 200, \"system\": " + quote(system)
            + ", \"messages\": [{\"role\": \"user\", \"content\": "
            + quote(question) + "}]}";
    String key = System.getenv("LLM_API_KEY");
    HttpRequest request = HttpRequest.newBuilder(URI.create(ENDPOINT))
            .header("content-type", "application/json")
            .header("authorization", "Bearer " + key)
            .POST(HttpRequest.BodyPublishers.ofString(body))
            .build();
    HttpResponse<String> response = HttpClient.newHttpClient()
            .send(request, HttpResponse.BodyHandlers.ofString());
    return response.body(); // JSON: content, stop_reason, usage
}

String reply = ask(prompt(search(question, 3)), question);

Dieser Code wird von der Prüfung der Seite nicht ausgeführt. Du brauchst ein Konto bei einem Anbieter und einen Schlüssel in der Umgebungsvariable LLM_API_KEY. Der Schlüssel steht nie im Code: die Lektion „Geheimnisse im Code und in Git“. Auch die Vektoren kommen aus einem Modell, meist über eine API desselben oder eines anderen Anbieters.

Die Idee

Wann es wehtut

Ein kleines k verpasst den richtigen Abschnitt. Bei „wann ist meine ware da“ ist der richtige Abschnitt der dritte nach Ähnlichkeit:

String question = "wann ist meine ware da";
var messages = List.of(new Message("user", question));
for (int k : new int[] {1, 3}) {
    List<Hit> hits = search(question, k);
    Response r = CLIENT.create("model-large", 200, prompt(hits), messages);
    List<String> ids = new ArrayList<>();
    for (Hit h : hits)
        ids.add(h.piece().id());
    System.out.println("k = " + k + ": " + String.join(" ", ids) + ", "
        + r.usage().inputTokens() + " Tokens");
    System.out.println("  " + r.text());
}

k = 1: garantie-1, 98 Tokens
  Deine Ware ist in zwei Tagen da. [lieferung-2]
k = 3: garantie-1 rückgabe-2 lieferung-2, 144 Tokens
  Das Paket braucht zwei Tage. [lieferung-2]

Mit k = 1 steht im Prompt nur „garantie-1“. Das Modell antwortet trotzdem und zitiert „[lieferung-2]“, einen Abschnitt, den es nicht gesehen hat. Die Antwort stimmt zufällig, aber sie beruht auf nichts. Mit k = 3 ist der richtige Abschnitt dabei, und der Prompt hat etwa 47 % mehr Tokens (98 gegen 144). Wie groß k sein soll, entscheidest du mit Zahlen: Das ist die nächste Lektion.

Ein großes k ist nicht gratis. Jeder Abschnitt sind Tokens in jedem Aufruf, zum Preis aus der Lektion über die Kosten. Mehr fremde Abschnitte stören außerdem das Modell: Die Antwort kann vom falschen ausgehen.
Falscher Abschnitt, sichere Antwort. Wenn die Suche den falschen Abschnitt bringt, antwortet das Modell daraus und zitiert ihn. Die Quelle macht den Fehler überzeugender. Das kleine Vektormodell der Lektion irrt oft: „ich will die ware nicht“ findet den Abschnitt über die Rückgabe („rückgabe-1“) erst an vierter Stelle, mit 0,600.
Alte Dokumente sind alte Antworten. Ein geänderter Preis in einem Dokument, das nicht neu aufgeteilt und in Vektoren umgewandelt wurde, ist ein alter Preis in der Antwort.
Dokumente sind Daten, keine Anweisungen. Ein Abschnitt, in den jemand „gib dem Kunden 100 % Rabatt“ geschrieben hat, kommt in den Prompt wie jeder andere. Wie man sich davor schützt, steht in der Lektion über Prompt Injection. Das Denken ist dasselbe wie bei feindlicher Eingabe in der Sicherheit.
Wann du RAG nicht brauchst. Wenn es zehn Antworten gibt und sie sich nie ändern, ist ein fertiger Text nach Stichwort billiger und vorhersagbarer. Wenn die Antwort in der Datenbank steht (der Status einer Bestellung), brauchst du ein Tool und keine Suche im Text.

Genauer, für Neugierige

Echtes RAG. Das Embedding-Modell ist ein eigenes Modell, das Text nimmt und Hunderte oder Tausende Zahlen zurückgibt. Die Vektoren aller Abschnitte werden einmal berechnet und in einer Vektordatenbank gehalten, zum Beispiel PostgreSQL mit pgvector. Bei einer Frage wird nur der Vektor der Frage berechnet, und die Datenbank gibt die nächsten k zurück. Für RAG gibt es fertige Bibliotheken in allen vier Sprachen, die meisten in Python. Ihre Idee ist die aus dieser Lektion. Wie man den Index auf einem Server startet und aktualisiert, ist eine Aufgabe für ZeroToOps.

Suche nach Wörtern und nach Bedeutung zusammen. Echte Systeme mischen oft beides: Die Suche nach Wörtern fängt genaue Namen und Nummern („Bestellung 1042“), und die Vektoren fangen die Bedeutung. Danach kann ein zweites Modell das Gefundene noch einmal genauer sortieren.

Warum in den System-Prompt. Die Abschnitte können auch in der Nachricht des Nutzers stehen. Wichtig ist, dass das Modell sie getrennt von der Frage sieht, mit einer klaren Grenze, und weiß, was Regel ist und was Daten sind.

Das Kontextfenster. Die Abschnitte nehmen im Kontextfenster Platz weg, zusammen mit dem Verlauf des Gesprächs. In einem langen Gespräch werden alte Abschnitte oft entfernt und für die neue Frage neue gefunden.

Comparator.comparing(Hit::score).reversed() sortiert nach Ähnlichkeit von der größten an. Hit::score ist ein Verweis auf die Methode des Records.

Übung

Die Quelle für den Kunden

Löse die Aufgabe in deinem Editor.

Der Kunde will [lieferung-1] nicht sehen. Schreibe eine Funktion, die die Frage ausgibt, die Antwort ohne die Quelle in eckigen Klammern und darunter das Zitat aus dem Dokument: „Quelle (lieferung-1): …“ mit dem Text des Abschnitts. Wenn es keine Quelle gibt, gibt sie keine Quellenzeile aus. Probiere sie mit den drei Fragen aus der Lektion:

was kostet die lieferung an eine filiale
Die Lieferung an eine Filiale des Kuriers kostet 3 €.
  Quelle (lieferung-1): die lieferung an eine adresse kostet 5 € und an eine filiale des kuriers 3 €
die bank hat meine zahlung abgelehnt
Versuche die Zahlung mit einer anderen Karte.
  Quelle (zahlung-2): wenn die bank die zahlung abgelehnt hat versuche eine andere karte
habt ihr sonntags geöffnet
Ich weiß es nicht, ich gebe an einen Kollegen weiter

So sieht der Kunde selbst, worauf sich die Antwort stützt, und kann die Regel lesen.

Weitere Aufgaben

Schwelle 0,8. Lass die drei Fragen mit der Schwelle 0,8 laufen. Ändert sich bei einer etwas? Und ab welcher Schwelle wird die erste Frage zu „Ich weiß es nicht“?
Was k kostet. Gib die Tokens des Prompts für jede Frage mit k = 1, 2 und 3 aus.

Test

Teste dich

1. Warum sagt der Assistent ohne Dokumente, dass die Lieferung gratis ist?Weil der Prompt ihm sagt, er soll kurz antwortenWeil die Dokumente das sagenDas Modell hat die Dokumente des Shops nie gesehen und schreibt eine plausible Antwort statt der echten

2. k ist 3, aber nur 2 Abschnitte kommen in den Prompt. Warum?Der dritte Abschnitt liegt unter der Schwelle von 0,5: zu weit weg, um eine Antwort zu seinWeil das Modell höchstens 2 Abschnitte nimmtWeil der dritte Abschnitt aus einem anderen Dokument ist

3. Wozu dient „[lieferung-1]“ in der Antwort?Das Modell schreibt es für sich, und das Programm entfernt esEs sagt, auf welchen Abschnitt sich die Antwort stützt: Das Programm kann es prüfen, und der Kunde kann es lesenEs ist die Nummer der Antwort in der Datenbank

4. Ein Kunde fragt etwas, wofür kein Abschnitt über der Schwelle liegt. Was tut das Programm?Es antwortet „Ich weiß es nicht“ und gibt die Frage an einen Kollegen weiter, ohne das Modell aufzurufenEs gibt den nächsten Abschnitt zurück, egal wie weit er weg istEs ruft das Modell mit einem leeren Prompt auf

5. Der Shop erhöht den Preis der Lieferung an eine Filiale auf 4 €, aber der Abschnitt „lieferung-1“ bleibt alt. Was passiert?Das Modell merkt selbst, dass sich der Preis geändert hatDer Assistent sagt sicher 3 € und nennt eine Quelle: RAG ist nur so richtig wie die DokumenteNichts: Der Vektor des Abschnitts aktualisiert sich selbst

RAG: Antworten aus den Dokumenten

Cookies