Към съдържанието
wannacode

Нарязване на документи (chunking)

Накратко: Нарязването (chunking) дели документа на парчета по думи или изречения, със застъпване, така че всяко парче да има свой вектор, а отговорът да не се среже.

Проблем

Цялата страница в един вектор

Магазинът има политика за връщане. Тя е една страница с шест изречения:

// политиката за връщане: шест изречения
static final String[] POLICY = {
    "можете да върнете стоката до 14 дни от доставката",
    "стоката трябва да е в оригиналната опаковка",
    "куриер ще я вземе от адреса ви безплатно",
    "парите се връщат по картата до пет дни",
    "стоки с ваш надпис не се връщат",
    "за повреда пишете ни до два дни",
};


// въпросът на клиента
static final String QUESTION = "кога ще ми върнат парите по картата";

Клиентът пита „кога ще ми върнат парите по картата“. Отговорът е четвъртото изречение. Ако цялата страница е един текст в индекса, тя е един вектор:

System.out.println("думи: " + words.length);
String doc = String.join(" ", POLICY);
System.out.printf("целият документ: %.3f%n", cosine(v, space.ofText(doc)));
System.out.printf("изречението с отговора: %.3f%n", cosine(v, space.ofText(POLICY[3])));
Изход
думи: 46
целият документ: 0.710
изречението с отговора: 0.874

Цялата страница е 0,710, а изречението с отговора само е 0,874. Векторът на страницата е смес от шест теми: срок, опаковка, куриер, пари, изключения, повреди. Колкото по-дълга е страницата, толкова повече се размива. В база с много документи такава страница губи от кратки текстове, които изобщо не отговарят на въпроса.

А ако все пак бъде намерена, в промпта отиват всичките 46 думи заради 8. Истинските политики са хиляди думи, и три такива страници пълнят прозореца на контекста и сметката.

Идеята

Парчета

Документът се реже на парчета (chunks), преди да влезе в индекса. Всяко парче е отделен запис: своят текст, своят вектор и кой документ е. Търсенето от предишния урок намира парчето, а не цялата страница.

Най-простото рязане е по брой думи: първите 10 думи, следващите 10 и така до края. За векторите в урока ползваме същия модел като в урока за векторите, с две разлики: той се учи и от текста на политиката (иначе думите ѝ са непознати), и има 16 оси вместо 8. Всички парчета са за връщане и с 8 оси се различават слабо.

List<String> all = new ArrayList<>(List.of(TEXT));
all.addAll(List.of(POLICY));
Space space = new Space(all.toArray(new String[0]), STOP, 16);
String[] words = String.join(" ", POLICY).split(" ");
int[] v = space.ofText(QUESTION);

Виж го

Парчета по 10 думи

Функцията реже думите на парчета. Засега застъпването е 0: всяко парче започва там, където свършва предишното.

// парчета по size думи; стъпката е size - overlap
static List<String> chunk(
        String[] words, int size, int overlap) {
    List<String> pieces = new ArrayList<>();
    int step = size - overlap;
    for (int from = 0; from < words.length; from += step) {
        int end = Math.min(from + size, words.length);
        var part = Arrays.copyOfRange(words, from, end);
        pieces.add(String.join(" ", part));
        if (end == words.length)
            break;
    }
    return pieces;
}

Друга функция печата всяко парче с близостта му до въпроса и кое е най-близко:

// всяко парче с близостта му; най-близкото накрая
static void show(Space space, int[] v, List<String> pieces) {
    int best = 0;
    double top = -1;
    for (int i = 0; i < pieces.size(); i++) {
        String p = pieces.get(i);
        double c = cosine(v, space.ofText(p));
        System.out.printf("%d %.3f %s%n", i + 1, c, p);
        if (c > top) {
            top = c;
            best = i;
        }
    }
    System.out.println("→ " + (best + 1));
}
show(space, v, chunk(words, 10, 0));
Изход
1 0.652 можете да върнете стоката до 14 дни от доставката стоката
2 0.174 трябва да е в оригиналната опаковка куриер ще я вземе
3 0.815 от адреса ви безплатно парите се връщат по картата до
4 0.745 пет дни стоки с ваш надпис не се връщат за
5 0.632 повреда пишете ни до два дни
→ 3

Най-близко е парче 3 (0,815). То свършва на „по картата до“, а „пет дни“ е в парче 4. Моделът ще прочете „парите се връщат по картата до“ и няма да знае колко. Срезът е паднал точно в средата на отговора.

Идеята

Застъпване

Срезът е сляп: не знае къде свършва изречението. Поправката е застъпване (overlap): всяко парче започва малко преди края на предишното. С парчета по 10 думи и застъпване 4 всяко парче започва 6 думи след предишното, а последните му 4 думи са първите 4 на следващото.

Така краищата се повтарят и изречение, срязано в едно парче, е цяло в съседното. Цената е повече парчета и повторени думи.

Виж го

Със застъпване 4

show(space, v, chunk(words, 10, 4));
Изход
1 0.652 можете да върнете стоката до 14 дни от доставката стоката
2 0.436 дни от доставката стоката трябва да е в оригиналната опаковка
3 0.147 е в оригиналната опаковка куриер ще я вземе от адреса
4 0.531 я вземе от адреса ви безплатно парите се връщат по
5 0.874 парите се връщат по картата до пет дни стоки с
6 0.745 пет дни стоки с ваш надпис не се връщат за
7 0.732 не се връщат за повреда пишете ни до два дни
→ 5

Сега най-близко е парче 5 (0,874) и то държи цялото изречение: „парите се връщат по картата до пет дни“. Парчетата са 7 вместо 5.

// парчета по size думи; стъпката е size - overlap
static List<String> chunk(
        String[] words, int size, int overlap) {
    List<String> pieces = new ArrayList<>();
    int step = size - overlap;
    for (int from = 0; from < words.length; from += step) {
        int end = Math.min(from + size, words.length);
        var part = Arrays.copyOfRange(words, from, end);
        pieces.add(String.join(" ", part));
        if (end == words.length)
            break;
    }
    return pieces;
}


int[] v = space.ofText(QUESTION);
show(space, v, chunk(words, 10, 0));
Стъпка по стъпка, с думи
  1. Политиката за връщане: 46 думи. В оранжево е изречението с отговора: „парите се връщат по картата до пет дни“.
  2. Парчета по 10 думи без застъпване: 5 парчета, едно след друго.
  3. Близостта на всяко парче до въпроса. Най-близко е парче 3 (0,815).
  4. Но парче 3 свършва на „по картата до“: „пет дни“ е в следващото парче. Отговорът е срязан.
  5. Застъпване 4: всяко парче започва 6 думи след предишното и краищата се повтарят. 7 парчета.
  6. Най-близко е парче 5 (0,874) и то държи цялото изречение.
  7. Без застъпване отговорът е срязан между две парчета, а със застъпване едно парче го държи цял. Цената: 7 парчета вместо 5 и повторени думи.

Пробвай

Предвиди изхода

Изречение от 8 думи на парчета по 4 със застъпване 1. Колко парчета излизат?

String[] ws = "доставката до офис на куриер струва 3 евро".split(" ");
System.out.println(chunk(ws, 4, 1).size());
Отговор

Пробвай

Попълни

С колко думи по-късно започва всяко следващо парче? Какво стои на мястото на ___?

// парчета по size думи; стъпката е size - overlap
static List<String> chunk(
        String[] words, int size, int overlap) {
    List<String> pieces = new ArrayList<>();
    int step = size - ;
    for (int from = 0; from < words.length; from += step) {
        int end = Math.min(from + size, words.length);
        var part = Arrays.copyOfRange(words, from, end);
        pieces.add(String.join(" ", part));
        if (end == words.length)
            break;
    }
    return pieces;
}

Пробвай

Намери грешката

Колега реже със застъпване 4, но част от политиката не е в нито едно парче. На кой ред е грешката?

Избери реда с грешката.

Идеята

По изречения

Брой думи е грубо. Документите имат естествени граници: изречения, абзаци, заглавия. Ако парчето е цяло изречение, отговорът не се срязва:

show(space, v, List.of(POLICY));
Изход
1 0.670 можете да върнете стоката до 14 дни от доставката
2 0.312 стоката трябва да е в оригиналната опаковка
3 0.031 куриер ще я вземе от адреса ви безплатно
4 0.874 парите се връщат по картата до пет дни
5 0.837 стоки с ваш надпис не се връщат
6 0.632 за повреда пишете ни до два дни
→ 4

Изречението с отговора печели (0,874). Но виж изречение 3: „куриер ще я вземе от адреса ви безплатно“, 0,031. „я“ е стоката от предишното изречение. Само по себе си парчето не казва нито какво взема куриерът, нито че е за връщане. Ако клиентът пита „идва ли куриер за връщането“, това парче губи част от смисъла си.

Затова истинските системи пазят връзката: слагат заглавието на документа и на раздела пред всяко парче, добавят по едно изречение от съседите или режат по абзаци. И пазят към всяко парче откъде е: документ, раздел, място. По това отговорът цитира източника.

Идеята

Кога боли

  • Твърде малки парчета губят смисъла: „до 14 дни“ без думата „връщане“ не казва за какво са 14-те дни.
  • Твърде големи парчета се размиват като цялата страница и пълнят промпта.
  • Застъпването носи повторения. Парчета 5 и 6 имат едни и същи думи. Ако и двете са сред първите k, в промпта влиза повторен текст. Съседни парчета от един документ се сливат, преди да отидат при модела.
  • Таблици, списъци и код не се режат по брой думи. Срязаният ред от таблица с цени е безсмислен: такива документи се режат по структурата си.
  • Смениш ли рязането, сменяш индекса. Всички парчета се режат и смятат наново.

Няма размер, който е верен за всички документи. Размерът и застъпването се избират с тестов набор от въпроси, както при k в предишния урок: виж оценяването.

По-точно, за любопитните

Размерът в истинските системи. Парчетата се мерят в токени, не в думи: често са от 200 до 800 токена със застъпване от 10 до 20% (примерни числа). Колко токена е един текст, е в урока за токените. Тук парчетата са по 10 думи, а изреченията са почти толкова дълги, затова и застъпването е голямо.

Кога застъпването пази отговора цял. Изречение от L думи е цяло в някое парче, ако L ≤ overlap + 1. С застъпване 4 това са изречения до 5 думи. По-дълго изречение е цяло само ако някой срез падне точно преди него: в упражнението се вижда, че това зависи от местата на срезовете.

Рязане по смисъл. Някои системи режат там, където векторите на съседните изречения се разминават: смяната на темата е граница. Това струва по едно извикване на модела за вектори на изречение.

Упражнение

Проверка на рязането

Реши в редактора си.

Напиши проверка: за парчета по 10 думи и застъпване от 0 до 4 намери най-близкото парче до въпроса и отпечатай колко са парчетата, близостта и дали парчето държи цялото изречение с отговора.

Изход
застъпване 0: 5 парчета, 0.815, отговорът е цял: не
застъпване 1: 5 парчета, 0.745, отговорът е цял: не
застъпване 2: 6 парчета, 0.874, отговорът е цял: да
застъпване 3: 7 парчета, 0.892, отговорът е цял: не
застъпване 4: 7 парчета, 0.874, отговорът е цял: да

Застъпване 2 и 4 държат отговора цял, а 1 и 3 не. При застъпване 3 близостта е най-висока (0,892), но парчето свършва на „до пет“ и думата „дни“ е отрязана. По-голяма близост не значи цял отговор. Дали отговорът е цял, зависи от това къде падат срезовете, затова такава проверка се пуска при всяка смяна на рязането.

Още задачи

  • Изречения до 16 думи. Слепвай цели изречения в парче, докато не минат 16 думи. Кое парче е най-близо?
  • Без повторения. Ако две от първите k парчета се застъпват, слей ги в едно.

Тест

Провери се

1. Защо дълъг документ не се слага в индекса като един вектор?
2. Парчета по 10 думи със застъпване 4. На колко думи една от друга започват?
3. Какво се губи, когато всяко изречение е отделно парче?
4. Застъпването е 4, а най-близките k = 3 парчета са 5, 6 и 7. Какъв е проблемът?

Създаден от Иво Гергов като част от кампанията на Evo Tech за достъпно обучение по програмиране ·