Тема: токенизация
Как текст превращается в токены и почему это важно для бюджета.
Записей: 1все темы
-
Почему ваш счётчик токенов врёт на русском тексте
Токенизатор обучен на английском, и на кириллице он разваливает слова на куски. Что это значит для бюджета и длины контекста.