Градиент https://p.my01.ru/ Личный блог о нейросетях: квантизация и инференс, тонкая настройка, оценка качества, RAG и агенты. Без хайпа, с замерами. ru Wed, 07 Oct 2026 04:20:00 +0300 Квантизация в 4 бита без боли: чем Q4_K_M отличается от AWQ https://p.my01.ru/q4-kvantizatsiya-na-praktike.html https://p.my01.ru/q4-kvantizatsiya-na-praktike.html Tue, 06 Oct 2026 09:30:00 +0300 Сравниваю три схемы 4-битной квантизации на одной модели: что теряется в качестве, где выигрыш по памяти, и почему «4 бита» у разных инструментов означает разное. LoRA против полного файнтюна: где ломается интуиция https://p.my01.ru/lora-protiv-fine-tune.html https://p.my01.ru/lora-protiv-fine-tune.html Sun, 04 Oct 2026 09:30:00 +0300 Адаптеры почти всегда выигрывают по ресурсам, но не всегда по результату. Разбираю, в каких задачах разница принципиальна, а в каких её нет. Почему ваш счётчик токенов врёт на русском тексте https://p.my01.ru/schetchik-tokenov-vret.html https://p.my01.ru/schetchik-tokenov-vret.html Fri, 02 Oct 2026 09:30:00 +0300 Токенизатор обучен на английском, и на кириллице он разваливает слова на куски. Что это значит для бюджета и длины контекста. RAG, который не врёт: гибридный поиск и переранжирование https://p.my01.ru/rag-kotoryy-ne-vret.html https://p.my01.ru/rag-kotoryy-ne-vret.html Tue, 29 Sep 2026 09:30:00 +0300 Векторный поиск в одиночку проигрывает там, где нужны точные термины. Показываю схему на трёх шагах, которая перестала выдумывать ответы. Почему агентные демо разваливаются на двенадцатом шаге https://p.my01.ru/agenty-razvalivayutsya.html https://p.my01.ru/agenty-razvalivayutsya.html Fri, 25 Sep 2026 09:30:00 +0300 Короткое демо впечатляет, длинная цепочка — нет. Разбираю, где накапливается ошибка и какие три ограничителя её сдерживают. Что на самом деле изменило внимание в архитектурах https://p.my01.ru/vnimanie-vmesto-rnn.html https://p.my01.ru/vnimanie-vmesto-rnn.html Sun, 20 Sep 2026 09:30:00 +0300 Трансформер выиграл не «умом», а параллелизмом и длиной зависимостей. Разбираю это на пальцах, без формул ради формул. Локальный инференс на 8 ГБ: что реально влезает https://p.my01.ru/lokalnyy-inferens-8gb.html https://p.my01.ru/lokalnyy-inferens-8gb.html Sun, 13 Sep 2026 09:30:00 +0300 Практическая таблица: какие модели и в каком сжатии живут на одной карте, и на чём приходится экономить. Оценка моделей без хайпа: свой бенчмарк за вечер https://p.my01.ru/svoi-benchmark-za-vecher.html https://p.my01.ru/svoi-benchmark-za-vecher.html Fri, 04 Sep 2026 09:30:00 +0300 Публичные лидерборды отвечают не на ваш вопрос. Как собрать свой набор задач, который переживёт смену трёх моделей.