О чём этот блог
Я пишу про нейросети с точки зрения инженера, который их эксплуатирует: сколько памяти занимает модель, сколько токенов уходит на задачу, где заканчивается демо и начинается прод. Мне интересны замеры, а не обещания, поэтому почти в каждой записи есть цифры и условия, при которых они получены.
Темы
Основных направлений четыре: инференс и квантизация, тонкая настройка моделей, поиск по своим данным (RAG) и агентные схемы. Отдельно — оценка качества: без своего набора задач любой вывод про «стало лучше» остаётся вкусовым.
Как я работаю
- Сначала воспроизводимый замер, потом мнение.
- Условия эксперимента описываю целиком, включая то, что не сработало.
- Если результат зависит от данных — показываю данные, а не вывод.
Связь
Почта: hello@p.my01.ru. Отвечаю на письма по существу; просьбы «оцените идею» без деталей, к сожалению, пропускаю.
Всего записей: 8, тем: 13. Подписка — RSS.