Тема: квантизация
Сжатие весов без заметной потери качества.
Записей: 1все темы
-
Квантизация в 4 бита без боли: чем Q4_K_M отличается от AWQ
Сравниваю три схемы 4-битной квантизации на одной модели: что теряется в качестве, где выигрыш по памяти, и почему «4 бита» у разных инструментов означает разное.