Tag: quantization algorithm

TurboQuant của Google: Nén LLM mượt đến mức chạy được trên máy 'cùi bắp'?

Google vừa thả xích TurboQuant, thuật toán nén LLM xuống 3-bits mà không giảm độ khôn. Giấc mơ chạy model to trên laptop 16GB RAM của anh em dev đã tới?