Tether meluncurkan sistem QVAC: ponsel dapat menjalankan model LLAMA 3.2 untuk melakukan inferensi lokal

【Koin】Tether baru-baru ini memperkenalkan sistem QVAC yang baru diluncurkan, berhasil menjalankan model LLAMA 3.2 (1 miliar parameter) dengan llama.cpp di perangkat mobile, mencapai inferensi lokal yang efisien. QVAC adalah runtime inferensi umum dan fine-tuning, dirancang untuk menyesuaikan dengan berbagai perangkat terminal, termasuk smartphone, laptop, dan server, yang saat ini sudah mendukung beberapa model, dan akan memperluas dukungan model lebih banyak di masa depan.