#AI: модель на 27B параметров запустили на айфоне 🔭
😐 Ранее писали как MIT впихнул 8B-модель в айфон. PrismML пошли дальше - засунули в телефон 27B-флагман уровня Qwen 3.6 и Sonnet.
PrismML сжали Qwen3.6-27B до Bonsai 27B - первая модель такого класса которая реально бегает на смартфоне. Мультимодалка: видит скриншоты, документы, картинку с камеры, а не только текст.
Как влезли в телефон:
1-битная версия весит 3.9 гига и держится в памяти айфона 17 Pro. При этом сохраняет ~90% качества оригинального Qwen3.6-27B и тянет контекст на 262к токенов.
Скорость на железе:
🟢iPhone 17 Pro: 11 tok/s
🟢MacBook M5 Max: 87 tok/s
🟢RTX 5090: 163 tok/s
На телефоне пока медленно - 11 токенов в секунду это не про комфортный чат, зато лицензия Apache 2.0 и всё лежит на Hugging Face, качай и запускай. Год назад в карман влезали только игрушечные обрубки, а теперь туда лезет флагман - скорость подтянут, тренд важнее.
К чему это идёт:
Сначала квантованные модели для галочки, дальше - приватные персональные агенты прямо на телефоне без единого запроса в облако. Данные не улетают, подписки не нужны.
🗒 AI продолжает переезжать из облака в карман - Bonsai затащил в айфон то за что облачные API берут деньги. Как поднять и настроить локального агента у себя разбираем в ИИ-клубе.
Slavik | Updates | Инстаграм | ИИ Клуб