Исследователи из EXO Labs, объединившие специалистов Оксфордского университета, провели уникальный эксперимент - им удалось запустить современную языковую модель искусственного интеллекта на винтажном компьютере Pentium II под управлением Windows 98.
Компьютер Elonex с процессором 350 МГц и 128 МБ оперативной памяти смог не только запустить модель на базе кода Llama2.c, но и генерировать связные тексты со скоростью около 40 токенов в секунду. Правда, это удалось достичь только на небольшой модели с 260 000 параметров. При увеличении размера до 1 миллиарда параметров производительность резко упала до 0.0093 токенов в секунду.
Ключом к успеху стала разработанная EXO Labs архитектура BitNet, использующая тернарные веса для радикального уменьшения размера моделей. Благодаря этому подходу даже модель с 7 миллиардами параметров занимает всего 1.38 ГБ памяти. А модель со 100 миллиардами параметров способна работать на обычном процессоре со скоростью, соответствующей человеческому чтению - 5-7 токенов в секунду.
Главная цель проекта - сделать искусственный интеллект доступным на самых простых устройствах, не требуя дорогих видеокарт и серверного оборудования. Это должно помочь демократизировать доступ к ИИ и предотвратить монополизацию технологии крупными технологическими компаниями.
EXO Labs приглашает всех желающих присоединиться к разработке проекта и развитию локально запускаемых моделей искусственного интеллекта.