Встречаем LLaMA-2! Сегодня компания Meta (которая, как вы наверное знаете, признана экстремистской в России) выложила в (почти) открытый доступ следующее поколение своих языковых моделей - LLaMA-2. Доступ почти открыт в том смысле, что для получения весов надо послать небольшой запрос, после чего на почту придёт адрес для скачивания.
Доступны модели 7, 13 и 70B параметров (должны была быть ещё 34B, но её не успели доделать), а также их chat-версии, обученные с помощью RLHF. Кроме того, объявили о партнерстве с Microsoft по этому поводу.
Я конечно не мог удержаться и не спросить LLaMA-7B-Chat про то, почему число пи больше 5. Ответ достаточно традиционный, приводится в картинке к этому посту. К слову, в этом эксперименте модель запускалась локально на ноутбуке Core i7 16Gb с помощью llama.cpp (в квантизированном до 4_1 bit формате).