Large language model runner

Устанавливаем LLaMa 2 на MacOS

26 августа, 2023
1 минута чтения

Для начала переходим по ссылке и устанавливаем приложение которое весит 182 Мб. Распаковываем архив и загружаем его. После этого добавляем алиас ollama прокликивая далее в интерфейсе. Когда закончите, устанавливаете 7B model (весит около 3.8 Гб):

ollama pull llama2

Если скачивание прервалось (unexpected end to pull model), попробуйте повторить этой же командой.

Вы также можете установить 13B model (весит около 7.3 Гб), но учтите, что для запуска потребуется более 9 Гб VRAM:

ollama pull llama2:13b

После завершения установки, перезагружаем терминал и можем можно включать ollama. Для запуска чат-бота воспользуйтесь следующей командой::

ollama run llama2

На моем Macbook Air 2020 работает достаточно шустро. Далее вы можете настроить самостоятельно модели через CLI ollama. Для версии 0.0.16 доступны следующие команды:

  • serve — запустить экземпляр ollama
  • create — создать модель из Modelfile
  • run — начать диалог
  • pull — спулить модель из реестра
  • push — запушить модель в реестр
  • list — отобразить список моделей
  • cp — скопировать модель
  • rm — удалить модель

Денис Сергеевич Басковский

Философ, изобретатель и поэт.

Подписаться
Уведомить о
guest
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии
airdrop solana
Предыдущая статья

Как добавить AirDrop в Solana

saiga
Следующая статья

Используем русский LLM — Saiga