Локальные модели наконец-то сравнялись с облачными в большинстве бытовых задач. Запуск на собственном железе даёт приватность, мгновенный отклик и нулевые счета за API.

Что понадобится

  • Видеокарта с 8–12 ГБ памяти
  • Квантованная модель в формате GGUF
  • Рантайм вроде llama.cpp или Ollama

С чего начать

Дистилляты 7–13B — золотая середина: они отвечают быстрее, чем вы успеваете дочитать вопрос, а качество держится на уровне прошлогодних флагманов.

Правило большого пальца: если задача решается регуляркой — не зови модель.

Начните с малого: суммаризация заметок, черновики писем, генерация тестов. Через месяц вы не поймёте, как работали раньше.