ИИтог

Llmspeed: сайт оценивает скорость локальной нейросети до покупки железа

инструментыРедакция ИИтогHacker News🔥55Рейтинг ИИтог55Влияние40Новизна45Релевантность90Неожиданность35Участники10Достоверность50

Llmspeed (llmspeed.dev), сайт с девизом «почувствуйте скорость локальной LLM до покупки». На главной странице задан вопрос «Насколько быстро будет работать ваша локальная модель?», а дальше пользователю предлагают выбирать либо устройство, либо модель.

Раздел «Просмотр по железу» содержит 30 позиций. Среди них потребительские видеокарты NVIDIA (RTX 3060 12GB, RTX 3090 24GB, RTX 4090 24GB, RTX 5090 32GB, RTX 5060 Ti, 5070 Ti и 5080 с 16GB, RTX PRO 6000 96GB, Tesla V100 32GB, DGX Spark 128GB), карты AMD (RX 7900 XTX 24GB, RX 7900 XT 20GB, RX 9070 XT 16GB, Radeon AI PRO R9700 32GB, Instinct MI50 32GB), Intel Arc Pro B70 32GB, компьютеры Apple (Mac Studio M5 Ultra на 256 и 512GB, Mac Studio M3 Ultra 512GB, Mac Studio M4 Max 128GB, MacBook Pro M5 Max 128GB и M5 Pro 48GB, Mac mini M5 Pro 64GB, MacBook M4 Pro 24GB), гибридные процессоры AMD Ryzen AI Max+ 395 128GB (Strix Halo) и Ryzen AI Max+ PRO 495 192GB (Gorgon Halo), ноутбучная NVIDIA RTX Spark N1X 128GB, вариант без видеокарты (CPU-only: Ryzen 9 9950X, 96GB DDR5) и два облачных ускорителя, H100 80GB и H200 141GB.

Раздел «Просмотр по модели» включает 15 моделей: несколько версий Qwen (3.6/3.8 27B, 3.8 Flash-Next, 3.5/3.6 35B A3B, 3.5 9B), GLM-5.3 и GLM-5.3 Flash, Gemma 4 в вариантах 12B, 26B A4B и 31B, GPT-OSS 20B и 120B, DeepSeek V4 Flash и V4.1 Flash, Llama 3.1 8B и Nemotron 3.5 Lightning 30B A3B.

Внизу страницы сделаны важные оговорки. Цифры, это оценки для короткого запроса на одном устройстве. Измеренные значения взяты из пользовательских тестов производительности (r/LocalLLaMA, localscore.ai и других), остальные выведены по похожим конфигурациям или рассчитаны по характеристикам железа. Проект имеет открытый исходный код на GitHub.

Ключевые факты

  • Llmspeed (llmspeed.dev) позволяет заранее оценить, как быстро локальная языковая модель будет работать на выбранном устройстве.
  • Каталог можно просматривать двумя способами: по железу (30 позиций, от RTX 3060 до облачных H100 и H200) и по модели (15 моделей).
  • Цифры, оценки для короткого запроса на одном устройстве; измеренные взяты из тестов сообщества (r/LocalLLaMA, localscore.ai и других).
  • Остальные значения выведены по похожим конфигурациям или спроецированы по характеристикам железа.
  • Исходный код проекта открыт на GitHub.

Почему это важно

Главный вопрос при покупке железа для локальных моделей, не только поместится ли модель в память, но и насколько быстро она будет отвечать. Llmspeed собирает такие оценки в одном месте и делит их по железу и по модели, что упрощает сравнение до покупки. В списке есть и самые свежие позиции вроде Mac Studio M5 Ultra и Ryzen AI Max+, и старые карты вроде Tesla V100 и RTX 3060.

Кому это важно

Тем, кто выбирает видеокарту, Mac или мини-ПК для запуска моделей у себя: энтузиастам локальных нейросетей, разработчикам, оценивающим бюджет на железо. Список охватывает потребительские карты NVIDIA и AMD, Intel Arc, компьютеры Apple, процессорный вариант без видеокарты и два облачных ускорителя для сравнения.

Как это применить

Можно зайти на llmspeed.dev и выбрать либо устройство, чтобы увидеть, как на нём пойдут нужные модели, либо модель, чтобы подобрать подходящее железо. Сервис описывается как инструмент, который даёт почувствовать скорость; сведений об устройстве, стоимости или условиях использования страница не даёт, а исходный код открыт на GitHub.

Можно ли доверять

Сам сайт честно оговаривает, что это оценки для короткого запроса на одном устройстве. Часть цифр, измерения из сообществ (r/LocalLLaMA, localscore.ai и других), часть выведена по похожим конфигурациям или рассчитана по спецификациям. В тексте страницы не указано, какая доля значений измерена, а какая спрогнозирована, поэтому для дорогой покупки стоит сверять конкретное сочетание «железо, модель» с независимыми замерами.

Риски и подводные камни

Оценка для короткого запроса на одном устройстве может не отражать работу с длинным контекстом или на нескольких устройствах. На странице нет данных о квантовании и программе для запуска модели, а они сильно влияют на скорость. Спрогнозированные по характеристикам значения для новых или редких конфигураций могут заметно отличаться от реальных.