Свой ИИ на своём компьютере в один клик: Local AI (бесплатно, без регистрации, без интернета в чате)
⋮
Печать
Страницы:← 1 ...  11 12  ОТВЕТИТЬ НОВАЯ ТЕМА
БроЛысина 4 ноя 2026 в 11:35
Ярила  •  На сайте 1 год
0
Можно и на телефоне запускать (андроид, к примеру через OnDeviceLLM), но зачем?

По сути, если железо не топовое - смысла мало (особенно для более комплексных задач, чем просто "вопрос - ответ"). При этом, хорошее железо тоже не гарантирует гладкую и сносную работу (не все возможности железок поддерживаются программно и реализованы на весь потенциал). На среднем домашнем пк модели на 4-8 млрд параметров начнут заикаться, резать ответы и уходить в постоянный "loop". При этом, эти модели на уровне гпт 3 - 3.5.

Про нормальный поиск онлайн, работу с картинками и прочее - вообще молчу.
timonsterrr 4 ноя 2026 в 11:39
Ярила  •  На сайте 12 лет
0
Ну, мягко говоря - хз зачем. Уже куча инструментов на любой вкус, для локального запуска. В т.ч. и с поддержкой всего и вся, и апи своим и mcp и агентов там же и ТД и тп.
timonsterrr 4 ноя 2026 в 11:42
Ярила  •  На сайте 12 лет
0
Цитата (БроЛысина @ 4 ноя 2026 в 11:35)
Можно и на телефоне запускать (андроид, к примеру через OnDeviceLLM), но зачем?

По сути, если железо не топовое - смысла мало (особенно для более комплексных задач, чем просто "вопрос - ответ"). При этом, хорошее железо тоже не гарантирует гладкую и сносную работу (не все возможности железок поддерживаются программно и реализованы на весь потенциал). На среднем домашнем пк модели на 4-8 млрд параметров начнут заикаться, резать ответы и уходить в постоянный "loop". При этом, эти модели на уровне гпт 3 - 3.5.

Про нормальный поиск онлайн, работу с картинками и прочее - вообще молчу.

На 8гб видеопамяти (rtx 4060) самое адекватное, что я запускал:
Gemma 4 e4b
Qwen 3.5 9b
При том гемма ещё и мультимодальная и в вызов инструментов умеет, т.е. в полное себе в режиме агента, хоть и простенького.

НО! С окном контекста около 40к токенов.
Для анализа не оч крупных документов, парсинга страниц, небольших задач - норм.

Скорость:
Qwen около 35-40 токенов в сек
Гемма - 55 +-

Что вполне норм для локальной работы. Часами ждать результата не надо.

Это сообщение отредактировал timonsterrr - 4 ноя 2026 в 11:55
timonsterrr 4 ноя 2026 в 11:54
Ярила  •  На сайте 12 лет
0
Цитата (DaoDao @ 4 ноя 2026 в 01:17)
Цитата (Мишкасшишкой @ 4 ноя 2026 в 01:03)
ну и что мешает собрать llama.cpp и использовать multigpu?

пока того, что имеется , вполне достаточно для моей работы. Данные карты и текущий софт выполняют свои функции прекрасно, заменяя P100 на V100/32ГБ решатся проблемы с размерами ллм и на пару-тройку лет их будет достточно

V100...ну...сильно устарело, современные архитектуры не поддерживает. Они уже толком никому не нужны

Sm70 архитектура. Нет поддержки современных форматов сжатия fp8, int4, из за чего хоть памяти и 32, а толкового особо ничего не загрузить. Ну и кушац электричество хорошо любит.

Понимаю, что дёшево...но потому и дёшево, что уже никому оно не надо.
БроЛысина 4 ноя 2026 в 11:58
Ярила  •  На сайте 1 год
0
timonsterrr, как парсинг страниц реализовали? Через олламу пользуете, лмсудио или другое? Я пробовал пару плагинов для лмстудио - либо не работает, либо работает криво (даже не парсинг, а тупо поиск).

У меня с железом сильно хуже )) Райзен 5 без дискрентой видео, 16 гб рам. Ноутбук покупался совсем для других целей ;))

Gemma 4 e4b работает примерно 13-15 токенов / сек (не юзабельно)
Модели на 2 млрд параметров дают 20-30 токенов, но даже модель на 4 млрд - это для очень специфических задач
nikmil 4 ноя 2026 в 12:04
Юморист  •  На сайте 16 лет
0
Цитата (timonsterrr @ 4 ноя 2026 в 11:54)
Sm70 архитектура. Нет поддержки современных форматов сжатия fp8, int4, из за чего хоть памяти и 32, а толкового особо ничего не загрузить. Ну и кушац электричество хорошо любит.


А что не загрузишь? Qwen3.8-27B в 5-м кванте с контекстом до 192К полностью влазит. А это - очень хорошая модель. Скорость в районе 40-50 т/сек.
Префил - да, медленный. Но опять же - если продолжать задачу, 50-70К токенов за пару тройку минут прожевывает, и дальше нормально работает (если кеширование в оперативку правильно настроить).
DaoDao 4 ноя 2026 в 12:45
Ярила  •  На сайте 14 лет
0
Цитата (timonsterrr @ 04.11.2026 - 11:54)
V100...ну...сильно устарело, современные архитектуры не поддерживает. Они уже толком никому не нужны

Понимаю, что дёшево...но потому и дёшево, что уже никому оно не надо.

с одной стороны устарела, с другой - даже на тех ЛЛМ , что работают с картой , при правильном программировании, обрабатываются довольно сложные задачи и выдают очень точные результаты. при этом стоимость железа в разы меньше современного оборудования.

Размещено через приложение ЯПлакалъ
Echisa 4 ноя 2026 в 13:33
Поганище  •  На сайте 7 лет
0
Цитата (OlegChe77 @ 3 ноя 2026 в 08:17)
«Local AI» — бесплатная программа для Windows.


Вот где-бы к ней железо бесплатное раздобыть, чтобы все это тянуло ещё.....
Архатип 4 ноя 2026 в 13:35
Ярила  •  На сайте 5 лет
0
Что за [cencored] ИИ?
Понравился пост? Ещё больше интересного в ЯП-Телеграм и ЯП-Max!
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
21 Пользователей читают эту тему (1 Гостей и 1 Скрытых Пользователей) Просмотры темы: 16 622
19 Пользователей: Papi, Labos, tot86, НТЭАМТС, Mostag, Margaritov, Alan75, Avataristche, zuev100, Nettobrutto, dieter1973, Rifle77, SarmaFoka, MZFker, balamut74, ЗлойГамадрил, dutchpassion, СантаМария, Faramir02
Страницы:← 1 ...  11 12  ОТВЕТИТЬ НОВАЯ ТЕМА

 
 

Активные темы



Наверх