Свой ИИ на своём компьютере в один клик: Local AI (бесплатно, без регистрации, без интернета в чате)

Цитата (Angelberth @ 3 ноя 2026 в 14:23)

А можно узнать - нахуя оно, если ollama и LMStudio и так существуют? Какое-то изобретение велосипеда получается.

мне кажется вы заблуждаетесь. посмотрите проект strata. Люди точат под конкретную модель. Qwen 3.8 27B фантастические цифры показывает.

Цитата (murla @ 3 ноя 2026 в 15:04)

Цитата (orda72 @ 3 ноя 2026 в 14:58) 512 ГБ агентам площадь нарезать!!!! с 10 агентов запустить под присмотром) Верно. Но не дома же новогодний семейный "клип" ваять! Тут ЗАДАЧИ нужны, которые за спасибо не делаются.

Ну так и я о чем))) Нафига тратить деньги на локальный LLM. который убог по определению на потребительском железе (тут первичен даже не вопрос поместятся веса или нет) ввиду ограничения на контекст))) Пользуйся API. И будет тебе счастья вагон. А если ты понимаешь что тебе нужен закрытый контур то явно установишь без программы - помогалки)))) ИМХО если че!!!

Цитата (Bobrius @ 3 ноя 2026 в 08:20)

Биток на левого дядю майнит?

почему на левого, сразу понятно олег!

Цитата (orda72 @ 3 ноя 2026 в 14:49)

Простите, а где вы увидели "решение за других"? Каждый из нас волен выражать на данном сайте свое мнение. если оно не оскорбляет других.

Например вот тут) Вы решаете нужна или нет, более того называете те, что вам не понятно херней))

Цитата (orda72 @ 3 ноя 2026 в 13:17)

Не нужна. Не майтесь херней.

Цитата (orda72 @ 3 ноя 2026 в 14:49)

Цитата (Japansgod @ 3 ноя 2026 в 13:43) Цитата (orda72 @ 3 ноя 2026 в 14:21) Цитата (Japansgod @ 3 ноя 2026 в 13:15) Цитата (OlegChe77 @ 3 ноя 2026 в 13:16) Цитата (orda72 @ 3 ноя 2026 в 11:30) что меня смущает. если человеку понимает зачем ему нужна локальная LLM  то нахрена ему эта программа помогалка?  Разбирись в архитектуре конкретной LLM, спрогнозируй сценарий использования и выбери фреймворк.  я старый пердун и то разобрался с vllm под убунту да еще и с четырмя картами arc pro b70)))) А если не разбираеться именно как все это поставить? Вот для этого и нужна Если человек не имеет отношения к автомобилям, ему не нужна шпаргалка по разбору карбюратора. С другой стороны, поставит несведущий человек твою хуйню, определит она ему в работу под его железо Qwen2.5-Coder. Человек напишет какую-то свою задачу по впихиванию невпихуемого, и модель ожидаемо для сведущего выдаст ему хуйню. Человек подумает о принадлежности определенному сорту субстанций этого вашего ИИ, об ориентации автора и его родственников, которые украли его время, и либо начнет ковырять проблему самостоятельно, либо пойдет жаловаться по форумам на жизнь. И так и эдак - программа выглядит бессмысленной на этом этапе развития локальных моделей на потребительском железе. Согласен, друг мой))) Вопрос в том что такое потребительское железо))) У меня рабочая конфа с 4 мя картами ARC PRO B70/ Каждая из них потребительская. а вот в сумме не очень))) qwen 3.8 flash в FP8 тянет))) А если человек картинками мается то ему 16 ГБ в ComfyUI за уши, чтобы похулиганить))) Я может быть неточно выразился. Большинство, которое охуевает от цен по низу рынка, не берет себе железо, в которое можно воткнуть 4 неигровые видеокарты. Они берут обычный комп с обычной материнкой и обычной видеокартой, поскольку бытовое использование и большинство рабочих задач большего не требуют. В итоге у них 4-24 гб vram и 4-64 гб ОЗУ в зависимости от кошелька и хотелок. Меньше - это уже почти музейный экспонат, больше - мажоры и люди, которым надо и они почти наверняка шарят. Дружище, согласитесь что уквантованная в Q2 модель на 27 миллирдов с кешем 16K ничего кроме отвращения не вызовет))) Поэтому не стоит себе придумывать гемора. хочешь все прелести ИИ пощупать покупай API у китайцев. Хочешь телок без трусов с тремя ногами велкам в комфи с флюксом на 16 ГБ))) ну нет чудес на свете. На потребительском железе не стоит ничего ожидать выше потребительского уровня. На БМВ 320d рекордов не ставят.

Ну дык, я с этого и начал. Мы просто свернули на то, что считать "потребительским". Вот я и уточнил, что подразумевал под "потребительским" - обычный комп под обычные задачи рядового пользователя. Он играл в игрули, рисовал цыцки подруге в фотошопе, чертил в автокаде, считал в 1с бухгалтерию, смотрел кино и слал на почту письма. А тут - хоба! - узнал про нейросети, ИИ-агенты и размечтался о том, как роботы вкалывают вместо человека. И ему с локальными моделями ловить особо нечего: либо узкие специфические задачи в полуручном режиме, либо поиграть и удалить, либо учиться (но учатся почему-то и ради чего-то, т.е. имеют некое представление перспектив в т.ч. и по железкам). Я вот на своих обычных 16 гб vram обычной карточки делал "визуальный анализ" - теггировал фото с помощью vlm. Для этой задачи моего железа хватило. Решать это нелокально - 22к фото 0.3-24 мп куда-то грузить... Но это явно не та хрень, которая нужна на каждый день.

Цитата (orda72 @ 3 ноя 2026 в 15:11)

Нафига тратить деньги на локальный LLM. который убог по определению на потребительском железе (тут первичен даже не вопрос поместятся веса или нет) ввиду ограничения на контекст))) Пользуйся API.

Ладно, не догадливый вы наш. В абстрактной стране летит абстрактный беспилотник, управляемый по сравнениям с загруженной картой и выбирающий цели на основе загруженной базы. Ну естественно он всё это делает по подписке в облаке, или через API.)

Я это не к тому что все только и занимаются беспилотниками, а к тому, что есть задачи, о которых вы не думаете, а для кого-то именно локальные урезанные модели подходят как нельзя лучше. Так что не надо своим кругом взглядов и задач ограничивать все на свете.

Цитата (,)

Цитата (OlegChe77 @ 3 ноя 2026 в 09:17) А ещё это тот случай, когда программы теперь может писать каждый. И что человек будет делать с непонятной ему писаниной?

Миллион обезьян за пишущими машинками могут создать "войну и мир". А тут, глядишь, новая Windows получится

Цитата (orda72 @ 3 ноя 2026 в 15:04)

Люди точат под конкретную модель. Qwen 3.8 27B фантастические цифры показывает.

Справедливости ради, Страта не под Qwen3.8-27B заточена, а под разряженные модели, Qwen3.8-Flash-Next, glm-5.3, DeepSeek )))

Цитата (orda72 @ 3 ноя 2026 в 15:11)

(тут первичен даже не вопрос поместятся веса или нет) ввиду ограничения на контекст)))

Ну почему же? 256К контекста вполне хватает для огромного спектра задач. Мне вот пока больше и не нужно было. И у агентов есть сжатие контекста, и оно вполне себе работает. Кому мало 256К - можно расширить, до 1млн - все зависит от железа и задач

Цитата (Max04 @ 3 ноя 2026 в 15:18)

А зачем, если есть бесплатные ИИ?

1. Полностью бесплатные имеют ограничения.
2. Платные на больших проектах - дорого.
3. Цензура.
4. Слив данных.
5. Бесплатность временная. Как только рыночек порешает, так цены взлетят у 1,5 оставшихся околомонополистов.

Цитата (Saksaul @ 3 ноя 2026 в 16:29)

Цитата (,) Цитата (OlegChe77 @ 3 ноя 2026 в 09:17) А ещё это тот случай, когда программы теперь может писать каждый. И что человек будет делать с непонятной ему писаниной? Миллион обезьян за пишущими машинками могут создать "войну и мир". А тут, глядишь, новая Windows получится

Это если у вас в запасе вечность. Тут речь была о том, что ТС рекламирует: "Жмешь 1 кнопку и ниче больше не надо - ты сразу мамкин программист". Модель выдаст код, который непрограммист не поймет - это тупо простыня нечитаемого текста. И че? И окажется, что все равно нужно ставить среду выполнения и в этом разбираться.

шляПа.............

Цитата (Japansgod @ 3 ноя 2026 в 15:41)

И окажется, что все равно нужно ставить среду выполнения и в этом разбираться.

Опять же, не соглашусь. Агент может выдать ЗАПУСКАЕМЫЙ файл. На нужном тебе языке программирования. Скачает все необходимое, напишет, и скомпилирует.
Ну или если говорим про веб - готовую страничку в html, или сервак на js.
Предварительно все проверяет, т.е. запускает, делает себе логи/скриншоты, смотрит их, проверяет, правит ошибки.

Цитата (helbushek @ 3 ноя 2026 в 15:43)

шляПа.............

Программа скачивает установщик Ollama с ollama.com по HTTPS и проверяет сертификат сайта. На том компьютере Windows не нашла корневой сертификат, которым подписана цепочка сайта. Поэтому проверка отказала, и установка остановилась на первом шаге. Обычные причины:

на ПК устаревшее хранилище корневых сертификатов (старая Windows, давно не было обновлений);
антивирус или прокси подменяет сертификаты (например, «проверка HTTPS» в Kaspersky, ESET, Avast);
неверная дата и время на ПК.

Цитата (Tuum @ 3 ноя 2026 в 14:45)

То что сейчас бесплатно или за копейки в облаке/интернете однажды прикроют или заломят цены. Монополии так и создаются.

Какие нахер монополии? На этом рынке игроков овердофига и еще и новые появляются. Те же OpenAI и Anthropic и рады бы ломить ценники - но есть Google, Meta, есть в конце концов китайцы - там уже 6-7 игроков на рынке, причем китайцы отстают, конечно, но сравнимы с прошлым поколением (то есть отставание на 2-3, ну край 4 месяца).

Цитата (nikmil @ 3 ноя 2026 в 15:32)

Справедливости ради, Страта не под Qwen3.8-27B заточена, а под разряженные модели, Qwen3.8-Flash-Next, glm-5.3, DeepSeek )))

Но ведь и Страта нужно видеопамять, нужно дохрена оперативки. Вы цены на эту оперативку видели? За стоимость видеокарты и оперативки вы можете подписки того же Z.Ai или Kimi купить на сколько месяцев вперед?

Цитата (Angelberth @ 3 ноя 2026 в 15:56)

Но ведь и Страта нужно видеопамять, нужно дохрена оперативки. Вы цены на эту оперативку видели? За стоимость видеокарты и оперативки вы можете подписки того же Z.Ai или Kimi купить на сколько месяцев вперед?

Так у многих есть уже игровые компы. У меня вот до эры локальных ИИ уже был комп с i9 + 4080 + 64Gb - на нем вполне можно Страту запускать. На нем я и начинал знакомство с локальными модельками. Зашло - собрал себе сервак уже с cmp170hx.

Рекомендации то для людей, у кого уже есть компы подобные )))
А с нуля - да, дорого сейчас все

Цитата (nirotub @ 3 ноя 2026 в 14:36)

Цитата (Bobrius @ 3 ноя 2026 в 10:20) Биток на левого дядю майнит? Биток на компах не майнят, только на специализированных асиках

Это если сам электричество оплачиваешь.

А если за чужой счет - то хоть на целероне можно.

На компе вполне себе можно майнить, просто электричество и аммортизация железа будут стоить дороже чем намайненное. Но если комп чужой, и электричество оплачивает словивший вирусню, а намайненное уходит автору вируса - то схема работает.

Хотел локальный дипсик поставить.
В документах копаться.
Теперь не знаю есть ли смысл.

а что лучше ollama или LMStudio? Или от задач зависит?

Цитата (nikmil @ 3 ноя 2026 в 16:00)

Так у многих есть уже игровые компы. У меня вот до эры локальных ИИ уже был комп с i9 + 4080 + 64Gb - на нем вполне можно Страту запускать. На нем я и начинал знакомство с локальными модельками. Зашло - собрал себе сервак уже с cmp170hx. Рекомендации то для людей, у кого уже есть компы подобные ))) А с нуля - да, дорого сейчас все

Ну это у кого есть. У кого нет (а таких все же большинство) - можно лет десять подписки китайцев покупать, чем условную 3090 и 64-128gb памяти.

Давно пользуюсь, сначала на пк с 5070ti потом отдельный минипк на AMD Ryzen AI 9 365 собрал, забавно) мед. базу собираю и нафиг терапевты не нужны будут... Ну и умный дом ии поддерживают.

Цитата (Rifle77 @ 3 ноя 2026 в 16:14)

а что лучше ollama или LMStudio? Или от задач зависит?

LMStudio для начала, а потом лучше чистую llama.cpp использовать, но придется вникать в конфиги. Правда оно того стоит. Можно получить х2 к скорости. Ну а потом перейти на Линукс )))

Цитата (Tuum @ 3 ноя 2026 в 15:25)

Цитата (orda72 @ 3 ноя 2026 в 15:11) Нафига тратить деньги на локальный LLM. который убог по определению на потребительском железе (тут первичен даже не вопрос поместятся веса или нет) ввиду ограничения на контекст))) Пользуйся API. Ладно, не догадливый вы наш. В абстрактной стране летит абстрактный беспилотник, управляемый по сравнениям с загруженной картой и выбирающий цели на основе загруженной базы. Ну естественно он всё это делает по подписке в облаке, или через API.) Я это не к тому что все только и занимаются беспилотниками, а к тому, что есть задачи, о которых вы не думаете, а для кого-то именно локальные урезанные модели подходят как нельзя лучше. Так что не надо своим кругом взглядов и задач ограничивать все на свете.

Ух. Догадливый Вы наш. Слету без подсказки, в FPV точно LLM используют?

Цитата (Rifle77 @ 3 ноя 2026 в 16:14)

а что лучше ollama или LMStudio? Или от задач зависит?

А это не одно и тоже? Вроде как студия использует ollama?

Цитата (Angelberth @ 3 ноя 2026 в 15:56)

Цитата (nikmil @ 3 ноя 2026 в 15:32) Справедливости ради, Страта не под Qwen3.8-27B заточена, а под разряженные модели, Qwen3.8-Flash-Next, glm-5.3, DeepSeek ))) Но ведь и Страта нужно видеопамять, нужно дохрена оперативки. Вы цены на эту оперативку видели? За стоимость видеокарты и оперативки вы можете подписки того же Z.Ai или Kimi купить на сколько месяцев вперед?

Почитайте про страту. Она и под озу умеет. Прикольная штука по описанию. Есть одно но только нвидиа. Интелл в разработке.