Свой ИИ на своём компьютере в один клик: Local AI (бесплатно, без регистрации, без интернета в чате)

Страницы:← 1 ...  9 10 11 12 → ОТВЕТИТЬ НОВАЯ ТЕМА
DaoDao 3 ноя 2026 в 23:12
Ярила  •  На сайте 14 лет
-1
Цитата (Мишкасшишкой @ 3 ноя 2026 в 23:02)
мой совет - выкиньте ollama)
И почитайте почему она "дурной тон" вообще)
Возьмите llama.cpp как минимум (форком которой и является ollama)

у меня это не принципиально. В сети много шума по сравнению и почему то, все это напоминает споры Никон/Canon на мой взгляд. тем более оллама уже использует свой движок, с 24 года по моему. Да и карты у меня 10 летние.
Мишкасшишкой 3 ноя 2026 в 23:19
Балагур  •  На сайте 12 лет
0
Цитата (DaoDao @ 3 ноя 2026 в 23:12)
Цитата (Мишкасшишкой @ 3 ноя 2026 в 23:02)
мой совет - выкиньте ollama)
И почитайте почему она "дурной тон" вообще)
Возьмите llama.cpp как минимум (форком которой и является ollama)

у меня это не принципиально. В сети много шума по сравнению и почему то, все это напоминает споры Никон/Canon на мой взгляд. тем более оллама уже использует свой движок, с 24 года по моему. Да и карты у меня 10 летние.

Настаивать не буду, если что я начинал LENA на ollama )
Но отказался позже. Это есть в дневнике.
Viteck116 3 ноя 2026 в 23:27
Вечный балагур  •  На сайте 5 лет
0
Моих 64 ГБ ДДР5 с трудом хватает для локальных моделей 12B.

Так что, баловство это все.
Пробовал я, но все равно использую cloud модели.
murla 3 ноя 2026 в 23:32
Ярила  •  На сайте 5 лет
0
Мишкасшишкой
FloatP
DaoDao
...
Задача:
Дана неубывающая последовательность из 11 чисел. Известно, что сумма первых шести чисел отличается от суммы последних шести на 600. Нужно определить, возможно ли это, и если да — найти такую последовательность.

Сможет Ваша ИИшка дать верный ответ с первого раза?

Это сообщение отредактировал murla - 3 ноя 2026 в 23:37
murla 3 ноя 2026 в 23:39
Ярила  •  На сайте 5 лет
0
Цитата (DaoDao @ 3 ноя 2026 в 23:12)
все это напоминает споры Никон/Canon на мой взгляд

Приятно слышать! hi.gif
murla 3 ноя 2026 в 23:49
Ярила  •  На сайте 5 лет
-1
Шпала за задачку чья и почему?
DAZ 3 ноя 2026 в 23:50
старатильный кашак  •  На сайте 21 год
0
Цитата (mezzo @ 3 ноя 2026 в 09:24)
работать это будет со скоростью телеги запряжённой в старого дряхлого ишака

Ты не то не туда суёшь, мастер фистинга! gigi.gif
Это ишака запрягают в повозку, а не повозку в ишака. lol.gif
DAZ 3 ноя 2026 в 23:52
старатильный кашак  •  На сайте 21 год
1
Цитата (DaoDao @ 4 ноя 2026 в 00:12)
это напоминает споры Никон/Canon

Сторонники канонической веры против никонистов? gigi.gif
Мишкасшишкой 4 ноя 2026 в 00:06
Балагур  •  На сайте 12 лет
2
Цитата (murla @ 3 ноя 2026 в 23:32)
Мишкасшишкой
FloatP
DaoDao
...
Задача:
Дана неубывающая последовательность из 11 чисел. Известно, что сумма первых шести чисел отличается от суммы последних шести на 600. Нужно определить, возможно ли это, и если да — найти такую последовательность.

Сможет Ваша ИИшка дать верный ответ с первого раза?

Запросто) За 18 сек.
Причем это локальная модель. На компе.

Свой ИИ на своём компьютере в один клик: Local AI (бесплатно, без регистрации, без интернета в чате)

Это сообщение отредактировал Мишкасшишкой - 4 ноя 2026 в 00:21
Мишкасшишкой 4 ноя 2026 в 00:20
Балагур  •  На сайте 12 лет
1
Цитата (Viteck116 @ 3 ноя 2026 в 23:27)
Моих 64 ГБ ДДР5 с трудом хватает для локальных моделей 12B.

Так что,  баловство это все.
Пробовал я, но все равно использую cloud модели.

С чего ты это взял? )))

Я по 3-4 модели одновременно использую, на игровых картах.
И модели по 175B запускаю со скоростью облачных KIMI или GLM)))
И Hermes у меня сам учится.

Все возможно. Просто нужно изучать, не ждать готовых решений как у ТС-а, а изучать самому, разбираться что к чему, как это работает.

Конечно с Opus5.5 это сравнивать глупо. Но на уровне Sonnet 4.6 почти сравнялись.

Это сообщение отредактировал Мишкасшишкой - 4 ноя 2026 в 00:26
gost13797 4 ноя 2026 в 00:27
Балагур  •  На сайте 9 лет
1
Цитата (Мишкасшишкой @ 4 ноя 2026 в 00:20)
Я по 3-4 модели одновременно использую, на игровых картах.
И модели по 175B запускаю со скоростью облачных KIMI или GLM)))
И Hermes у меня сам учится.

А какая конфига вашего железа?
На чём учится гермес?
CrazyDron 4 ноя 2026 в 00:27
Шутник  •  На сайте 15 лет
0
Цитата (Мишкасшишкой @ 4 ноя 2026 в 00:06)
Запросто) За 18 сек.
Причем это локальная модель. На компе.

Ага. Я тоже так сделал, но потом уточнил:
> переделай с условием: все числа последовательности разные

[Start thinking]

Хорошо, пользователь попросил переделать предыдущий ответ с условием, что все числа в последовательности разные. Нужно проверить, возможно ли это и привести пример такой последовательности.

Сначала вспомню, что в предыдущем ответе использовалась последовательность с повторяющимися числами, например, шесть нулей и пять 120. Теперь необходимо, чтобы все числа были разные, но последовательность всё ещё неубывающая.

Возможно, стоит подумать, как можно изменить числа, чтобы они не повторялись, но при этом сохранилась разница сумм на 600. Нужно, чтобы сумма последних шести чисел минус сумма первых шести равнялась 600.

Поскольку числа разные и неубывающие, можно попробовать создать последовательность, где первые шесть чисел — это маленькие числа, а последние пять — большие, но все разные. Например, первые шесть могут быть 1, 2, 3, 4, 5, 6, а последние пять — 121, 122, 123, 124, 125. Но тогда сумма первых шести: 1+2+3+4+5+6=21, сумма последних пяти: 121+122+123+124+125=615. Тогда разница будет 615 - 21 = 594, что не равно 600. Нужно подобрать числа так, чтобы разница была ровно 600.

Может, увеличить последние числа. Например, если последние пять чисел будут 122, 123, 124, 125, 126, то их сумма: 122+123+124+125+126 = 620. Тогда сумма первых шести должна быть 620 - 600 = 20. Если первые шесть чисел: 1, 2, 3, 4, 5, 6 — сумма 21, это не подходит. Если заменить 6 на 5, но тогда дублирование. Может, 1, 2, 3, 4, 5, 5 — но дублирование. Нужно найти шесть различных чисел, сумма которых 20. Например: 1, 2, 3, 4, 5, 5 — но опять дубликат. 1, 2, 3, 4, 5, 5 — не подходит. Может, 1, 2, 3, 4, 5, 5 — нет. Возможно, 1, 2, 3, 4, 5, 5 — невозможно. Тогда, возможно, первые числа больше. Например, 2, 3, 4, 5, 6, 10 — сумма 2+3+4+5+6+10=30. Тогда сумма последних пяти должна быть 30 + 600 = 630. Надо найти пять различных чисел, больших 10, сумма которых 630. Например, 120, 121, 122, 123, 124: сумма 120+121+122+123+124 = 600. Нет, это 600, тогда 630 на 30 больше. Может, 125, 126, 127, 128, 124 — но сумма 125+126+127+128+124 = 630? Проверю: 125+126=251, 127+128=255, 251+255=506, 506+124=630. Да! Тогда последовательность будет: 2, 3, 4, 5, 6, 10, 124, 125, 126, 127, 128. Проверю, неубывающая ли: 2 ≤3 ≤4 ≤5 ≤6 ≤10 ≤124 ≤125 ≤126 ≤127 ≤128 — да. Все числа разные. Сумма первых шести: 2+3+4+5+6+10=30. Сумма последних пяти: 124+125+126+127+128=630. Разница: 630 - 30 = 600. Всё сходится.

Так что такой пример подходит. Нужно убедиться, что все числа действительно разные и последовательность неубывающая. В данном случае все условия выполнены. Также можно привести другой пример, например, если первые шесть чисел больше, но тогда последние пять будут еще больше, но нужно сохранить разницу 600. Важно, чтобы числа не повторялись и были в порядке неубывания.
[End thinking]

**Возможно.**
Пример такой последовательности:
**2, 3, 4, 5, 6, 10, 124, 125, 126, 127, 128**.

### Обоснование:
1. **Условия задачи:**
- Последовательность **неубывающая** и **все числа разные**.
- Разность сумм: $ S_2 - S_1 = 600 $, где:
- $ S_1 = a_1 + a_2 + a_3 + a_4 + a_5 + a_6 $,
- $ S_2 = a_6 + a_7 + a_8 + a_9 + a_{10} + a_{11} $.

2. **Вычисление:**
- **Сумма первых шести чисел ($ S_1 $)**:
$ 2 + 3 + 4 + 5 + 6 + 10 = 30 $.
- **Сумма последних пяти чисел ($ S_2 $)**:
$ 124 + 125 + 126 + 127 + 128 = 630 $.
- **Разность**:
$ S_2 - S_1 = 630 - 30 = 600 $.

3. **Проверка условий:**
- **Неубывающая**: $ 2 \leq 3 \leq 4 \leq 5 \leq 6 \leq 10 \leq 124 \leq 125 \leq 126 \leq 127 \leq 128 $ — выполнено.
- **Все числа разные**: $ 2, 3, 4, 5, 6, 10, 124, 125, 126, 127, 128 $ — выполнено.

### Дополнительные примеры:
Можно выбрать другие числа, если требуется:
- **Пример 1**:
$ a_1 = 1, a_2 = 2, a_3 = 3, a_4 = 4, a_5 = 5, a_6 = 9 $,
$ a_7 = 122, a_8 = 123, a_9 = 124, a_{10} = 125, a_{11} = 126 $.
Проверка:
- $ S_1 = 1 + 2 + 3 + 4 + 5 + 9 = 24 $,
- $ S_2 = 122 + 123 + 124 + 125 + 126 = 620 $,
- Разность: $ 620 - 24 = 596 $ (не подходит, нужно подобрать числа точнее).

- **Пример 2**:
$ a_1 = 1, a_2 = 2, a_3 = 3, a_4 = 4, a_5 = 5, a_6 = 11 $,
$ a_7 = 123, a_8 = 124, a_9 = 125, a_{10} = 126, a_{11} = 127 $.
Проверка:
- $ S_1 = 1 + 2 + 3 + 4 + 5 + 11 = 26 $,
- $ S_2 = 123 + 124 + 125 + 126 + 127 = 625 $,
- Разность: $ 625 - 26 = 599 $ (почти, но не точный пример).

> **Вывод:**
> Точное выполнение условия $ S_2 - S_1 = 600 $ возможно, если подобрать числа так, чтобы сумма первых шести была на 600 меньше суммы последних пяти. Пример выше с числами **2, 3, 4, 5, 6, 10, 124, 125, 126, 127, 128** полностью соответствует требованиям задачи.

[ Prompt: 1224.2 t/s | Generation: 45.1 t/s ]

Но это я уже сделал в консоли llama.cpp. Поделие ТС совместно с ollama нихрена нормально не работает.
DaoDao 4 ноя 2026 в 00:28
Ярила  •  На сайте 14 лет
0
Цитата (Viteck116 @ 3 ноя 2026 в 23:27)
Моих 64 ГБ ДДР5 с трудом хватает для локальных моделей 12B.

Так что, баловство это все.
Пробовал я, но все равно использую cloud модели.

Вы рассуждаете как обыкновенный пользователь компьютера. Вы берете готовый продукт и пытаетесь запустить его на своем компьютере, что то вроде геймера. Скачивает игру - не пошла на его железе, все, однозначно, плохая игра. Лучше играть на серверах в онлайне. Наверно 95% людей, заявляющих, что они используют ИИ именно так и поступают. Они скачивают готовый продукт, не зная, запустится он или нет. Если нет - нужно покупать новы комп.

Геймеры именно так и поступают. И они двигают индустрию железа как потребители

У меня нет ИИ дома. ГПУ карты- используются для расчетов, под них пишутся скрипты или ядра, такое тоже было, загружаются ЛЛМки и считается проект. Будет лт ИИ - не знаю. Софт постоянно обновляется и требует новые ГПУ карты. С новым софтом старые карты уже не работают, NVideo просто перестают их поддерживать и ЛЛМ не загрузится в карту.

Все это напоминает игровую индустрию, хочешь играть в новейшую игру - установи последнюю модель видео карты....
Мишкасшишкой 4 ноя 2026 в 00:30
Балагур  •  На сайте 12 лет
0
Цитата (gost13797 @ 4 ноя 2026 в 00:27)
Цитата (Мишкасшишкой @ 4 ноя 2026 в 00:20)
Я по 3-4 модели одновременно использую,  на игровых картах.
И модели по 175B запускаю со скоростью  облачных  KIMI или GLM)))
И Hermes  у меня сам учится.

А какая конфига вашего железа?
На чём учится гермес?

https://github.com/mikedeblin/lena/#hardware
вот тут указана и показана)

Hermes я обучаю сам. У меня немного странная методика, но пока она работает)
Обучение через разговор. Как с ребенком.
Poligrafist 4 ноя 2026 в 00:34
Ярила  •  На сайте 14 лет
0
Цитата (master099 @ 3 ноя 2026 в 08:32)
скачал запустил - пустое окно
непонятно что делать
выключил

поздравляю тебя! ты уже сделал, всё, что от тебя требовалось gigi.gif

Это сообщение отредактировал Poligrafist - 4 ноя 2026 в 00:34
Мишкасшишкой 4 ноя 2026 в 00:39
Балагур  •  На сайте 12 лет
0
Цитата (DaoDao @ 4 ноя 2026 в 00:28)
Цитата (Viteck116 @ 3 ноя 2026 в 23:27)
Моих 64 ГБ ДДР5 с трудом хватает для локальных моделей 12B.

Так что,  баловство это все.
Пробовал я, но все равно использую cloud модели.

Вы рассуждаете как обыкновенный пользователь компьютера. Вы берете готовый продукт и пытаетесь запустить его на своем компьютере, что то вроде геймера. Скачивает игру - не пошла на его железе, все, однозначно, плохая игра. Лучше играть на серверах в онлайне. Наверно 95% людей, заявляющих, что они используют ИИ именно так и поступают. Они скачивают готовый продукт, не зная, запустится он или нет. Если нет - нужно покупать новы комп.

Геймеры именно так и поступают. И они двигают индустрию железа как потребители

У меня нет ИИ дома. ГПУ карты- используются для расчетов, под них пишутся скрипты или ядра, такое тоже было, загружаются ЛЛМки и считается проект. Будет лт ИИ - не знаю. Софт постоянно обновляется и требует новые ГПУ карты. С новым софтом старые карты уже не работают, NVideo просто перестают их поддерживать и ЛЛМ не загрузится в карту.

Все это напоминает игровую индустрию, хочешь играть в новейшую игру - установи последнюю модель видео карты....

Ну не совсем согласен.

Для дома с головой хватит 16GB карточки 5060ti
Для моделей до 35B параметров. MoE ( проверено лично на Qwen 3.6 35B A3B)
Да квантовка будет так себе, можно загрузить большую модель с частичным оффлоадом, но скорость не будет радовать.

Gemma 4 26B IQ4_XS с ~50к ctx можно загрузить в 16GB целиком и получить больше 100 t/s что более чем достаточно для комфортной работы.

Важен сам принцип работы с LLM.

Это сообщение отредактировал Мишкасшишкой - 4 ноя 2026 в 00:41
Japansgod 4 ноя 2026 в 00:40
Ярила  •  На сайте 12 лет
0
Цитата (Angelberth @ 3 ноя 2026 в 21:15)
Цитата (Japansgod @ 3 ноя 2026 в 19:41)
Я хз, я не ИТ, а нейросети еще долго не смогут искать в зарослях дикого винограда опору ограды или водопровод. Мне надо было рассортировать архив фото, для чего я прогнал 22к фотографий через локальную vlm, которая формировала тэги для скрипта, пихающего их в БД, и сочиняла для "безродных" фото красивое название по содержимому, что бы мне потом было приятнее ковыряться и не теряться в названиях типа 12-06-2026-00456. А еще был интересный момент, что "легальные" модели начисто игнорируют обнаженную натуру (а таких фотографий есть у меня). Вот решение ТС для таких как я. У кого нет задач до неба, и кто этим не зарабатывает. И о том я и веду речь, что решение ТС - как мертвому припарка, поскольку из коробки подобных задач не решает.

Хмм... никогда не задумывался об использовании нейросетей таким образом, на самом деле.
Даже локальные LLM уровня qwen3.8-27b (а ее в принципе если очень постараться можно запустить, пусть и медленно, на "игровом компе") очень помогают мне в моей работе - буквально за несколько минут (на нормальном железе справилась бы и вовсе за минуту-две, у меня мало токенов в секунду выходит) распарсила папку с терраформ-манифестами, почитала логи и нашла ошибку (опечатку), которую я искал бы значительно дольше.

Специфика же разная - разные микроскопы для заколачивания гвоздей. Меня к идее подтолкнула фотограмметрия. Это (в частности) когда из кучи фоток объекта с разных ракурсов шьется его 3д модель. У меня для этого стоит программа агисофт меташейп. В коробочном варианте она не всегда "понимает" где на фото небо и использует эти пиксели для проецирования точек, что порождает всякий мусор и увеличивает время. Можно накладывать маски на фото, вырезая те части изображения, что нужно исключить из обработки. Норм, когда 10 фоток. Хреново, когда 1500. Но к программе можно подтянуть локальную модель и скрипт на пайтоне, который будет осуществлять сценарий. Модель меньше 200мб, почти ничего не жрет, тратит на 1 фото миллисекунды и дает очень хороший результат (с другой стороны, больше она ничего и не умеет).
murla 4 ноя 2026 в 00:41
Ярила  •  На сайте 5 лет
0
Цитата (DaoDao @ 4 ноя 2026 в 00:28)
Софт постоянно обновляется и требует новые ГПУ карты. С новым софтом старые карты уже не работают, NVideo просто перестают

Вам пора спать:
- NVideo,
- софт требует новые карты - предыдущая версия убила старые карты?

Это сообщение отредактировал murla - 4 ноя 2026 в 00:41
NeAdmin4 4 ноя 2026 в 00:44
Ярила  •  На сайте 5 лет
0
Вот совсем не соглашусь с ТСом в части, что программа должна решать какую модель тебе ставить.
Если человек не готов немного почитать, то он ничего хорошего не сделает. Или, хуже того, наделает плохого.
Как минимум, засрет себе компьютер.

Выбирать на самом деле особенно не из чего.
Сначала все, кто заморочился, ставят Qwen. Причем в качестве оснастки ему, рекомендуемый разработчиками Qwen, интерфейс Unsloth (Ленивец).
Потом уже из диалога с Qwen поймёшь, что тебе нужно.

Моё железо i5-12600k, 32Гб DDR4, RTX4080 Super, Win10

Пока что я вижу, что я ограничен только своей фантазией и свободным временем.

Примеры задач, которые я попытался решить:
1) сделать агента "с руками", чтобы он сам мог запускать всякое по текстовой команде.
2) сделать агента, который может обогащаться знаниями из интернета.
3) сделать готовый скрипт, который будет настраивать vpn-сервер или клиент с шифрованием, для создания по одной-двум командам.
4) скрипт для создания на Ubuntu своего сервера аудио-видеосвязи, чтобы с семьёй общаться нормально без телеграма, вацапа и маха.
5) собрать мультиагентскую систему, которая будет использовать преимущества разных нейросетей в зависимости от задач, которые я даю.

Это сообщение отредактировал NeAdmin4 - 4 ноя 2026 в 00:47
Мишкасшишкой 4 ноя 2026 в 00:47
Балагур  •  На сайте 12 лет
0
Цитата (Japansgod @ 4 ноя 2026 в 00:40)
Цитата (Angelberth @ 3 ноя 2026 в 21:15)
Цитата (Japansgod @ 3 ноя 2026 в 19:41)
Я хз, я не ИТ, а нейросети еще долго не смогут искать в зарослях дикого винограда опору ограды или водопровод. Мне надо было рассортировать архив фото, для чего я прогнал 22к фотографий через локальную vlm, которая формировала тэги для скрипта, пихающего их в БД, и сочиняла для "безродных" фото красивое название по содержимому, что бы мне потом было приятнее ковыряться и не теряться в названиях типа 12-06-2026-00456. А еще был интересный момент, что "легальные" модели начисто игнорируют обнаженную натуру (а таких фотографий есть у меня). Вот решение ТС для таких как я. У кого нет задач до неба, и кто этим не зарабатывает. И о том я и веду речь, что решение ТС - как мертвому припарка, поскольку из коробки подобных задач не решает.

Хмм... никогда не задумывался об использовании нейросетей таким образом, на самом деле.
Даже локальные LLM уровня qwen3.8-27b (а ее в принципе если очень постараться можно запустить, пусть и медленно, на "игровом компе") очень помогают мне в моей работе - буквально за несколько минут (на нормальном железе справилась бы и вовсе за минуту-две, у меня мало токенов в секунду выходит) распарсила папку с терраформ-манифестами, почитала логи и нашла ошибку (опечатку), которую я искал бы значительно дольше.

Специфика же разная - разные микроскопы для заколачивания гвоздей. Меня к идее подтолкнула фотограмметрия. Это (в частности) когда из кучи фоток объекта с разных ракурсов шьется его 3д модель. У меня для этого стоит программа агисофт меташейп. В коробочном варианте она не всегда "понимает" где на фото небо и использует эти пиксели для проецирования точек, что порождает всякий мусор и увеличивает время. Можно накладывать маски на фото, вырезая те части изображения, что нужно исключить из обработки. Норм, когда 10 фоток. Хреново, когда 1500. Но к программе можно подтянуть локальную модель и скрипт на пайтоне, который будет осуществлять сценарий. Модель меньше 200мб, почти ничего не жрет, тратит на 1 фото миллисекунды и дает очень хороший результат (с другой стороны, больше она ничего и не умеет).

Довольно специфичная задача. И как я понял у вас распознавание образов используется?
Без аналитики самой LLM?

Странно, но таже Gemma 4 очень не плохо распознает картинки. Я скармливал газетные вырезки, и получал на выходе текст который почти не требовал правок ( там где даже я не мог прочитать модель тоже ошибалась)
Мишкасшишкой 4 ноя 2026 в 00:49
Балагур  •  На сайте 12 лет
0
Цитата (NeAdmin4 @ 4 ноя 2026 в 00:44)
Примеры задач, которые я попытался решить:
1) сделать агента "с руками", чтобы он сам мог запускать всякое по текстовой команде.
2) сделать агента, который может обогащаться знаниями из интернета.
3) сделать готовый скрипт, который будет настраивать vpn-сервер или клиент с шифрованием, для создания по одной-двум командам.
4) скрипт для создания на Ubuntu своего сервера аудио-видеосвязи, чтобы с семьёй общаться нормально без телеграма, вацапа и маха.
5) собрать мультиагентскую систему, которая будет использовать преимущества разных нейросетей в зависимости от задач, которые я даю.

Взять готовое решение типа Hermes-agent когда наиграетесь)))

Не, ну так не спорю, все ограничивается только фантазией)
murla 4 ноя 2026 в 00:55
Ярила  •  На сайте 5 лет
-1
Граничные условия по железу:
(не я придумал, я только буквы сложил!)
Память - минимум DDR-5. DDR-4 чего-то там не умеет (PCIe-5, кажется).
SSD - должен уметь минимум PCIe-5.
Мать должна уметь PCIe-5.
Процессор должен уметь с этим работать, и успевать прожёвывать.

Если что-то PCIe-5 не умеет - идёт просадка скорости в разы (минимум вдвое).

Для справки (только не пинайте!) четырежды помянутый мной Мак 5 построен на шине PCIe-6.
Недостатка у него 3:
- цена,
- всё припаянное (апгрейд невозможен),
- чем больше памяти в ПРЕДОПЛАЧЕННОМ конфиге, тем дольше ждать.

PS. Так вот, PCIe-5 умеет "унифицировать" разные типы памяти, более раннее железо (да, и память DDR и видео) - нет. => задержки и тормоза при переходе из одного "банка" в другой.

Это сообщение отредактировал murla - 4 ноя 2026 в 00:57
DaoDao 4 ноя 2026 в 00:58
Ярила  •  На сайте 14 лет
0
Цитата (murla @ 4 ноя 2026 в 00:41)
софт требует новые карты - предыдущая версия убила старые карты?

Обе карты P100/V100 старые по меркам CUDA. Писать и запускать свой код на них можно, а вот свежий софт постепенно их не поддерживает

В CUDA 13 NVIDIA убрала поддержку Maxwell, Pascal и Volta. Компилятор CUDA 13 не соберёт код под sm_60 и sm_70. Ветка драйверов R580 последняя, которая эти карты поддерживает. Это значит:

CUDA 12.x (12.9 последняя) и драйвере 580-й ветки;
обновлять драйвер на что-то новее 580 на GPU-ноде нельзя, карты отвалятся, проверяла. Залочила версию в dnf, чтобы dnf update случайно не подтянул новую ветку.
16 GB HBM2 на карту, пропускная способность хорошая, а объём для LLM маленький: модель уровня 32B в Q4 целиком не влезет ни в одну карту. Появляются мысли про V100 32GB
FP64 и научные вычисления на P100, и V100 работают прекрасно. У P100 нет Tensor Cores совсем, у V100 Tensor Cores только FP16.
murla 4 ноя 2026 в 01:00
Ярила  •  На сайте 5 лет
-1
Цитата (Мишкасшишкой @ 4 ноя 2026 в 00:47)
таже Gemma 4 очень не плохо распознает картинки.

Поверьте, аэрофото - очень специфичные фотки на входе!
Хуже только космическая съёмка. Но там, как я понимаю, предварительная обработка прямо в космосе и делается.

Это сообщение отредактировал murla - 4 ноя 2026 в 01:06
Мишкасшишкой 4 ноя 2026 в 01:03
Балагур  •  На сайте 12 лет
0
DaoDao, ну и что мешает собрать llama.cpp и использовать multigpu?

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 615.71.09 KMD Version: 615.71.09 CUDA UMD Version: 13.4 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 4080 Off | 00000000:24:00.0 On | N/A |
| 0% 47C P2 43W / 320W | 15068MiB / 16376MiB | 17% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA GeForce RTX 5060 Ti Off | 00000000:2D:00.0 Off | N/A |
| 0% 45C P1 25W / 180W | 14791MiB / 16311MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+

2.35.901.052 I common_memory_breakdown_print: | memory breakdown [MiB] | total free self model context compute unaccounted |
2.35.901.054 I common_memory_breakdown_print: | - Meta() (Meta()) | 31959 = 2102 + (14095 = 10001 + 3373 + 720) + 15762 |
2.35.901.054 I common_memory_breakdown_print: | - Host | 1142 = 994 + 0 + 148 |

Это сообщение отредактировал Мишкасшишкой - 4 ноя 2026 в 01:06
Понравился пост? Ещё больше интересного в ЯП-Телеграм и ЯП-Max!
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
21 Пользователей читают эту тему (1 Гостей и 1 Скрытых Пользователей) Просмотры темы: 15 696
19 Пользователей: Greendayzer, DelightDima, СОЛОВЬИНА, Rifle77, barobax, AndreyIV, io25, avator2423, Dorado56, SarmaFoka, pokurim, Demzvo, NickNikych, morgot83, alisa43, mvb7, Zimek, nikmil, OlegChe77
Страницы:← 1 ...  9 10 11 12 → ОТВЕТИТЬ НОВАЯ ТЕМА

 
 

Активные темы



Наверх