Ollama + Open WebUI: Способ локального запуска LLM на Windows

[SZlobaFM]

! конфиг компа не должен быть "так себе",  для модели qwen:32b  -  такой :

12600K, GTX4070, 32ram, nwme +- 3000p/sec, windows 11 iot ltsc

важна RAM видеокарты. чем больше модель - тем больше её надо.

 

1) ставим питона Windows installer (64-bit-3.11.16 python)

 

2) ставим Оламу OllamaSetup.exe

 

3) запускаем Оламу ярлыком.

 

4) открываем CMD от админа.  команды :

для установки Open WebUI:

pip install open-webui

обновите pip до последней версии, выполнив:

python.exe -m pip install --upgrade pip

 

5) После установки Open WebUI запустите сервер с помощью следующей команды:

open-webui serve # ждём. это не пиу-пиу, это тррр...трр... он будет выкачивать тоже 

После запуска Open WebUI вы можете получить к нему доступ по адресу http://localhost:8080. Перейдя по этому адресу, вы будете приглашены зарегистрироваться или войти в систему. Чтобы создать новый аккаунт, выберите опцию «Sign Up». Этот аккаунт создается локально, то есть он доступен только на этом устройстве, и никакой другой пользователь не сможет получить доступ к вашим данным.

 

 

По умолчанию Ollama использует следующие пути для хранения языковых моделей (LLM) на вашей системе:

Windows: C:\Users\%username%\.ollama\models

Вы можете изменить этот путь, если это необходимо. Например, на Windows используйте следующую команду:

setx OLLAMA_MODELS "D:\ollama_models"

!!! тут внимание - модели большие. я качаю 40GB qwenlm - смотрите место

 

 

 

ставим модели https://ollama.com/search 

к примеру мой выбор  - https://ollama.com/library/qwen:72b

выбрал qwen - выбрал модель 72b - в окне команда для закачки и запуска - "ollama run qwen:72b" без кавычек. 

пишем её в консоль запущенную в п.4

 

ждём. рекомендую ставить на ночь. там странная закачка - она занимает весь канал. и качает видимо кусками по 1-2-3 гига. 

если кто то мешает ей в канале (забирает трафик) она сбрасывает последний скачанный кусок, и начинает его заново качать. 

(если качать не ночью - спасёт только вариант ограничения канал на роутере для хоста, у меня 100 мегабит, ограничиваю ему до 40-50, норм)

 

без моделей слева вверху в выборе пусто = 

 

 

 

[SZlobaFM]

после запуска. (я модель перенёс себе, у меня была 32 би. 

задаём первый вопрос. и долго ждём в моём варианте - модель 20 гигов, видеокарта 4070, проц 12600К, рам 32 гб, нвме.

задал вопрос.  ждал 2 минуты. для начала - он запускал модель.

 

Спойлер

 

потом попёрло - задаю вопрос, он начинает сразу писать , но не быстро - 

Спойлер

 

result :

Спойлер

 

Для написания скрипта на Bash, который проверяет наличие файла в указанной директории, можно использовать следующий код:

 

#!/bin/bash

# Определение переменных для пути к файлу и папки

folder="/path/to/directory"

file="filename"

# Проверка наличия файла в папке

if [ -f "$folder/$file" ]; then

echo "Файл $file существует в директории $folder."

else

echo "Файла $file нет в директории $folder."

fi

 

В этом скрипте, переменные folder и file должны быть заменены на актуальные значения пути к папке и имени файла соответственно. Этот скрипт проверяет существование файла с помощью оператора -f, который используется в условии if.

 

Если вы хотите выполнить этот Bash-скрипт, можете сохранить его как файл (например, check_file.sh) и сделать исполняемым командой chmod +x check_file.sh. Затем запустите скрипт с помощью команды ./check_file.sh.

 

Для вашего случая я не буду использовать code_interpreter, так как это Bash-скрипт, а не Python код. Но если у вас есть дополнительные вопросы или вам нужна помощь в других вопросах, связанных с программированием или другим контекстом, всегда рад помочь!

 

 

всё сделал за час. (модель не качал , была)

никаких вопросов не возникло.

оригинал инструкции Ollama + Open WebUI: способ запускать LLM локально - воды много.

 

ну.. пришла очередь вкорячить stablediffusion..

[SZlobaFM]

З. Ы. Есть варианты с Пинокио. 

Тоже самое, дольше, больше, сложнее. Не связывайтесь. 

[Грифон]

Все . Кукуха съехала . А ведь молодой ещё был ...

 

[sanek_75]

SZlobaFM сказал(а) 47 минут назад:

конфиг компа не должен быть "так себе",  для модели qwen:32b  -  такой :

12600K, GTX4070, 32ram, nwme +- 3000p/sec, windows 11 iot ltsc

важна RAM видеокарты. чем больше модель - тем больше её надо.

 

1) ставим питона Windows installer (64-bit-3.11.16 python)

 

2) ставим Оламу OllamaSetup.exe

 

3) запускаем Оламу ярлыком.

 

4) открываем CMD от админа.  команды :

для установки Open WebUI:

pip install open-webui

обновите pip до последней версии, выполнив:

python.exe -m pip install --upgrade pip

[starshoy]

Это вас так без Ютуба ломает?

[mixali4]

Осталось узнать зачем все это?

Немного погуглил, почитал, подумал...

Пришел к выводу, что мне это может быть полезным в одном случае - быстро генерировать простыни текста для Усадьбы

Интересно, у кого какие задачи есть для LLM

[kpi]

[SZlobaFM]

starshoy сказал(а) 20 минут назад:

Это вас так без Ютуба ломает?

 у меня есть и работает ютуб.. везде. и на компах, и на телефонах, и на теликах.  впрочем, как и у всех кто понял о чём топик. 

[SZlobaFM]

mixali4 сказал(а) 14 минут назад:

Осталось узнать зачем все это?

Немного погуглил, почитал, подумал...

Пришел к выводу, что мне это может быть полезным в одном случае - быстро генерировать простыни текста для Усадьбы

Интересно, у кого какие задачи есть для LLM

1) перевод с любого языка, фактически литературный.

2) помощь в любом языке программирвоания.

3) генерация изображений, в том числе для использования в моделировании.

 

его переводы

Луиджи Маньоне сделал первое публичное заявление после предполагаемого убийства генерального директора UnitedHealthcare.(nypost.com)

Визуализация финансирования США (washingtonpost.com)

[mixali4]

SZlobaFM сказал(а) 17 минут назад:

mixali4 сказал(а) 34 минуты назад:

Осталось узнать зачем все это?

Немного погуглил, почитал, подумал...

Пришел к выводу, что мне это может быть полезным в одном случае - быстро генерировать простыни текста для Усадьбы

Интересно, у кого какие задачи есть для LLM

1) перевод с любого языка, фактически литературный.

2) помощь в любом языке программирвоания.

3) генерация изображений, в том числе для использования в моделировании.

Я все это смог нагуглить. Лично мне это не очень актуально.

1 Переводы мне не особо актуальны - я неплохо знаю английский, поэтому справляюсь своими силами. Для тех статей, где мне пригодилась бы помощь, нужен скорее не переводчик, а специалист по конкретной теме.

2 Пока не уверен, насколько мне это актуально. Коллега балуется с ChatGPT для написания программ. Вроде что-то получается, но пока все равно все сам делает - слишком уж большая ответственность, чтобы доверять ии. Да и в моей работе программирование вторично, первичны математика и физика.

3 А вот это уже интереснее. Как связана генерация изображений и моделирование?

 

Edited February 16 by mixali4

[SZlobaFM]

mixali4 сказал(а) 14 минут назад:

Я все это смог нагуглить. Лично мне это не очень актуально.

1 Переводы мне не особо актуальны - я неплохо знаю английский, поэтому справляюсь своими силами. Для тех статей, где мне пригодилась бы помощь, нужен скорее не переводчик, а специалист по конкретной теме.

2 Пока не уверен, насколько мне это актуально. Коллега балуется с ChatGPT для написания программ. Вроде что-то получается, но пока все равно все сам делает - слишком уж большая ответственность, чтобы доверять ии. Да и в моей работе программирование вторично, первичны математика и физика.

3 А вот это уже интереснее. Как связана генерация изображений и моделирование?

 

1) польский. немецкий. китайский. яганский? (последний не уверен что знает)

2) однозначно - я тоже не леплю им всё. куски. особенно на непонятных мне языках - он пишет. я использую - учусь. к примеру питон.

он мне даёт справку быстрее, точнее, яснее чем поиск по инету. тут 100%

3) 

в текстовом 

а) привет, дай задание генератору изображений смоделировать текстуру для бесшовного соединения 512 * 512 старое бревно поросшее мхом

ответ 

Спойлер

Запрос для генератора изображений:

 

"Создай бесшовную текстуру размером 512x512 пикселей, изображающую старое деревянное бревно, покрытое мхом. Бревно должно выглядеть естественно состаренным, с трещинами, сколами и неровной текстурой древесины. Мох должен быть ярко-зеленым или темно-зеленым, с естественными переходами цветов, чтобы выглядело реалистично. Текстура должна быть полностью бесшовной, чтобы при повторении не было видно стыков или разрывов. Добавь мягкие тени и освещение, чтобы текстура выглядела объемной и подходила для использования в 3D-моделировании или дизайне."

 

---

Дополнительные советы:

1. Бесшовность : Убедитесь, что генератор поддерживает создание бесшовных текстур. Если нет, можно использовать специальные программы (например, Photoshop, GIMP или Substance Designer) для доработки краев.
2. Цветовая палитра : Уточните желаемые оттенки древесины и мха. Например, древесина может быть коричневой с серыми или рыжими акцентами, а мох — зеленым с желтыми или синими оттенками.
3. Детализация : Попросите добавить микродетали, такие как маленькие камушки, листья или следы насекомых, чтобы текстура выглядела более живой.

 

Если вы используете конкретный генератор изображений (например, MidJourney, DALL·E, Stable Diffusion), можно адаптировать запрос под его особенности. Например:

 

• MidJourney :
  512x512 seamless texture, old wooden log covered with moss, realistic cracks and details, natural green moss, soft lighting, tileable, no visible seams --v 5 --ar 1:1

• Stable Diffusion :
  Prompt: seamless texture, old wooden log with moss, detailed bark, cracks, green moss, natural colors, tileable, 512x512, photorealistic, soft shadows
  Negative prompt: visible seams, unnatural patterns, blurry details

результат в нём же , но в разделе генерации

Спойлер

 

можно тянуть на модель

 

стейбл не запускал, лень. всё что выше сделал в https://chat.qwenlm.ai/

 

[Khazar]

SZlobaFM сказал(а) 34 минуты назад:

1) перевод с любого языка, фактически литературный.

2) помощь в любом языке программирвоания.

3) генерация изображений, в том числе для использования в моделировании.

Вот это пишут в шапке статьи. Для чего то есть это делать.

А потом уже расписывают как делать с результатами.

 

Но я Вам очень-очень благодарен. Вы заботитесь о форумчанах, тратите на них свое время, стараясь помочь им

Спойлер

картинку с титьками вернете?

 

[AlexMPro]

Грифон сказал(а) 1 час назад:

Все . Кукуха съехала . А ведь молодой ещё был ...

 

Точно! Разговор с внутречерепными тараканами, не иначе.

Edited February 16 by AlexMPro

[fofo]

млять комп у меня соответствует но что злоба написал я нихера е понял

[AlexS]

AlexMPro сказал(а) 1 час назад:

Точно! Разговор с внутречерепными тараканами, не иначе.

[AltairDR]

SZlobaFM сказал(а) 3 часа назад:

1) перевод с любого языка, фактически литературный.

2) помощь в любом языке программирвоания.

3) генерация изображений, в том числе для использования в моделировании.

я краем уха ... так мимо проходил, DeepSeek ?

Edited February 16 by AltairDR

[SZlobaFM]

AltairDR сказал(а) 5 минут назад:

я краем уха ... так мимо проходил, DeepSeek ?

Квен круче. 

[SZlobaFM]

@AltairDR

https://www.google.com/amp/s/habr.com/ru/amp/publications/880156/

 

[sanek_75]

Вы мне лучше подскажите, подарили ноут леново, мое требование было без ОС, 256 диск, при установке с флешки бью на даа диска, 140 и остаток, оба мне пишет основные, ставлю Винду 11 на 140, все стало, но у меня один диск 140 гигов, а то второго не видит и пустого пространства винда не види мне не особо критично ,у меня юсб диск с данными на террабайт, но интересно куда ушло 116 гб? Где то валяется юсб привод, а вот диск с партишен походу при переезде самовыкинулся. Как без геморроя скачивания партишена и лазанья в Биос найти эти 116 гигов

Edited February 16 by sanek_75

[AltairDR]

SZlobaFM сказал(а) 10 минут назад:

Квен круче. 

а вот эта олияма для запуска модели ? Спасибо

 

DeepSeek требования не поcлабже ? давно хочу что-то руками пощупать, покупать под баловство что-то дорогое неохота, а вот отжать у своих Итшников попробовать можно, хорошее вряд ли отдадут 

Edited February 16 by AltairDR

[SZlobaFM]

AltairDR сказал(а) 2 часа назад:

а вот эта олияма для запуска модели ? Спасибо

 

DeepSeek требования не поcлабже ? давно хочу что-то руками пощупать, покупать под баловство что-то дорогое неохота, а вот отжать у своих Итшников попробовать можно, хорошее вряд ли отдадут 

Да олама для этого. 

 

Дип и она, равны по требованиям. См. Начало, там разные модели. 

Если скачть 400 гиговую, то надо видюху с 80 Гб. Рам. 

[AltairDR]

SZlobaFM сказал(а) 1 час назад:

Да олама для этого. 

 

Дип и она, равны по требованиям. См. Начало, там разные модели. 

Если скачть 400 гиговую, то надо видюху с 80 Гб. Рам. 

Спасибо, не мне для любительства перебор

 

80 гигабайт ? памяти видео ? я как бы наверно отстал, такие существуют ?

Edited February 16 by AltairDR

[SZlobaFM]

AltairDR сказал(а) 3 часа назад:

Спасибо, не мне для любительства перебор

 

80 гигабайт ? памяти видео ? я как бы наверно отстал, такие существуют ?

..GPU+NVIDIA+A100+80+ГБ

 

есть серии дешевле. от 380 000 примерно. 

[AltairDR]

SZlobaFM сказал(а) 2 минуты назад:

..GPU+NVIDIA+A100+80+ГБ

 

есть серии дешевле. от 380 000 примерно. 

мда, нет я лучше побреюсь 

[Ловецбабочек]

AltairDR сказал(а) 7 часов назад:

я краем уха ... так мимо проходил, DeepSeek ?

Мне дипсик понравился. Когда надо найти инфу его использую.

[okinalex]

SZlobaFM сказал(а) 12 часов назад:

стейбл не запускал, лень. всё что выше сделал в https://chat.qwenlm.ai/

А я запустил.

и с первого взгляда вижу, что она не бесшовная

 

проверил

 

 

точно не бесшовная
Короче нейронка как у них принято, в очередной раз обманула
А если не секрет, зачем вам? Ну я понимаю рисовалка. Но там сейчас писк моды -- Флакс. К тому же тут важны модели. А вы поставили чисто текстовую нафига?

 

[SZlobaFM]

okinalex сказал(а) 2 часа назад:

А вы поставили чисто текстовую нафига?

 

См. Выше. 

[okinalex]

SZlobaFM сказал(а) В 16.02.2025 в 12:57:

1) перевод с любого языка, фактически литературный.

2) помощь в любом языке программирвоания.

???

А яндекс переводчик для перевода чем вас не устраивает?

Помощь с программированием? А оно работает? Не ошибается?

 

SZlobaFM сказал(а) В 16.02.2025 в 12:57:

3) генерация изображений, в том числе для использования в моделировании.

Так изображение то требует специальной модели и рисовальщика. А тайлинг и бесшовные текстуры требуют гораздо меньше ресурсов, чем вы написали...

 

[SZlobaFM]

okinalex сказал(а) 2 минуты назад:

???

А яндекс переводчик для перевода чем вас не устраивает?

Помощь с программированием? А оно работает? Не ошибается?

 

Так изображение то требует специальной модели и рисовальщика. А тайлинг и бесшовные текстуры требуют гораздо меньше ресурсов, чем вы написали...

 

нет. он онлайн.  

ошибаются все. вопрос частоты. он кодит на уровне сеньора. объясняет на уровне лучшего учителя. 

у меня стоит stable diffusion.  у всех свой путь. мне нравится так. 

[SZlobaFM]

okinalex сказал(а) 11 часов назад:

А я запустил.

и с первого взгляда вижу, что она не бесшовная

тут вопрос запроса. моя бесшовная. на первый взлгяд. 

[okinalex]

SZlobaFM сказал(а) 23 часа назад:

тут вопрос запроса. моя бесшовная. на первый взлгяд. 

Так ваш промт и взял даже негатив ваш же поставил... Я ж говорю, тут всё зависит от конкретной модели а не от самой нейронки...

[okinalex]

SZlobaFM сказал(а) 23 часа назад:

у меня стоит stable diffusion.  у всех свой путь. мне нравится так. 

А у меня по-вашему что? SD с Automatic. По интерфейсу не узнали?

Вижу, что промт он вам приличный накатал... А чем онлайновость Яндекс переводчика плоха? Думаю, если весь его функционал "приземлить" для него отдельный сервер потребуется. Там же сейчас не только перевод фраз и текстов, там же распознавалка очень приличная, на уровне ФайнРидера прилеплена, и неросетевой редактор-корректор, падежи прилично согласовывает, кстати...

Edited February 18 by okinalex