Контейнеры Docker стали для меня находкой. Они помогают быстро и удобно настроить любые программные продукты для совместной работы. Можно создать столько интересных приложений, используя минимум кода! В конвейер разработки легко интегрировать любые инструменты, включая DroneCI, CircleCI и GitLab Runner. Это значительно расширяет творческие просторы. На моё скромное мнение, сервис полезен всем, кто занимается разработкой программ. Поэтому я создал ценные инструкции по сборке контейнеров Docker. Вы вправе использовать их для создания различных проектов на базе Linux.
Ollama запускает локальные языковые модели; Open WebUI даёт веб-чат поверх них. Ниже — связка за Traefik. Для CPU хватит скромного железа; для нормальной скорости нужен GPU (NVIDIA + nvidia-container-toolkit).
Нужны рабочий Traefik и сеть traefik_network.