134 lines
4.7 KiB
Markdown
134 lines
4.7 KiB
Markdown
# 🚀 AI Server для Ubuntu с RTX 2060
|
||
|
||
Автоматическое развертывание Ollama + Open WebUI на Ubuntu Server, оптимизированное для NVIDIA RTX 2060.
|
||
|
||
## ⚡ Быстрый старт
|
||
|
||
```bash
|
||
# Клонирование репозитория
|
||
git clone https://github.com/your-repo/api-ai-server.git
|
||
cd api-ai-server
|
||
|
||
# Автоматическая установка (одна команда!)
|
||
chmod +x install-ubuntu.sh
|
||
sudo ./install-ubuntu.sh
|
||
|
||
# Управление сервером
|
||
ai-start # Запуск
|
||
ai-stop # Остановка
|
||
ai-status # Подробный статус
|
||
```
|
||
|
||
**Веб-интерфейс:** `http://YOUR_SERVER_IP:3000`
|
||
|
||
## 🎯 Оптимизировано для RTX 2060
|
||
|
||
### Рекомендуемые модели:
|
||
- **`llama3.2:3b`** (2GB VRAM) - лучший баланс ⭐
|
||
- **`llama3.2:1b`** (1.3GB VRAM) - максимальная скорость
|
||
- **`codellama:7b`** (3.8GB VRAM) - для программирования
|
||
- **`mistral:7b`** (4.1GB VRAM) - высокое качество
|
||
|
||
### Управление моделями:
|
||
```bash
|
||
ai-models # Интерактивное меню управления
|
||
ollama pull llama3.2:3b # Установка модели
|
||
ollama list # Список моделей
|
||
```
|
||
|
||
## 📋 Системные требования
|
||
|
||
- **ОС:** Ubuntu 20.04/22.04/24.04 LTS
|
||
- **GPU:** RTX 2060 (6GB VRAM) или аналогичная NVIDIA
|
||
- **RAM:** 16GB+ (рекомендуется 32GB)
|
||
- **Диск:** 50GB свободного места
|
||
- **Права:** sudo доступ
|
||
|
||
## 🔧 Что устанавливается
|
||
|
||
- ✅ NVIDIA драйверы + CUDA
|
||
- ✅ Docker + NVIDIA Container Toolkit
|
||
- ✅ Ollama (локальный AI движок)
|
||
- ✅ Open WebUI (ChatGPT-подобный интерфейс)
|
||
- ✅ Systemd сервисы (автозапуск)
|
||
- ✅ Мониторинг GPU и системы
|
||
|
||
## 🛠️ Управление
|
||
|
||
```bash
|
||
# Основные команды
|
||
ai-start # Запуск AI сервера
|
||
ai-stop # Остановка AI сервера
|
||
ai-status # Статус с информацией о GPU/VRAM
|
||
ai-models # Управление моделями ИИ
|
||
|
||
# Системные сервисы
|
||
sudo systemctl status ollama # Статус Ollama
|
||
sudo systemctl status ai-server-webui # Статус Web UI
|
||
|
||
# Логи
|
||
journalctl -u ollama -f # Логи Ollama
|
||
docker compose logs -f # Логи контейнеров
|
||
```
|
||
|
||
## 🔥 Особенности
|
||
|
||
- **GPU мониторинг** - отслеживание температуры и VRAM
|
||
- **Автооптимизация** - настройки под RTX 2060
|
||
- **Безопасность** - все работает локально
|
||
- **Простота** - установка одной командой
|
||
- **Надежность** - systemd сервисы с автозапуском
|
||
|
||
## 🐛 Устранение неполадок
|
||
|
||
### Ollama сервис не запускается:
|
||
```bash
|
||
# Если видите ошибку "permission denied" для /nonexistent
|
||
chmod +x fix-ollama.sh
|
||
sudo ./fix-ollama.sh
|
||
```
|
||
|
||
### GPU не найден:
|
||
```bash
|
||
nvidia-smi # Проверка драйверов
|
||
sudo ubuntu-drivers autoinstall # Установка драйверов
|
||
sudo reboot
|
||
```
|
||
|
||
### Нехватка VRAM:
|
||
```bash
|
||
ai-status # Проверка использования VRAM
|
||
ollama pull llama3.2:1b # Переход на меньшую модель
|
||
```
|
||
|
||
### Перегрев GPU:
|
||
- Проверьте `ai-status` - если температура > 80°C
|
||
- Очистите систему охлаждения от пыли
|
||
- Используйте меньшие модели
|
||
|
||
## 📁 Структура проекта
|
||
|
||
```
|
||
api-ai-server/
|
||
├── install-ubuntu.sh # Основной установщик
|
||
├── docker-compose.yml # Конфигурация контейнеров
|
||
├── ollama.service # Systemd сервис Ollama
|
||
├── ai-server-webui.service # Systemd сервис Web UI
|
||
├── config/
|
||
│ └── config.json # Настройки RTX 2060
|
||
└── scripts/
|
||
├── start.sh # Запуск
|
||
├── stop.sh # Остановка
|
||
├── status.sh # Статус
|
||
└── models.sh # Управление моделями
|
||
```
|
||
|
||
## 🔗 Полезные ссылки
|
||
|
||
- [Ollama](https://ollama.ai/) - Локальный AI движок
|
||
- [Open WebUI](https://github.com/open-webui/open-webui) - Веб-интерфейс
|
||
- [NVIDIA Drivers](https://www.nvidia.com/drivers) - Драйверы GPU
|
||
|
||
---
|
||
|
||
**Готово к работе за 5 минут! 🎉** |