test server
This commit is contained in:
127
README.md
Normal file
127
README.md
Normal file
@@ -0,0 +1,127 @@
|
||||
# 🚀 AI Server для Ubuntu с RTX 2060
|
||||
|
||||
Автоматическое развертывание Ollama + Open WebUI на Ubuntu Server, оптимизированное для NVIDIA RTX 2060.
|
||||
|
||||
## ⚡ Быстрый старт
|
||||
|
||||
```bash
|
||||
# Клонирование репозитория
|
||||
git clone https://github.com/your-repo/api-ai-server.git
|
||||
cd api-ai-server
|
||||
|
||||
# Автоматическая установка (одна команда!)
|
||||
chmod +x install-ubuntu.sh
|
||||
sudo ./install-ubuntu.sh
|
||||
|
||||
# Управление сервером
|
||||
ai-start # Запуск
|
||||
ai-stop # Остановка
|
||||
ai-status # Подробный статус
|
||||
```
|
||||
|
||||
**Веб-интерфейс:** `http://YOUR_SERVER_IP:3000`
|
||||
|
||||
## 🎯 Оптимизировано для RTX 2060
|
||||
|
||||
### Рекомендуемые модели:
|
||||
- **`llama3.2:3b`** (2GB VRAM) - лучший баланс ⭐
|
||||
- **`llama3.2:1b`** (1.3GB VRAM) - максимальная скорость
|
||||
- **`codellama:7b`** (3.8GB VRAM) - для программирования
|
||||
- **`mistral:7b`** (4.1GB VRAM) - высокое качество
|
||||
|
||||
### Управление моделями:
|
||||
```bash
|
||||
ai-models # Интерактивное меню управления
|
||||
ollama pull llama3.2:3b # Установка модели
|
||||
ollama list # Список моделей
|
||||
```
|
||||
|
||||
## 📋 Системные требования
|
||||
|
||||
- **ОС:** Ubuntu 20.04/22.04/24.04 LTS
|
||||
- **GPU:** RTX 2060 (6GB VRAM) или аналогичная NVIDIA
|
||||
- **RAM:** 16GB+ (рекомендуется 32GB)
|
||||
- **Диск:** 50GB свободного места
|
||||
- **Права:** sudo доступ
|
||||
|
||||
## 🔧 Что устанавливается
|
||||
|
||||
- ✅ NVIDIA драйверы + CUDA
|
||||
- ✅ Docker + NVIDIA Container Toolkit
|
||||
- ✅ Ollama (локальный AI движок)
|
||||
- ✅ Open WebUI (ChatGPT-подобный интерфейс)
|
||||
- ✅ Systemd сервисы (автозапуск)
|
||||
- ✅ Мониторинг GPU и системы
|
||||
|
||||
## 🛠️ Управление
|
||||
|
||||
```bash
|
||||
# Основные команды
|
||||
ai-start # Запуск AI сервера
|
||||
ai-stop # Остановка AI сервера
|
||||
ai-status # Статус с информацией о GPU/VRAM
|
||||
ai-models # Управление моделями ИИ
|
||||
|
||||
# Системные сервисы
|
||||
sudo systemctl status ollama # Статус Ollama
|
||||
sudo systemctl status ai-server-webui # Статус Web UI
|
||||
|
||||
# Логи
|
||||
journalctl -u ollama -f # Логи Ollama
|
||||
docker compose logs -f # Логи контейнеров
|
||||
```
|
||||
|
||||
## 🔥 Особенности
|
||||
|
||||
- **GPU мониторинг** - отслеживание температуры и VRAM
|
||||
- **Автооптимизация** - настройки под RTX 2060
|
||||
- **Безопасность** - все работает локально
|
||||
- **Простота** - установка одной командой
|
||||
- **Надежность** - systemd сервисы с автозапуском
|
||||
|
||||
## 🐛 Устранение неполадок
|
||||
|
||||
### GPU не найден:
|
||||
```bash
|
||||
nvidia-smi # Проверка драйверов
|
||||
sudo ubuntu-drivers autoinstall # Установка драйверов
|
||||
sudo reboot
|
||||
```
|
||||
|
||||
### Нехватка VRAM:
|
||||
```bash
|
||||
ai-status # Проверка использования VRAM
|
||||
ollama pull llama3.2:1b # Переход на меньшую модель
|
||||
```
|
||||
|
||||
### Перегрев GPU:
|
||||
- Проверьте `ai-status` - если температура > 80°C
|
||||
- Очистите систему охлаждения от пыли
|
||||
- Используйте меньшие модели
|
||||
|
||||
## 📁 Структура проекта
|
||||
|
||||
```
|
||||
api-ai-server/
|
||||
├── install-ubuntu.sh # Основной установщик
|
||||
├── docker-compose.yml # Конфигурация контейнеров
|
||||
├── ollama.service # Systemd сервис Ollama
|
||||
├── ai-server-webui.service # Systemd сервис Web UI
|
||||
├── config/
|
||||
│ └── config.json # Настройки RTX 2060
|
||||
└── scripts/
|
||||
├── start.sh # Запуск
|
||||
├── stop.sh # Остановка
|
||||
├── status.sh # Статус
|
||||
└── models.sh # Управление моделями
|
||||
```
|
||||
|
||||
## 🔗 Полезные ссылки
|
||||
|
||||
- [Ollama](https://ollama.ai/) - Локальный AI движок
|
||||
- [Open WebUI](https://github.com/open-webui/open-webui) - Веб-интерфейс
|
||||
- [NVIDIA Drivers](https://www.nvidia.com/drivers) - Драйверы GPU
|
||||
|
||||
---
|
||||
|
||||
**Готово к работе за 5 минут! 🎉**
|
||||
Reference in New Issue
Block a user