Дорожная карта видеофич

Что изменилось по сравнению с v1

Одно принципиальное решение перевернуло всю архитектуру: вместо локальных ML-моделей — управляемые API-сервисы. PyTorch, GPU-инфраструктура, разделение ML-воркеров, большинство проблем с памятью и временем обработки — всё это просто исчезло.

Замены API

Ключевые метрики

Проблемы, которых больше нет

Новые проблемы

Ничего бесплатного не бывает. Вот что появилось взамен:

Общая картина

Что делаем: Расширяем CaptionStyleSchema четырьмя новыми стилями подсветки (pop_in, karaoke, bounce, glow_pulse), двумя переходами (zoom_in, drop_in), тремя полями. Два системных пресета: "Shorts" и "Podcast".

Где трогаем код: Расширение схемы в Remotion + бэкенде, логика рендеринга в Captions.tsx, Alembic-миграция для пресетов, контролы в StyleEditor на фронте.

Архитектура (v2 — API-First)

В v1 мы планировали гонять LLM по тексту и считать энергию аудио через librosa. В v2 подход элегантнее: один вызов Deepgram даёт транскрипцию, разметку спикеров и сентимент-анализ — три результата за одну цену. А текст анализирует GigaChat, которому русский язык родной.

Транскрипция: Deepgram Nova-3 API с diarize=true + sentiment=true. Один вызов — пословные таймстемпы, метки спикеров, оценка сентимента. Стоимость: $0.0053/мин ($0.16 за 30-минутное видео). Обработка: ~30 секунд.

LLM-анализ: GigaChat Pro (Сбер) — нативная русскоязычная LLM. Лучше ловит русский юмор, культурные отсылки, сленг и вирусные паттерны. Фоллбэк: DeepInfra (Llama 3.1 70B или Qwen) для A/B-тестирования.

Аудио-подкрепление: Сентимент от Deepgram заменяет librosa. Высокий сентимент коррелирует с вирусными моментами.

Пайплайн

Бэкенд

Новый модуль: clips (models, schemas, repository, service, router).

Модель клипа

Clip {
  project_id: UUID (FK projects)
  source_file_id: UUID (FK files)
  job_id: UUID? (FK jobs)
  title: str
  start_ms: int
  end_ms: int
  score: float
  source_type: "viral_detected" | "user_created" | "auto_generated"
  status: "pending" | "approved" | "rejected" | "exported"
  meta: JSON? (рассуждения LLM, теги, хэштеги, данные сентимента)
}

Новый тип джоба: VIRAL_DETECT в JobTypeEnum. GigaChat через httpx из Dramatiq-воркера.

Расширение движков: engine: "whisper" | "google" | "deepgram". Deepgram — дефолт.

Интеграция с LLM

• GigaChat API через httpx (OAuth2 token auth через Sber ID)
• DeepInfra как фоллбэк (OpenAI-совместимый API)
• Промпты в cpv3/infrastructure/prompts/viral_detection_v1.txt
• Настройки: GIGACHAT_CLIENT_ID, GIGACHAT_CLIENT_SECRET, DEEPINFRA_API_KEY, DEEPGRAM_API_KEY

Ключевые цифры

Риски

MVP vs Полная версия

В v1 эта фича была монстром: pyannote на CPU 30 минут жуёт аудио, PyTorch конфликтует с Whisper, GPU-воркеры, 16 ГБ RAM. В v2 всё, что касалось диаризации, ушло в один API-вызов Deepgram. Осталась только детекция лиц через MediaPipe — лёгкая библиотека, работающая на CPU за минуту-две.

Архитектура (v2 — API-First)

Детекция лиц: MediaPipe BlazeFace. Apache 2.0, ~2МБ, 30-60 FPS на CPU. Сэмплируем на 3 FPS. Единственный оставшийся локальный ML-компонент.

Диаризация спикеров: Deepgram API с diarize=true (~30 сек на 30-мин видео). Полностью заменяет pyannote.

Маппинг лицо-спикер

Видео-композитинг: CSS transform: scale() translate() в Remotion. GPU-ускоренная браузерная операция — бесплатная по производительности.

Remotion-композиции

Время обработки (30-мин 1080p видео)

Требования к памяти

Ключевые цифры

Риски

MVP vs Полная версия

Пайплайн: Сначала кроп, потом субтитры — всегда. Один проход Remotion через ShortsVideo.

Спецификация кропа

type CropConfig = {
  mode: "static" | "keyframe";
  staticCrop?: { x: number; y: number; zoom: number };
  keyframes?: Array<{ time: number; x: number; y: number; zoom: number }>;
  interpolation?: "linear" | "ease" | "smooth";
};

Бэкенд

Новый джоб: ASPECT_CONVERT. Функция crop_to_vertical() в media/service.py.

Новый артефакт: VERTICAL_VIDEO в ArtifactTypeEnum.

Фронтенд

• Перетаскиваемый прямоугольник 9:16 поверх видеоплеера
• Side-by-side превью: оригинал vs обрезанное
• Кнопка «Конвертировать в Short» на одобренных вирусных клипах
• Автозаполнение кропа из данных детекции лица

Время обработки

MVP vs Полная версия

Рекомендуемый порядок разработки

Почему именно так

1. Шаблоны первыми — готовы, нулевой риск, моментальная польза
2. Вирусная детекция второй — самый быстрый ROI (3-5 дней MVP), валидирует спрос
3. 9:16 MVP третьим — создаёт ShortsVideo, полезна сама по себе
4. Трекинг лица последним — самая сложная, но теперь проще без pyannote/GPU
5. Апгрейд 9:16 — тривиален, когда трекинг даёт позиции

Анализ стоимости

Стоимость одного видео (30-мин, все фичи)

Сравнение месячных расходов

Предлагаемые тарифы SaaS

Инфраструктура (v2 — упрощённая)

Архитектура

Docker-образ

Разделение ML-сервиса не требуется

MediaPipe (~30МБ, ~400МБ RAM) — это всё, что работает локально. Не нужны:

• Отдельный контейнер ML-воркера
• Docker Compose profiles для ML
• GPU-инфраструктура
• Выделенные очереди Dramatiq для ML

Стандартный воркер с --processes 1 --threads 2 справляется со всем.

Новые настройки

# Deepgram
deepgram_api_key: str = Field(default="", alias="DEEPGRAM_API_KEY")

# GigaChat (Сбер)
gigachat_client_id: str = Field(default="", alias="GIGACHAT_CLIENT_ID")
gigachat_client_secret: str = Field(default="", alias="GIGACHAT_CLIENT_SECRET")

# DeepInfra (фоллбэк LLM)
deepinfra_api_key: str = Field(default="", alias="DEEPINFRA_API_KEY")

# Конфигурация LLM
llm_provider: str = Field(default="gigachat", alias="LLM_PROVIDER")
llm_viral_prompt_version: str = Field(default="v1", alias="LLM_VIRAL_PROMPT_VERSION")

Сводка по технологическому стеку

Новые зависимости (v2)

Удалённые зависимости

Новые компоненты

Новые типы джобов

Расширение движков транскрипции

engine: Literal["whisper", "google", "deepgram"] = "deepgram"

Deepgram — дефолт. Whisper — опциональный фоллбэк (uv sync --group whisper).

Сквозные проблемы (v2)

Остались из v1

Новые в v2

Ликвидированные из v1