Дорожная карта видеофич

1 Продвинутые шаблоны Remotion

Что делаем: Расширяем CaptionStyleSchema четырьмя новыми стилями подсветки слов (pop_in, karaoke, bounce, glow_pulse), двумя переходами (zoom_in, drop_in), тремя полями (word_entrance, highlight_rotation_deg, text_transform). Добавляем два системных пресета: «Shorts» и «Podcast».

Где трогаем код: Расширение схемы в Remotion + бэкенде, логика рендеринга в Captions.tsx, Alembic-миграция для пресетов, контролы в StyleEditor на фронте.

Спецификация: docs/superpowers/specs/2026-03-21-advanced-remotion-templates-design.md
План: docs/superpowers/plans/2026-03-21-advanced-remotion-templates.md

2 Детекция вирусных моментов

Архитектура

LLM API: Gemini 2.5 Flash — лучшая поддержка русского языка, $0.15/$0.60 за 1М токенов. Альтернатива: GPT-4o-mini. Стоимость анализа одного 30-минутного видео: ~$0.005.

Аудио-подкрепление: librosa для кривых RMS-энергии — уточняет границы клипов до естественных пауз, повышает скор для энергичных сегментов. ~20МБ, обработка 30 мин аудио <10 секунд.

Пайплайн

1. Берём транскрипцию из БД
2. librosa считает огибающую энергии (разрешение 100мс)
3. LLM анализирует текст через промпт со structured JSON output
4. Постобработка: привязка границ к точкам низкой энергии, расчёт energy-скоров
5. Сохраняем клипы в новую таблицу clips

Бэкенд

Новый модуль: clips — хранит найденные клипы со связями project / file / job.

Модель клипа:

Clip {
  project_id: UUID (FK projects)
  source_file_id: UUID (FK files)
  job_id: UUID? (FK jobs)
  title: str
  start_ms: int
  end_ms: int
  score: float
  source_type: "viral_detected" | "user_created" | "auto_generated"
  status: "pending" | "approved" | "rejected" | "exported"
  meta: JSON? (рассуждения LLM, теги, хэштеги)
}

Новый тип джоба: VIRAL_DETECT в JobTypeEnum. Актор вызывает LLM API через httpx из Dramatiq-воркера.

Фронтенд

• Новый ViralClipsStep в визарде проекта
• Список клипов с превьюшками, скорами, кнопками принять/отклонить
• Модалка редактирования клипа с видео-превью
• Новый тип джоба VIRAL_DETECT в обработке нотификаций

Ключевые цифры

Риски

MVP vs Полная версия

3 Авто-монтаж и трекинг лица

Архитектура

Детекция лиц: MediaPipe BlazeFace (Apache 2.0, ~2МБ модель, 30–60 FPS на CPU). Сэмплируем на 3 FPS. Зависимость: mediapipe (~30МБ).

Диаризация спикеров: pyannote.audio 3.1 (MIT, ~10% DER, self-hosted). CPU: 0.17–0.33x реального времени. GPU: 1–2 мин на 30 мин аудио. Зависимости: pyannote-audio (~200МБ) + torchaudio (~50–80МБ).

Маппинг лицо-спикер:

• Фаза 1: Эвристика по временной корреляции. 70–85% точности для двух спикеров. ~100 строк Python.
• Фаза 2: TalkNet-ASD — анализ губ + аудио. 92.3% точности. Нужен GPU.

Видео-композитинг (Remotion)

Динамический кроп через CSS transform: scale() translate() на <Video> внутри контейнера с overflow: hidden. GPU-ускоренная браузерная операция — бесплатная по производительности.

Новые Remotion-композиции

Формат данных кропа

type FaceKeyframe = {
  time: number;       // секунды
  x: number;          // центр лица, 0.0–1.0
  y: number;          // центр лица, 0.0–1.0
  width: number;      // ширина bbox, 0.0–1.0
  height: number;     // высота bbox, 0.0–1.0
  speakerId?: string;
};

type CropTrack = {
  keyframes: FaceKeyframe[];
  interpolation: "linear" | "ease" | "smooth";
  zoom: number;       // базовый множитель зума
  safeMargin: number; // отступ вокруг лица (0.1 = 10%)
};

Бэкенд

Новые типы джобов: FACE_DETECT, SPEAKER_DIARIZE. Результаты хранятся в Job.output_data (JSON).

Отделение ML-сервиса:

• Фаза 1: В Dramatiq-воркерах. MediaPipe + pyannote добавляют ~280МБ к образу.
• Фаза 2: Отдельный контейнер ml-worker на выделенных очередях Dramatiq.

Время обработки (30-мин 1080p видео)

Требования к памяти

Фронтенд

• Превью трекинга лица: видеоплеер с наложением bounding box через canvas
• Трек спикеров в TimelinePanel
• Контролы: слайдер зума, скорость перехода, выбор спикера
• Переключатель «до/после»

Ключевые цифры

Риски

MVP vs Полная версия

4 Конвертация в вертикальные Shorts (9:16)

Архитектура

Сначала кроп, потом субтитры — всегда. Один проход рендеринга через новую композицию ShortsVideo.

Спецификация кропа:

type CropConfig = {
  mode: "static" | "keyframe";
  staticCrop?: { x: number; y: number; zoom: number };
  keyframes?: Array<{ time: number; x: number; y: number; zoom: number }>;
  interpolation?: "linear" | "ease" | "smooth";
};

Бэкенд

• Новый тип джоба: ASPECT_CONVERT
• Новый тип артефакта: VERTICAL_VIDEO
• Функция crop_to_vertical() в media/service.py

Фронтенд

• Превью кропа: перетаскиваемый прямоугольник 9:16 поверх видеоплеера
• Side-by-side: оригинал 16:9 vs обрезанное 9:16
• Интеграция с Фичей 2: кнопка «Конвертировать в Short» на каждом клипе
• Интеграция с Фичей 3: авто-кроп из данных детекции лица

Время обработки

MVP vs Полная версия