Наш фестиваль в одной картинке.
Здесь — рабочий черновик: 7 зон, центральный «мозг», как гость проходит через здание, как ops видит его в реальном времени, что унесёт с собой на выходе. Это не окончательная концепция, это материал, по которому команда договаривается на сессии. К концу её хотим иметь свой v0.2.
Содержание
1 · Главная метафора
«Площадка-организм». Здание умеет видеть, слышать, помнить, дышать вместе с городом, и говорить с каждым посетителем своим голосом. У каждой комнаты — характер; у площадки в целом — настроение, которое меняется от того, кто пришёл, сколько их и что они делают.
Эта метафора работает сразу на три аудитории:
- Гость — попадает в «живой дом», который реагирует на него, а не показывает заранее снятое кино.
- Пресса / партнёры — получает прозрачный, ёмкий tagline. «AI как новый материал архитектуры», «фест-организм».
- Город — видит демонстрацию реальной пользы AI: воздух, тепло, доступность, безопасность.
2 · Зоны по этажам
Базовый каркас — 7 зон (по образцу MLF YOU:MATTER / Frameless × Squidsoup Lost In Light). При меньшем здании сжимаем до 5; при большем добавляем outdoor-объект.
① Threshold (порог)
Идея: outdoor LED-portal по мотивам MLF Of the Oak. Городские датасеты (воздух, шум, толпа) рендерятся в живой узор. Tagline: «город уже здесь, до билета».
Тех: 4–6 м LED-portal + камеры подсчёта пешеходов (YOLO11+ByteTrack edge) + ESP32 air-mesh. Источник стиля — Anadol.
Op-роль: crowd counter на входе.
② Mirror Hall (большой зал)
Идея: wrap-around проекция / LED — главный «иконографический кадр». StreamDiffusion vid2vid рисует посетителя как часть огромной живой картины. Опционально DJ-сет с AI «musical brain» как у Zonneveld.
Тех: 8–16 проекторов + Disguise RenderStream или TD+Resolume, MediaPipe-TD на 2× Femto Bolt, StreamDiffusionTD @ 15–20 fps.
Op-роль: sentiment / surge alerts.
③ Talking Portraits (галерея)
Идея: 6–12 кабинок-портретов в стиле DEPT. Каждый — отдельный персонаж с локальным LLM и lipsync. Гость говорит, портрет отвечает голосом эпохи / профессии / истории. Подбор персонажа — по теме фестиваля или партнёра.
Тех: 4060 / 4070 на кабинку + ReSpeaker mic + faster-whisper + Qwen3.5-21B + Higgs Audio v2 + lipsync.
Op-роль: личный контакт 1:1, наивысший engagement-per-m².
④ Body Studio (mocap)
Идея: «Future You» — body-tracked silhouette проходит трансформацию (вода → огонь → кристалл → данные). Лучшая фото-комната, гость возвращается за повтором.
Тех: 2× ZED 2i + RTMPose + StreamDiffusionTD + TouchDesigner particles, проекция на 3 стены или LED-floor.
Op-роль: «селфи-точка» — здесь же fountain для highlight-рила.
⑤ Dream Room (комната снов)
Идея: по образцу ReVerie (Ars Electronica / MUTEK). Тихий ковёр, наушники, mic. Гость рассказывает сон или воспоминание — AI восстанавливает его как AV-среду на 90 секунд. Эмоциональный пик.
Тех: Whisper + Qwen3.5 + Seedance 2.0 (pre-gen за ночь, retrieval-edit в моменте) + Stable Audio. Privacy: только text retained, audio не сохраняем.
⑥ Living City (городская повестка)
Идея: floor-projection с live-картой города — воздух/шум/тепло/мобильность. По мотивам Anadol Living Cities + MIT Senseable + Plume. Рядом — kiosk «311-бот фестиваля» (по образцу Denver Sunny).
Тех: публичные API городских датасетов + TD-визуализация; LangGraph-агент с tools на 311/wayfinding.
Op-роль: «городской» нарратив для прессы и партнёров.
⑦ Calm Zone
Идея: обязательная по таксономии Design Trust 2025 — мягкий свет, шумоизоляция, water-sounds, тактильные растения. На входе — sensory-map с уровнем шума по зонам.
Тех: минимум — теплый свет, чёрный потолок, fade-in/out зон-аудио. Sensory map на iPad / e-ink.
Op-роль: «спасительный» маршрут для нейроотличных и уставших гостей. Юридически + этически.
3 · Центральный «мозг» площадки
Каждая зона — самостоятельная, но все они подключены к одному «дирижёру» и одной долговременной памяти.
┌─────────────────────────────────────────────────────┐
│ CONDUCTOR (TouchDesigner + LangGraph + Redis) │
│ - state-machine всего вечера (intensity, BPM) │
│ - роутер контента по зонам (загрузка / разгрузка) │
│ - shared memory: тренды толпы, sentiment, выход │
└────────────┬────────────────────┬───────────────────┘
│ MQTT / OSC / NDI │ pgvector / Redis
┌────────────────┼────────────────────┼────────────────┐
▼ ▼ ▼ ▼
ZONE AGENTS SENSOR EDGE VISUALS OPS LAYER
(Qwen3.5) (Jetson Orin) (RTX 5090) (dashboard)
1 на зону YOLO11 + RTMPose StreamDiffusion crowd map
persona+tools skeleton+heatmap Spout/NDI out alerts SMS
ESP32 air HVAC link
Что мозг знает
- Сейчас: где сколько людей, какое настроение, какая зона перегружена, какая пустая.
- За вечер: траектории (анонимные), любимые комнаты, время задержки, что гость записал в Dream Room.
- За сезон: агрегированная статистика — какие комнаты работают на разных типах публики; учится сам.
Что мозг делает с этим
- Динамически переключает контент в комнатах (когда Mirror Hall перегружен — Talking Portraits выкручивают мягкую «тизер»-проекцию у двери, чтобы оттянуть толпу).
- Шлёт alert операторам (падение, surge, отсутствие движения 5 мин в зоне).
- Собирает персональный highlight-reel на выходе: 30–60 сек по комнатам гостя + аудио из Dream Room + кадр из Body Studio. Отправляется по QR / mail / TG.
4 · Путь гостя за вечер
| Время | Что происходит с гостем | Что делает площадка |
|---|---|---|
| −10 мин · улица | Видит LED-portal у входа, фото на телефон. | Threshold считает поток; рисует узор из реальных городских данных. |
| 0 мин · вход | Сканирует билет / QR. Анонимный ID создаётся в системе. Дают браслет с pseudo-ID. | Mозг «открывает гостя»: пустой профиль, начинает накапливать траекторию. |
| 5 мин · Mirror Hall | Видит себя как часть гигантской живой картины. Танцует, машет. | StreamDiffusion vid2vid вшивает силуэт в общую сцену; crowd-уровень → BPM. |
| 20 мин · Talking Portrait | Заходит в кабинку. Портрет «Курехина» (или другого героя) узнаёт его, отвечает голосом эпохи. | Whisper + LLM + Higgs Audio + lipsync. Реплика сохраняется в TTS cache для будущего RAG. |
| 35 мин · Body Studio | Видит свой силуэт в трансформации, делает фото. | RTMPose → particles → одна «золотая» картинка кладётся в highlight-buffer. |
| 50 мин · Dream Room | Шёпотом рассказывает сон. Через 90 секунд смотрит свою AV-импровизацию. | Локальная транскрипция (audio не сохраняется), Seedance vid retrieve+edit. |
| 65 мин · Living City | Подходит к «городской карте»; спрашивает 311-бота про мусор у дома. | LangGraph agent с tool на open data; ответ голосом + текст. |
| 80 мин · Calm Zone | Устаёт, садится, отдыхает. | Свет приглушается, soundscape мягкий, sensory map в руках. |
| выход | Сканирует QR на выходе. Через 1–3 минуты в TG / mail — личный 45-секундный AI-edit вечера. | Highlight-reel генератор: подбирает 4–6 кадров из его траектории, накладывает Stable Audio music. |
5 · Архитектура (схема)
ETHERNET (1/2.5/10 GbE) + PoE для камер
PTP (IEEE 1588) для time-sync · Ableton Link для musical sync
┌──────────────────────────────────────────────────────────────────────────┐
│ ZONE EDGE (×7) │
│ ┌──────────────────┐ ┌──────────────────┐ ┌────────────────────────┐ │
│ │ Sensor box │ │ Vision Edge │ │ Visuals Workstation │ │
│ │ - 2× Femto Bolt │ │ Jetson Orin Nano │ │ RTX 5090 / 4070 │ │
│ │ - 1× ZED 2i │ │ YOLO11+ByteTrack │ │ TD + StreamDiffusionTD │ │
│ │ - mics array │ │ RTMPose hero │ │ → Spout / NDI / SDI │ │
│ │ - ESP32 air mesh │ │ Qwen2.5-VL hint │ │ │ │
│ └────────┬──────────┘ └───────┬───────────┘ └──────────┬─────────────┘ │
│ │ MQTT (poses, flags) │ │ Spout/NDI │
│ └──────────┬──────────┘ ▼ │
│ │ PROJECTORS/LED │
└──────────────────────┼─────────────────────────────────────────────────────┘
▼
┌─────────────────────┐
│ MQTT BROKER + REDIS │
└────────┬────────────┘
│
┌─────────────┼─────────────┐
▼ ▼ ▼
CONDUCTOR OPS DASHBOARD AGENT MESH
(TD) (Grafana+SMS) (LangGraph,
Qwen3.5 21B
+ Claude Opus
under gate)
WAN ↘
Cloud: Klod / Seedance / RunPod Flash
(pre-render видео, hero-LLM)
6 · Timeline продакшена
| Фаза | Длительность | Что делаем |
|---|---|---|
| 0 · Discovery | 2–3 недели | Закрыть страницу 7 (Вопросы), пройти выбор площадки, юр-проверку, написать DPIA. |
| 1 · Pre-prod | 4–6 недель | Дизайн зон, R&D одной комнаты «маяка» (Body Studio или Talking Portrait), черновой scenography-проект. |
| 2 · Build · digital | 6–10 недель | Сборка пайплайнов по слоям: сенсоры → vision → realtime-gen → агенты → show-control. Параллельно — pre-render для Dream Room. |
| 3 · Build · physical | 2–4 недели | Монтаж света/звука/проекций/LED, прокладка сети, наклейки accessibility, тестовые прогоны. |
| 4 · Soft launch | 1 неделя | Закрытые показы для команды + друзей. Шлифовка ops-дашборда. Стресс-тест толпы. |
| 5 · Run | длительность фестиваля | Ежедневный 30-мин брифинг с conductor-логами; еженедельный contrast-апдейт сцен. |
| 6 · After | 2 недели | Архив анонимных данных, видео-отчёт, академический paper (опционально), пресс-ретро. |
Total от старта до открытия: ~16–24 недели (4–6 месяцев). При жёстком сроке можно сжать до 12, обрезав Dream Room и Living City.
7 · Грубая оценка бюджета
Цифры — orders of magnitude, не сметы. Адаптировать под площадку.
| Статья | Базовая (5 зон, ~1500 m²) | Полная (7 зон + outdoor) |
|---|---|---|
| Сенсоры (Femto Bolt × 12, ZED × 4, LiDAR × 2, ESP32 × 20) | $15–22k | $25–35k |
| Edge vision (Jetson Orin Nano × 7) | $3–5k | $3–5k |
| Visuals workstations (RTX 5090 × 5) | $15–25k | $25–40k |
| Проекция / LED (зависит от площади) | $80–150k | $200–400k |
| Звук (Dante mesh, динамики, mic-arrays) | $25–40k | $50–80k |
| Свет / сценография | $30–60k | $60–120k |
| R&D и продакшен софта (3–5 чел × 4 мес) | $60–120k | $120–250k |
| Cloud (Klod/Seedance/RunPod) на event-period | $3–8k | $8–20k |
| Юр. / DPIA / privacy compliance | $5–10k | $10–20k |
| Ops + smena + accessibility-консультанты | $15–30k | $30–60k |
| Итого (без аренды площадки) | $250–470k | $530–1030k |
Самая большая неопределённость — LED и проекция. Можно сэкономить, если идти проекциями + тонкой светотехникой вместо LED-volume. Можно подключить местного партнёра-вендора в обмен на лого. Бюджет «выше $1M» — это уже Sphere/Cosm-классa, не наш сценарий.
8 · Главные риски
1 · «Зрелищное, но без идеи»
Если каждая комната — отдельный аттракцион, фест распадётся. Лекарство — один сквозной нарратив (метафора «организм»), один режиссёр, один conductor.
2 · Realtime фейлит на открытии
StreamDiffusion может «упасть» под крауд-стрессом. Лекарство — fallback на pre-rendered лупы в каждой зоне, conductor переключает автоматически.
3 · Privacy / AI Act
Один скриншот с лицами в дашборде — пиар-катастрофа в EU. Лекарство — face-blur на edge ДО любой передачи, отдельный privacy-officer на event.
4 · Доступность
Без Calm Zone фест станет «токсичным» для нейроотличных. Лекарство — Calm Zone как обязательная, на входе sensory-map.
5 · Перегруженный highlight-reel
Если AI делает «cinematic» нарезку с автоматическим эпическим саундом — гость удалит. Лекарство — 3 версии (тихая / клубная / мем-короткая), гость выбирает на выходе.
6 · Команда «не вытащит»
Multi-zone realtime — самое сложное в проде. Лекарство — backup-партнёры: 1 студия на TD, 1 на сетевую инфру, 1 на сцен/свет, чтобы внутренняя команда не закрывала всё.