Платформа Rerun продолжает свой динамичный рост, укрепляя свою позицию как универсальное решение для сбора и визуализации мультимодальных данных в сфере Physical AI. Последний релиз версии 0.24 приносит значительные усовершенствования, включая поддержку светлого режима интерфейса, новую технологию работы с потоковым видео и усовершенствования в системе компонентов, благодаря которым пользователям становится еще удобнее интегрировать и визуализировать свои данные. Важно понимать, что данные изменения не только повышают удобство использования, но и непосредственно влияют на эффективность рабочих процессов инженеров, исследователей и разработчиков. Одним из ключевых нововведений версии 0.
24 стала поддержка светлого режима (Light Mode). Теперь Rerun автоматически подстраивается под системные настройки пользователя, что позволяет работать в привычной цветовой схеме без дополнительных настроек. Это важный шаг на пути к созданию более комфортной и адаптивной среды, особенно учитывая широкое распространение устройств и операционных систем с поддержкой автоматического переключения тем. Кроме того, если пользователь предпочитает конкретную цветовую схему – светлую или тёмную, он всегда может вручную переключать режим работы. Светлый режим доступен также для встроенных просмотров в вебе и в Jupyter Notebook, что делает интеграцию Rerun в привычные инструменты еще более гармоничной и удобной.
Такой подход демонстрирует стремление проекта к созданию единой и согласованной пользовательской среды во всех рабочих контекстах. Еще одно значимое обновление связано с поддержкой потокового видео. Ранее Rerun позволял работать с видеоданными только по готовому файлу с помощью архетипа AssetVideo, что ограничивало возможность наблюдать видео в реальном времени во время записи. С выходом 0.24 появилась поддержка архетипа VideoFrame, позволяющего логировать видео прямо из потока закодированных пакетов.
Эта инновация объединила преимущества эффективного сжатия, характерного для видеокодеков, таких как H.264, и возможность наблюдать данные практически в реальном времени. Это особенно актуально для робототехники, где камеры играют важнейшую роль как источники информации. Логирование видео в не сжатом формате требует огромных объемов памяти и ресурсов, тогда как потоковое сжатие снижает размер данных примерно в 20 раз. Благодаря новым возможностям разработчики получают быстрый визуальный отклик без необходимости ждать завершения записи и конвертации файла.
Для работы с потоковым видео Rerun предоставляет интеграцию с популярной библиотекой pyav, которая обеспечивает кодирование видеопотока в режиме реального времени. Пример кода демонстрирует, как можно фиксировать кадры, генерировать видеопакеты и одновременно отправлять их в систему логирования. Важно отметить некоторые технические ограничения – например, на сегодняшний день не поддерживаются B-кадры, поскольку их декодирование требует просмотра вперёд в последовательности пакетов, чего пока что система не предусматривает. Также в рамках VideoFrame поддерживается только кодек H.264, однако разработчики планируют расширить перечень форматов в ближайшем будущем.
Дополнительно рекомендовано использовать веб-версию Rerun для просмотра видеоданных, так как современные браузеры обладают мощным GPU-ускорением и продвинутыми алгоритмами декодирования. Еще одним заметным дополнением стало появление встроенного загрузчика URDF (Unified Robot Description Format) файлов. URDF-файлы широко применяются в робототехнической среде для описания конфигураций роботов. Ранее для их обработки требовалось скачивание внешних загрузчиков, что вносило дополнительную сложность в рабочие процессы. Теперь 0.
24 версия позволяет напрямую импортировать URDF и анимировать роботов на основе данных из логов о положении суставов. Такой подход значительно упрощает интеграцию и позволяет визуализировать движения робота в реальном времени, делая конечный результат более наглядным и удобным в работе. Настройка анимации производится с помощью удобного Python-интерфейса. Пользователь загружает URDF-файл через логирование файла и затем во время работы логирует углы суставов, указывая пути в иерархии URDF. Это позволяет динамически обновлять состояние модели на экране и наблюдать анимацию движения с высокой степенью реалистичности.
Такой функционал полезен как в исследовательской, так и в промышленной разработке роботов. Одной из наиболее востребованных пользователей функцией стала поддержка мультисинков (multi-sink support), то есть возможность одновременно визуализировать данные в живом режиме и записывать их в файл. Теперь с помощью API set_sink легко настроить несколько выходных «приемников» данных, например, локальный просмотрщик и файл сессии. Это отвечает запросам сообществ, которые хотят не только наблюдать процесс в реальном времени, но и сохранять большие массивы данных для последующего анализа и воспроизведения. При этом разработчики рекомендуют тщательно настраивать размер буфера для балансировки между задержкой отображения и эффективностью записи, что позволяет индивидуально оптимизировать производительность под конкретные задачи.
Важнейшие изменения коснулись и системы компонентов, которые используются для описания различных типов данных и визуальной презентации внутри Rerun. Теперь проект вводит концепцию Tagged Components – тегированных компонентов. Эта новая структура позволяет каждому компоненту идентифицироваться не просто по типу, а с привязкой к архетипу и имени поля компонента. Такой подход решил предыдущие ограничения, связанные с невозможностью иметь несколько компонентов одинакового типа на одном и том же пути сущности без конфликта. Tagged Components избавили систему от необходимости использовать индикаторные компоненты для распознавания архетипов и значительно упростили внутреннюю логику и интерфейс.
Визуально пользователи теперь видят компоненты, сгруппированные по архетипу и полям, а не по типу с ненужным повторением индикаторов. Это не только улучшило пользовательский опыт с точки зрения удобства и читаемости, но и снизило нагрузку на память и дисковое пространство. Усовершенствования коснулись всех уровней интерфейса: панели потоков, панели выбора и всплывающих подсказок. Благодаря Tagging можно также расширять и кастомизировать логику логирования, создавая более описательные и информативные компоненты. Интерфейс Python позволяет явно указывать дополнительные дескрипторы, что повышает гибкость при работе с произвольными типами данных и ускоряет интеграцию новых форматов.
В перспективе разработчики планируют дать возможность динамически изменять интерпретацию компонентов прямо в просмотрщике без необходимости менять исходные данные. Это откроет новые горизонты в визуализации и анализе данных, позволяя, например, отображать элементы 3D-трансформаций как временные серии скалярных значений. Несмотря на широкий набор новых возможностей, команда Rerun сумела сохранить обратную совместимость и минимизировать ломки в API основных функций логирования, что существенно облегчает переход на новую версию и адаптацию существующего кода. Кроме основных блоков обновлений, релиз 0.24 сопровождается множеством незначительных улучшений, быстрых исправлений багов и общих оптимизаций производительности.
Все изменения подробно описаны в официальном ченджлоге проекта, что позволяет пользователям и разработчикам быстро ориентироваться в нововведениях и использовать их в своих проектах. В целом, релиз Rerun 0.24 демонстрирует серьезное развитие платформы в направлении гибкости, расширяемости и удобства использования. Поддержка светлого режима гармонично дополняет существующий интерфейс, делая взаимодействие более комфортным. Возможности потокового видео существенно упрощают работу с визуальными видеоданными, что особенно важно для задач робототехники и роботизированного зрения.
