Для организации трансляции экрана с минимальной задержкой исследовались различные подходы, включая ffmpeg, GetDC и DirectX. Использование ffmpeg показало свою неэффективность из-за задержки, возможно, связанной с внутренней работой библиотеки. Прямой захват экрана через GetDC также не обеспечил требуемой скорости. Наилучшие результаты были достигнуты с использованием DirectX DXGI API через Desktop Duplicate Api, который позволяет получать 60-90 кадров в секунду с минимальной задержкой, что сравнимо с OBS Studio.
Передача данных по сети оказалась узким местом. Передача несжатых кадров через WebSockets требует пропускной способности в несколько гигабит в секунду, что делает этот метод непригодным для большинства сетей. Сжатие кадров с использованием libpng и JPEG не привело к успеху, так как процесс сжатия вносил задержку.
Использование WebRTC с кодеком H264 показало лучшие результаты, однако вносит небольшую задержку из-за шифрования и буферизации. Альтернативный подход с использованием gstreamer RTP over UDP позволил снизить задержку. Оптимизация разрешения картинки через videoscale также улучшило восприятие задержки.
В качестве готовых решений были протестированы Spacedesk и Chrome Remote Desktop. Spacedesk демонстрирует неплохую задержку, но иногда вызывает фризы. Chrome Remote Desktop обеспечивает стабильную работу, но имеет задержку около 400 мс. В итоге, наилучшая производительность была достигнута при использовании gstreamer RTP over UDP в связке с WebRTC, что позволило приблизиться к реальному времени, но не полностью повторить опыт использования физического монитора.
Изображение носит иллюстративный характер
Передача данных по сети оказалась узким местом. Передача несжатых кадров через WebSockets требует пропускной способности в несколько гигабит в секунду, что делает этот метод непригодным для большинства сетей. Сжатие кадров с использованием libpng и JPEG не привело к успеху, так как процесс сжатия вносил задержку.
Использование WebRTC с кодеком H264 показало лучшие результаты, однако вносит небольшую задержку из-за шифрования и буферизации. Альтернативный подход с использованием gstreamer RTP over UDP позволил снизить задержку. Оптимизация разрешения картинки через videoscale также улучшило восприятие задержки.
В качестве готовых решений были протестированы Spacedesk и Chrome Remote Desktop. Spacedesk демонстрирует неплохую задержку, но иногда вызывает фризы. Chrome Remote Desktop обеспечивает стабильную работу, но имеет задержку около 400 мс. В итоге, наилучшая производительность была достигнута при использовании gstreamer RTP over UDP в связке с WebRTC, что позволило приблизиться к реальному времени, но не полностью повторить опыт использования физического монитора.
