媒体管理

概述

媒体管理功能提供了完整的音视频采集、渲染和处理能力，包括视频配置、音频控制、渲染管理等功能。支持多种视频分辨率、音频处理、OpenGL渲染等高级特性。

使用流程

1. 视频配置

在开始视频通话前，先配置视频参数：

// 设置视频采集参数 - 720P 30fps
NemoSdkAdaptor::getInstance()->setVideoProfile(XYVideoResolution_720P, XYVideoFrameRate_30);

// 设置本地视频渲染配置 - 640x480分辨率，启用渲染
NemoSdkAdaptor::getInstance()->setVideoRenderConfig(640, 480, true);

// 设置本地视频镜像翻转 - 启用镜像
NemoSdkAdaptor::getInstance()->setLocalPreviewFlip(true);

2. 启动媒体采集

配置完成后，启动音视频采集：

// 启动摄像头采集
NemoSdkAdaptor::getInstance()->startCamera();

// 开始音频采集
NemoSdkAdaptor::getInstance()->startAudioCapture();

3. 渲染管理

设置视频渲染和显示：

// 绑定OpenGL渲染
NemoSdkAdaptor::getInstance()->bindGLRender(windowHandle);

// 设置订阅参会者列表
NemoSdkAdaptor::getInstance()->setRenderResources(participantList);

4. 音频控制

管理音频采集和播放：

// 设置麦克风音量
NemoSdkAdaptor::getInstance()->setMicVolume(80);

// 设置扬声器音量
NemoSdkAdaptor::getInstance()->setSpeakerVolume(70);

// 开启音频旁路
NemoSdkAdaptor::getInstance()->setMicDataByAEEnabled(true);

功能分类

1. 视频管理

视频配置

API: setVideoProfile

接口定义:

virtual void setVideoProfile(XYVideoResolution resolution, XYVideoFrameRate frameRate) = 0;

参数:

resolution: XYVideoResolution - 视频分辨率
frameRate: XYVideoFrameRate - 视频帧率

示例:

// 设置720P 30fps
NemoSdkAdaptor::getInstance()->setVideoProfile(XYVideoResolution_720P, XYVideoFrameRate_30);

// 设置1080P 60fps
NemoSdkAdaptor::getInstance()->setVideoProfile(XYVideoResolution_1080P, XYVideoFrameRate_60);

视频渲染配置

API: setVideoRenderConfig

接口定义:

virtual void setVideoRenderConfig(int width, int height, bool enable) = 0;

参数:

width: int - 渲染宽度
height: int - 渲染高度
enable: bool - 是否启用

示例:

NemoSdkAdaptor::getInstance()->setVideoRenderConfig(1280, 720, true);

本地预览翻转

API: setLocalPreviewFlip

接口定义:

virtual void setLocalPreviewFlip(bool enable) = 0;

参数:

enable: bool - 是否启用镜像翻转

示例:

NemoSdkAdaptor::getInstance()->setLocalPreviewFlip(true);

摄像头控制

API: startCamera

接口定义:

virtual void startCamera() = 0;

示例:

NemoSdkAdaptor::getInstance()->startCamera();

API: stopCamera

接口定义:

virtual void stopCamera() = 0;

示例:

NemoSdkAdaptor::getInstance()->stopCamera();

2. 音频管理

音频采集控制

API: startAudioCapture

接口定义:

virtual void startAudioCapture() = 0;

示例:

NemoSdkAdaptor::getInstance()->startAudioCapture();

API: stopAudioCapture

接口定义:

virtual void stopAudioCapture() = 0;

示例:

NemoSdkAdaptor::getInstance()->stopAudioCapture();

音量控制

API: setMicVolume

接口定义:

virtual void setMicVolume(int volume) = 0;

参数:

volume: int - 音量值（0-100）

示例:

NemoSdkAdaptor::getInstance()->setMicVolume(80);

API: setSpeakerVolume

接口定义:

virtual void setSpeakerVolume(int volume) = 0;

参数:

volume: int - 音量值（0-100）

示例:

NemoSdkAdaptor::getInstance()->setSpeakerVolume(70);

音量检测

API: getMicVolume

接口定义:

virtual int getMicVolume() = 0;

返回值: int - 当前麦克风音量值（0-100）

示例:

int micVolume = NemoSdkAdaptor::getInstance()->getMicVolume();

API: getSpeakerVolume

接口定义:

virtual int getSpeakerVolume() = 0;

返回值: int - 当前扬声器音量值（0-100）

示例:

int speakerVolume = NemoSdkAdaptor::getInstance()->getSpeakerVolume();

3. 渲染管理

OpenGL渲染

API: bindGLRender

参数:

windowHandle: 窗口句柄

示例:

NemoSdkAdaptor::getInstance()->bindGLRender(windowHandle);

API: unbindGLRender

示例:

NemoSdkAdaptor::getInstance()->unbindGLRender();

API: paintGL

示例:

NemoSdkAdaptor::getInstance()->paintGL();

订阅管理

API: setRenderResources

参数:

participantList: 参会者列表

示例:

NemoSdkAdaptor::getInstance()->setRenderResources(participantList);

完整示例代码

class MediaManager {
private:
    bool _isVideoStarted = false;
    bool _isAudioStarted = false;
    int _micVolume = 80;
    int _speakerVolume = 70;

public:
    void initializeMedia() {
        // 设置视频配置
        setVideoConfig(XYVideoResolution_720P, XYVideoFrameRate_30);
        
        // 设置音频配置
        setAudioConfig();
    }

    void setVideoConfig(XYVideoResolution resolution, XYVideoFrameRate frameRate) {
        NemoSdkAdaptor::getInstance()->setVideoProfile(resolution, frameRate);
        NemoSdkAdaptor::getInstance()->setVideoRenderConfig(1280, 720, true);
    }

    void setAudioConfig() {
        NemoSdkAdaptor::getInstance()->setMicVolume(_micVolume);
        NemoSdkAdaptor::getInstance()->setSpeakerVolume(_speakerVolume);
        NemoSdkAdaptor::getInstance()->setAudioAutoGainCtrl(true);
    }

    void startVideo() {
        if (!_isVideoStarted) {
            NemoSdkAdaptor::getInstance()->startCamera();
            _isVideoStarted = true;
        }
    }

    void stopVideo() {
        if (_isVideoStarted) {
            NemoSdkAdaptor::getInstance()->stopCamera();
            _isVideoStarted = false;
        }
    }

    void startAudio() {
        if (!_isAudioStarted) {
            NemoSdkAdaptor::getInstance()->startAudioCapture();
            _isAudioStarted = true;
        }
    }

    void stopAudio() {
        if (_isAudioStarted) {
            NemoSdkAdaptor::getInstance()->stopAudioCapture();
            _isAudioStarted = false;
        }
    }

    void bindGLRender(void* windowHandle) {
        NemoSdkAdaptor::getInstance()->bindGLRender(windowHandle);
    }

    void unbindGLRender() {
        NemoSdkAdaptor::getInstance()->unbindGLRender();
    }

    void paintGL() {
        NemoSdkAdaptor::getInstance()->paintGL();
    }

    void setMicVolume(int volume) {
        _micVolume = qBound(0, volume, 100);
        NemoSdkAdaptor::getInstance()->setMicVolume(_micVolume);
    }

    void setSpeakerVolume(int volume) {
        _speakerVolume = qBound(0, volume, 100);
        NemoSdkAdaptor::getInstance()->setSpeakerVolume(_speakerVolume);
    }

    // 视频状态变化回调
    void onVideoStatusChanged(XYVideoStatus status, const XYString& userId) {
        QString userIdStr(userId.str());
        emit videoStatusChanged(status, userIdStr);
    }

    // 音频音量变化回调
    void onAudioVolumeChanged(const XYString& userId, int volume) {
        QString userIdStr(userId.str());
        emit audioVolumeChanged(userIdStr, volume);
    }

    // 麦克风能量变化回调
    void onMicEnergyChanged(int energy) {
        emit micEnergyChanged(energy);
    }

    // Getter方法
    bool isVideoStarted() const { return _isVideoStarted; }
    bool isAudioStarted() const { return _isAudioStarted; }
    int getMicVolume() const { return _micVolume; }
    int getSpeakerVolume() const { return _speakerVolume; }
};

视频状态说明

状态	说明
`XYVideoStatus_Started`	视频已启动
`XYVideoStatus_Stopped`	视频已停止
`XYVideoStatus_Muted`	视频已静音
`XYVideoStatus_Unmuted`	视频已取消静音

注意事项

调用时机: 视频配置应在呼叫前设置，音频配置可在会议中进行
资源管理: 及时释放OpenGL渲染资源，避免内存泄漏
性能优化: 根据设备性能选择合适的视频分辨率和帧率
音频处理: 合理使用音频增益和旁路功能，避免音频质量问题
渲染同步: 确保UI线程和渲染线程的正确同步

API 参考

视频管理

方法	描述	链接
setVideoProfile	设置摄像头采集参数	查看详情
setVideoRenderConfig	设置本地视频渲染配置	查看详情
setLocalPreviewFlip	设置本地视频镜像翻转	查看详情
startCamera	启动摄像头采集	查看详情
stopCamera	关闭摄像头采集	查看详情

音频管理

方法	描述	链接
startAudioCapture	开始音频采集	查看详情
stopAudioCapture	停止音频采集	查看详情
setMicVolume	设置麦克风音量	查看详情
setSpeakerVolume	设置扬声器音量	查看详情
getMicVolume	获取麦克风音量	查看详情
getSpeakerVolume	获取扬声器音量	查看详情

渲染管理

方法	描述	链接
bindGLRender	绑定OpenGL渲染	查看详情
unbindGLRender	解绑OpenGL渲染	查看详情
paintGL	OpenGL渲染	查看详情
setRenderResources	设置订阅参会者列表	查看详情

回调相关

回调	描述	链接
onVideoStatusChanged	视频状态变化回调	查看详情
onVideoStreamChanged	视频流变化回调	查看详情
onVideoFrameReady	视频帧就绪回调	查看详情
onMicStatusChanged	麦克风状态变化回调	查看详情
onAudioVolumeChanged	音频音量变化回调	查看详情
onMicEnergyChanged	麦克风能量变化回调	查看详情

枚举	描述	链接
XYVideoResolution	视频分辨率枚举	查看详情
XYVideoFrameRate	视频帧率枚举	查看详情
XYVideoStatus	视频状态枚举	查看详情

媒体管理

概述

使用流程

1. 视频配置

2. 启动媒体采集

3. 渲染管理

4. 音频控制

功能分类

1. 视频管理

视频配置

视频渲染配置

本地预览翻转

摄像头控制

2. 音频管理

音频采集控制

音量控制

音量检测

3. 渲染管理

OpenGL渲染

订阅管理

完整示例代码

视频状态说明

注意事项

API 参考

视频管理

音频管理

渲染管理

回调相关

相关枚举