VideoAudioTrack

摄像头和麦克风轨道VideoAudioTrack类，该类通过统一的接口，提供了一系列操作摄像头和麦克风的功能、权限管理、设备管理、以及接入AI插件处理器等高级功能，简化了音视频处理的开发流程。详细功能如下：

1. 创建麦克风和摄像头流，如果是同时创建，则仅需授权一次权限，如果是单独创建麦克风或者摄像头流，则分别按需授权设备权限；
2. 连接/启动AI插件处理器，可支持任意插件以管道流形式接入处理视频流；
3. 提供设备/权限/错误信息等事件上报能力；
4. 切换设备功能、切换前后置摄像头功能；
5. 获取音频实时音量大小功能；

可以通过 ​​​XYRTCClient.createVideoAudioTrack​​​​ 方法创建 videoAudioTrack 实例，实例提供的所有属性、方法、事件见下内容；

用法

import XYRTC, { XYRTCClient, VideoAudioTrack } from '@xylink/xy-rtc-sdk';

// 创建XYRTCClient
const XYClient: XYRTCClient = XYRTC.createClient({});
// 创建VideoAudioTrack
const videoAudioTrack: VideoAudioTrack = await XYClient.createVideoAudioTrack();

属性

processorDestination

接入插件时摄像头和麦克风轨道上当前处理器链路的最终节点

videoAudioTrack.processorDestination

详情

在接入流插件时，连接处理器的最终节点，通过此节点转换并返回最终的Stream数据；

• 使用场景：接入流插件，例如虚拟背景插件/水印插件等
• 调用时机：connect最后阶段调用，并将此属性传递给connect连接器
• 调用方式：connect(videoAudioTrack.processorDestination)
• 关联内容：N/A

示例代码

videoAudioTrack
  .connect(virtualProcessor)
  .connect(waterMarkProcessor)
  .connect(videoAudioTrack.processorDestination);

方法

capture

采集麦克风和摄像头流，支持分别采集

VideoAudioTrack.capture(config?: PeopleTrackConfig): Promise<IReturnResult>

参数

返回值

Promise<​​IReturnResult​​>

详情

调用此方法后，SDK开始执行采集麦克风和摄像头流操作，采集完成后，即可推送到远端；

• 使用场景：多人会议分享摄像头麦克风流、设置-设备管理、会前画面预览等功能可调用此接口；
• 调用时机：​​createVideoAudioTrack​​()完成之后
• 相关事件：​​permission​​、​​device​​、​​track-error​​
• 注意事项：此函数是Promise函数，请同步等待执行完成后再继续后续的步骤；执行过程中，会进行麦克风和摄像头授权操作，请同意浏览器授权行为，否则会导致采集视频和音频流失败；

close

销毁当前Track资源

VideoAudioTrack.close(): void

详情

默认情况下，不需要单独执行此方法销毁资源，在 ​​XYRTCClient​​ 模块销毁时自动会销毁此模块；

connect

AI插件-连接插件处理器

VideoAudioTrack.connect(processor: any): this

参数

返回值

this，当前videoAudioTrack实例，支持链式调用

详情

将插件处理器注入到视频流轨道中，执行视频流的定制处理，并返回处理过后的视频流；

• 使用场景：多人音视频通话时，需要针对视频流做定制处理，例如接入虚拟背景、美颜、水印等功能，可通过注入插件机制处理视频流
• 调用时机：​​createVideoAudioTrack​​完成之后
• 关联内容：N/A

getAudioLevel

获取本地麦克风实时音量大小，范围：0-100

VideoAudioTrack.getAudioLevel(): Promise<number>;

返回值

Promise<number>，本地麦克风实时音量大小

详情

• 使用场景：本地麦克风实时音量展示或者实现震动效果
• 调用时机：加入会议之后

off

取消监听事件

VideoAudioTrack.off(key: string): void;

参数

详情

退出会议时，需要移除监听事件内容，销毁资源

• 调用时机：退出会议时、组件销毁时

on

注册监听事件

VideoAudioTrack.on(key: string, listener: Function): void;

参数

详情

VideoAudioTrack通过事件的形式上报相关数据，开发者根据自身业务自行决定需要注册监听相应的事件，通过回调方式获取对应的数据；

• 调用时机：​​createVideoAduioTrack​​()完成之后
• 关联内容：N/A

switchCamera

切换前后置摄像头

VideoAudioTrack.switchCamera(facingMode?: IFacingMode): Promise<IFacingMode>;

参数

返回值

Promise<​​IFacingMode​​>

详情

移动端浏览器下，使用WebSDK入会，可以通过此方法切换前/后置摄像头；

• 使用场景：移动端浏览器切换摄像头
• 相关内容：​​基础功能-设备管理​​

switchDevice

切换麦克风/摄像头/扬声器设备

VideoAudioTrack.switchDevice(type: DEVICE_KIND, deviceId: string, config?: SwitchDeviceConfig): Promise<IReturnResult>

参数

返回值

Promise<​​IReturnResult​​>

详情

​会议中切换设备使用，切换规则如下：

• 指定deviceId设备，则会切换至手动指定模式，在指定设备未移除前，无法系统设备是否变动，都强制使用此设备，如果指定设备被移除，则自动切换至系统默认的设备，当设备再次接入后，自动切换至指定的设备上；
• 指定config是isDefault设备，则无论是否配置deviceId设备，都自动切换至系统默认模式，当系统有新的设备接入时，会自动切换到最新的设备上，当设备被移除时，自动切换至其他系统默认设备上；
• 摄像头设备特殊处理，不存在默认设备选项，如果需要切换至默认设备，则需要指定deviceId为空值即可；

需要注意一下事项：

• 切换扬声器时，如果指定的deviceId不存在，则系统默认切换至系统扬声器设备；
• 指定错误的摄像头deviceId设备，会导致采集摄像头画面异常，转为无流入会；

其他说明如下：

• 使用场景：会中切换设备时调用
• 相关内容：​​基础功能-设备管理​​

事件

device

监听设备列表数据

VideoAudioTrack.on('device', (e: IDeviceManagerChangeValue) => {}): void;

回调参数

详情

当系统设备发生变化时，会通过此事件上报最新的设备列表数据和需要切换的设备数据

• 使用场景：会中展示设备列表、切换设备提醒功能
• 相关内容：​​基础功能-设备管理​​

permission

监听设备授权权限变动状态

VideoAudioTrack.on('permission', (e: ICurrentPermission) => {}): void;

回调参数

详情

当设备授权发生变化时，通过此事件上报最新的设备权限状态，支持会中动态授权和拒绝授权后恢复授权操作，SDK内部支持重新启动采集音视频流操作；

• 使用场景：授权变动时，提供用户相应的状态，例如拒绝授权后，用户尝试打开摄像头时，引导用户重新授权操作
• 相关内容：​​基础功能-设备管理​​

track-error

监听轨道异常信息，例如音频/视频采集失败

VideoAudioTrack.on('track-error', (e: IReturnResult) => {}): void;

回调参数

详情

当采集麦克风或者摄像头流失败时，则通过此事件返回详细的错误内容，可以在业务上给出正确的提示内容；

• 使用场景：采集音视频流错误时，给出相应的提示内容
• 调用方式：执行videoAudioTrack.​​capture​​()方式时上报
• 相关内容：N/A