Loading...

    视频通话

    创建项目

    集成SDK之前请先在Visual Studio创建您的项目，如果您已有C#项目，可直接集成SDK。

    集成SDK

    1. 前往​​下载​​界面下载最新版的SDK，下载后进行解压。
    2. 软件包的dist目录下包含有运行时需要的所有文件, 软件发行时需包含这些文件。
    3. 软件包的dist目录下的INemoSDK.cs 文件是本SDK最新的接口定义文件，方法及参数说明请参见接口说明文档。

    工作模式

    1. SDK提供的接口为INemoSDK，所有的功能都是通过该接口提供的。除了获取设备列表的方法，SDK方法都是非阻塞调用。
    2. SDK通过回调接口INemoSDKCallbacks来通知App层重要事件，以及某些方法的执行结果。
    3. 创建SDK实例时，需传入UI主线程的Dispatcher对象。SDK通过这个对象，让主线程来执行INemoSDKCallbacks接口中的回调方法。

    快速使用流程

    1. 调用NemoSDKFactory.GetSDKInstance()方法获取SDK实例；
    2. 调用INemoSDK.Startup()方法初始化实例
    • SDk最大支持接收56方视频流，Startup默认值为10方；
    • 是否初始化成功可根据返回值判断；
    1. 获得实例后:
    • App层调用INemoSDK.GetDevList()可以获得媒体设备的列表；
    • App层调用INemoSDK.ChooseDev()可以设置媒体设备；
    1. 调用INemoSDK.LoginExternalAccount()方法登录；
    2. App层收到INemoSDKCallbacks.OnLoginState() 回调后, 判断是否登录成功；
    3. 登录成功后，调用INemoSDK.MakeCall()方法，传入正确号码发起呼叫；
    4. App层收到INemoSDKCallbacks.OnCallState()回调后判断是否呼叫成功；
    5. 呼叫成功时，需要调用INemoSDK.StartCamera()方法开启摄像头；
    6. 在成功呼入会议后，如果有其他与会者，App层会收到INemoSDKCallbacks.OnVideoStreams()回调，OnVideoStreams回调包含一个与会者视频信息数组；
    7. 数组里的第一个元素是Active Speaker, 视频分辨率较高
    • 在视频信息结构(SDKVideoStreamInfo)里包含有videoSourceId字段，可以将该字段传递给INemoSDK.GetVideoElement()方法以获得视频控件；
    • 在会议中，随着与会者的变化，App层会收到相应的INemoSDKCallbacks.OnVideoStreams()回调事件 ；
    1. 调用INemoSDK.Hangup()以结束呼叫；
    2. 退出应用程序前请调用INemoSDK.Shutdown()以释放资源。请注意：
    • INemoSDK.Shutdown()只能在退出App前调用；
    • 调用INemoSDK.Shutdown()后再次调用 NemoSDKFactory.GetSDKInstance() 会得到一个无效的实例；

    服务器设置

    1. 本SDK默认连接使用XYLINK公有云视频会议服务；
    2. 如果你配置有私有云服务，可以通过调用 SDKConfig接口来设置私有云服务器；
    3. 如果你配置有混合云服务，调用登录接口登录成功后，SDK层可能会对网络拓扑结构进行检测。对于这种情况，应用层应判断 SDKLoginInfo.isDetectingNetworkTopology 字段是否为true。如果该字段为true，应用程序应当等待SDK层的OnNetworkTopologyDetectionFinished事件,等收到该事件后才可以进行呼叫；

    如何登录/登出

    1. 调用 LoginExternalAccount/LoginWithAutoRegister方法，可以使用SDK应用层自己维护的外部账号进行登录；
    • 使用此方法登录后，小鱼后台为 SDK的外部账号创建一个唯一的内部账号；
    • App层通过OnLoginState 回调方法的 SDKLoginInfo.userNumber参数获得和外部账号对应的内部账号；
    • SDKLoginInfo.userNumber 可以作为被叫号码使用；
    • App层需要维护 外部账号 和小鱼内部号码的对应关系；
    • 视频流信息里的SDKVideoStreamInfo.userNumber字段和SDKLoginInfo.userNumber字段相同，App层可以依此对应关系来绑定频流和登录账户；
    1. 调用 LoginXYLinkAccount 方法，可以登录已在小鱼后台注册的账号；
    2. 调用 Logout 方法可以退出登录；

    发起呼叫/接听呼叫

    1.发起呼叫

    • 获取会议号码
    • 使用在小鱼易连后台注册时，系统分配和账号绑定的会议号；
    • 调用CreateConference 创建云会议室；App层通过OnCreateConferenceResult回调方法获得云会议号码；
    • 对方在小鱼注册的号码可以作为呼叫号码；
    • 调用 MakeCall方法时传入上述会议号码，发起呼叫；
    • App层通过OnCallState 回调获得呼叫状态；
    • App层调用Hangup方法结束呼叫；

    2.接听呼叫      

    • 获取被叫号码

    • 如果是小鱼账号登录(LoginXYLinkAccount登录)，登录账号即可作为被叫号码；
    • 如果是企业用户登录(LoginExternalAccount/LoginWithAutoRegister)，被叫号码可以从OnLoginState回调方法的SDKLoginInfo参数获得；
    • App登录后，如果被其他终端呼叫，App层会收到 OnIncomingCall 回调事件；
    • App收到OnIncomingCall 回调事件后，调用AcceptCall 即可接听呼叫；
    • App层通过OnCallState 回调获得呼叫状态；

    如何显示视频

    • 在成功呼入会议后，如果有其他与会者，App层会收到 OnVideoStreams回调，OnVideoStreams回调包含一个与会者视频信息数组；
    • 在视频信息SDKVideoStreamInfo里包含有videoSourceId字段，可以将该字段传递给INemoSDK.GetVideoElement方法可以获得视频控件；
    • 在会议中，随着与会者的变化，App层会收到相应的OnVideoStreams回调事件；
    • 视频流信息里的SDKVideoStreamInfo.userNumber字段和SDKLoginInfo.userNumber 字段相同，App层可以依此对应关系来绑定频流和登录账户；
    • 下面是显示视频控件的示例代码（可参考demo）：
    • 在xmal里定义一个容器控件，比如Border：

    <Window x:Name="MyWindow" x:Class="Application1.MainWindow"
        <Grid >
            <Border x:Name="cameraVideoCell" />
            <Border x:Name="remoteVideoCell" />
        </Grid>
    </Window>
    • 在代码里设置取得VideoElement：

    public partial class MainWindow : Window
    {
      private void MyWindow_CallConnected()
      {
        // show camera, when call connected:
        cameraVideoCell.Child = mNemoSDK.GetVideoElement4Camera();
      }
      private void MyWindow_OnVideoStream(string videoSourceId)
      {
        // show remote video, when remote video received:
        remoteVideoCell.Child = mNemoSDK.GetVideoElement(videoSourceId);
      }
    }

    设备管理

    • 如何选择音视频设备
    • 调用INemoSDK.getDevList(MediaDevType t)方法以获得设备列表；
    • 调用INemoSDK.ChooseDev(MediaDevType t, string devId) 方法以选择设备；
    • 如何处理设备丢失
    • 当设备拔出后，会收到OnDeviceLost通知。这时应用层可以调用getDevList获得新的设备列表，再次调用ChooseDev选择设备；
    • PCI视频采集卡视频输入状态
    • 对于包含有PCI视频采集卡的主机，当视频采集卡的输入线缆插入或拔出时，SDK通过OnVideoInputLockedState回调事件通知APP层。Locked参数表明是否有视频输入信号；

    双流功能

    • 本SDK支持双流功能，即某个与会者可以同时发送双路视频流，一路是人像视频，一路是内容共享。
    • 视频采集设备作为内容共享
    • 在呼叫前调用 INemoSDK.ChooseDev() 方法，通过SDKCameraOrdinal.Second 参数来指定用于共享的视频输入设备；
    • 在呼叫中调用 INemoSDK.StartContentSharing() 方法开启共享；
    • 在回调OnContentState中收到 SDKContentState.Sending事件时，调用INemoSDK.StartCamera()开启第二路视频输入；
    • 调用 INemoSDK.StopContentSharing() 即可停止共享；
    • 收到 SDKContentState.Idle 事件时调用INemoSDK.StopCamera()停止第二路视频输入；
    • Windows桌面作为内容共享
    • 调用INemoSDK.GetMonitorList()可以获得显示器列表；
    • 在呼叫中调用 INemoSDK.StartContentSharing() 方法开启共享，withAudio参数可以开启本地音频播放的回环采集，在桌面共享媒体播放机时可以使用这个标志；
    • 在回调OnContentState中收到 SDKContentState.Sending事件时，调用INemoSDK.SelectMonitorToShare()选择需要共享的显示器, 然后调用 INemoSDK.StartScreenCapture() 开启显示器内容捕获；
    • 调用 INemoSDK.StopContentSharing() 即可停止共享；
    • 收到 SDKContentState.Idle 事件时调用INemoSDK.StopScreenCapture() 停止显示器内容捕获；

    外部音视频流输入接口

    Sdk提供接口用于输入未压缩的音视频数据，以代替音视频采集设备的输入（包括第一路流的音视频和第二路流的音视频）

    • 呼叫前调用INemoSDK.EnableExternalMedia() 指定使用外部输入；
    • 在OnCallState 回调中收到 Connected事件后, App层就可以开始在独立的线程里持续输入音视频数据
    • 调用INemoSDK.InputExternalVideoData() 输入视频数据；
    • 调用INemoSDK.InputExternalAudioData() 输入音频数据；
    • 音视频数据的时间戳需要使用相同的参考时钟，便于接收侧的音视频同步处理；
    • 在呼叫中也可以调用 INemoSDK.EnableExternalMedia() 来关闭外部媒体输入，切换为音视频采集设备；
    • 在开启外部音视频时，即使启动了摄像头，外部输入也是优先使用的；​

    自定义视频布局

    • 默认情况下，视频布局是自动模式，会议中人员变动时，App层通过 OnVideoStreams 回调事件得到当前与会者视频状态
    • 通过以下步骤可以开启App 层自定义布局模式
    • 呼叫状态为Connected时调用INemoSDK.EnableCustomLayout()开启自定义布局模式
    • App层会收到OnRosterInfo回调事件，在参会者发生状态变化时，也会收到这个事件
    • App层在OnRosterInfo事件中获取与会者列表
    • App层调用INemoSDK.SetCustomLayout() 请求指定的与会者的视频
    • App层通过OnVideoStreams回调事件收到请求的与会者的视频状态
    • 在自定义布局模式下, 如果想接受指定设备的Roster信息，可以调用INemoSDK.SubscribeRoster() 接口来订阅Roster信息
    • 传入INemoSDK.SubscribeRoster()的设备id/type 可以通过回调接口 OnLoginState 的以下参数获得
    • SDKLoginInfo.confDevInfo //参会设备信息
    2024-07-15 11:38:28
    导出PDF文档
    意见反馈