Video 场景方案

实时音视频通话

场景概览

游密Video SDK可以实现一对一、一对多、多对多的实时通话功能;在相同频道内的用户可自由发言和收看视频画面;适用于实时音视频通话、多人语音视频群聊等场景。

功能列表

主要功能 功能描述
登录房间 用户可以自由登录房间
自由语音视频互动 用户可以自由加入或退出语音视频互动

快速开始

开发环境要求

  • Xcode 5.0 或以上版本。
  • 两台macOS ,用于模拟两个用户进行语音通话。
  • 到官网注册账号、并添加应用产品以获得相关到AppKey、AppSecret参数

macOS系统Xcode开发环境集成

将SDK放置到xcode工程目录下(可视实际情况自行放置),如下图所示: alt

添加头文件和依赖库:

  1. 打开XCode工程,找到工程目录,右键点击选择“Add Files to ...”,然后将SDK下的include文件夹加入进来。

  2. 添加库文件路径:Build Settings -> Search Paths -> Library Search Paths,将SDK下的libs目录导入进来; 添加头文件路径:Build Settings -> Search Paths -> Header Search Paths, 将 SDK 下的 include 目录导入进来;
  3. 添加依赖库:在Build Phases -> Link Binary With Libraries下添加:libyoume_voice_engine.alibYouMeCommon.alibffmpeg3.3.alibc++.tbdlibsqlite3.0.tbdlibz.dyliblibz.1.2.5.tbdlibresolv.9.tbdSystemConfiguration.frameworkCoreTelephony.frameworkAVFoundation.frameworkAudioToolBox.frameworkCFNetwork.frameworkVideoToolbox.frameworkCoreVideo.frameworkVideoDecodeAcceleration.framework
  4. 为macOS10.14 以上版本添加录音权限配置 macOS 10.14 系统使用录音权限,需要在target的info.plist中新加NSMicrophoneUsageDescription键,值为字符串(授权弹窗出现时提示给用户)。首次录音时会向用户申请权限。配置方式如下:
  5. 为macOS 10.14 以上版本添加摄像头使用权限配置 macOS 10.14 系统使用摄像头权限,需要在target的info.plist中新加NSCameraUsageDescription键,值为字符串(授权弹窗出现时提示给用户)。首次开启摄像头时会向用户申请权限。

实现视频通话(内部采集、内部渲染)

相关接口

API的调用可使用“[YMVoiceService getInstance]”来直接操作,接口使用的基本流程为初始化->收到初始化成功回调通知->加入房间->收到加入房间成功回调通知->使用其它接口->离开房间->反初始化,要确保严格按照上述的顺序使用接口。

初始化相关接口
接口 含义
[YMVoiceService getInstance] setLogLevelforConsole 设置日志级别
[YMVoiceService getInstance] initSDK 引擎初始化
加入房间相关接口
接口 含义
[YMVoiceService getInstance] setVideoFps 设置视频采集帧率
[YMVoiceService getInstance] setVideoNetResolutionWidth 设置本地采集分辨率
[YMVoiceService getInstance] setVBR 设置视频编码是否采用VBR动态码率(大流)
[YMVoiceService getInstance] setVideoCodeBitrate 设置视频编码码率
[YMVoiceService getInstance] setVideoFpsForSecond 设置视频帧率(小流)
[YMVoiceService getInstance] setVideoNetResolutionWidthForSecond 设置编码分辨率(小流)
[YMVoiceService getInstance] setVBRForSecond 设置视频编码是否采用VBR动态码率(小流)
[YMVoiceService getInstance] setVideoCodeBitrateForSecond 设置视频编码码率(小流)
[YMVoiceService getInstance] setVideoFpsForShare 设置共享流帧率
[YMVoiceService getInstance] setVideoNetResolutionWidthForShare 设置共享流编码分辨率
[YMVoiceService getInstance] setMicLevelCallback 设置是否开启讲话音量回调
[YMVoiceService getInstance] setFarendVoiceLevelCallback 设置是否开启远端说话人音量回调
[YMVoiceService getInstance] setAVStatisticInterval 设置音视频统计上报间隔,建议为5秒
[YMVoiceService getInstance] setAutoSendStatus 设置状态同步(mic,speaker)
[YMVoiceService getInstance] joinChannelSingleMode 加入房间,建议 role建议设置为1,autoRecv设置为false
本地设备控制接口
收到 YOUME_EVENT_JOIN_OK 事件后可设置 接口 含义
[YMVoiceService getInstance] startCapture 打开摄像头采集
[YMVoiceService getInstance] stopCapture 关闭摄像头采集
[YMVoiceService getInstance] switchCamera 切换摄像头
[YMVoiceService getInstance] createRender 创建本端预览
[YMVoiceService getInstance] setMicrophoneMute 设置麦克风状态
[YMVoiceService getInstance] setSpeakerMute 设置扬声器状态
接收远端音视频
接口 含义
[YMVoiceService getInstance] createRender 创建渲染
[YMVoiceService getInstance] deleteRender 删除渲染
[YMVoiceService getInstance] setUsersVideoInfo 设置观看用户的哪一路流(大小流),autoRecv设置为false时,需要调用该接口后才会接收对方的视频流
[YMVoiceService getInstance] maskVideoByUserId 设置是否屏蔽他人视频,屏蔽对方的所有视频流,包括共享流,音频流保留
[YMVoiceService getInstance] setListenOtherVoice 设置是否听其他人语音
onMemberChange 房间内其它用户加入/离开回调通知
离开房间
接口 含义
[YMVoiceService getInstance] leaveChannelAll 退出所有房间
反初始化
接口 含义
[YMVoiceService getInstance] unInit 反初始化引擎

关键调用顺序

  1. 初始化(init), 等待初始化成功的通知事件YOUME_EVENT_INIT_OK

  2. 房间参数设置(视频参数、共享参数、QOS统计间隔等)

  3. [YMVoiceService getInstance] joinChannelSingleMode YOUME_EVENT_JOIN_OK

  4. 打开摄像头([YMVoiceService getInstance] startCapture),设置麦克风扬声器([YMVoiceService getInstance] setMicrophoneMute[YMVoiceService getInstance] setSpeakerMute

  5. 创建本端预览,同时接收到视频数据回调事件 YOUME_EVENT_OTHERS_VIDEO_ON,创建远端视频渲染([YMVoiceService getInstance] createRender

  6. 其它接口(开关摄像头、开关mic/speaker,屏蔽他人语音/视频)

  7. 退出房间

  8. 反初始化

实现回调

使用者要遵守协议 VoiceEngineCallback 并实现相关函数(回调函数)。回调都在子线程中执行,不能用于更新UI等耗时操作。

  • 具体实现回调方法:
   -(void) onYouMeEvent:(YouMeEvent_t)eventType errcode:(YouMeErrorCode_t)iErrorCode roomid:(NSString *)roomid param:(NSString *)param {
    switch (eventType)
    {
            //case案例只覆盖了部分,仅供参考,详情请查询枚举类型YouMeEvent
        case YOUME_EVENT_INIT_OK:
            //"初始化成功";
            break;
        case YOUME_EVENT_INIT_FAILED:
            // "初始化失败,错误码:" + errorCode;   
            break;
        case YOUME_EVENT_JOIN_OK:
            //"加入频道成功";
            break;
        case YOUME_EVENT_LEAVED_ALL:
            // "离开频道成功"
            break;
        case YOUME_EVENT_JOIN_FAILED:
            // 进入频道失败
             break;
        case YOUME_EVENT_REC_PERMISSION_STATUS:
            // "通知录音权限状态,成功获取权限时错误码为YOUME_SUCCESS,获取失败为YOUME_ERROR_REC_NO_PERMISSION(此时不管麦克风mute状态如何,都没有声音输出)";
            break;
        case YOUME_EVENT_RECONNECTING:
            //"断网了,正在重连";
            break;
        case YOUME_EVENT_RECONNECTED:
            // "断网重连成功";
            break;
        case  YOUME_EVENT_OTHERS_MIC_OFF:
            //其他用户的麦克风关闭:
            break;
        case YOUME_EVENT_OTHERS_MIC_ON:
            //其他用户的麦克风打开:
            break;
        case YOUME_EVENT_OTHERS_SPEAKER_ON:
            //其他用户的扬声器打开:
            break;
        case YOUME_EVENT_OTHERS_SPEAKER_OFF:
            //其他用户的扬声器关闭
            break;
        case YOUME_EVENT_OTHERS_VOICE_ON:
            //其他用户开始讲话
            break;
        case YOUME_EVENT_OTHERS_VOICE_OFF:
            //其他用户停止讲话
            break;
        case YOUME_EVENT_MY_MIC_LEVEL:
            //麦克风的语音级别,值把iErrorCode转为整形即是音量值
            break;
        case YOUME_EVENT_MIC_CTR_ON:
            //麦克风被其他用户打开
            break;
        case YOUME_EVENT_MIC_CTR_OFF:
            //麦克风被其他用户关闭
            break;
        case YOUME_EVENT_SPEAKER_CTR_ON:
            //扬声器被其他用户打开
            break;
        case YOUME_EVENT_SPEAKER_CTR_OFF:
            //扬声器被其他用户关闭
            break;
        case YOUME_EVENT_LISTEN_OTHER_ON:
            //取消屏蔽某人语音
            break;
        case YOUME_EVENT_LISTEN_OTHER_OFF:
            //屏蔽某人语音
            break;
        default:
            //"事件类型" + eventType + ",错误码" +errcode
            break;
    }
}

// pcm数据回调
- (void)onPcmDataRemote: (int)channelNum samplingRateHz:(int)samplingRateHz bytesPerSample:(int)bytesPerSample data:(void*) data dataSizeInByte:(int)dataSizeInByte {
}

- (void)onPcmDataRecord: (int)channelNum samplingRateHz:(int)samplingRateHz bytesPerSample:(int)bytesPerSample data:(void*) data dataSizeInByte:(int)dataSizeInByte {
}

- (void)onPcmDataMix: (int)channelNum samplingRateHz:(int)samplingRateHz bytesPerSample:(int)bytesPerSample data:(void*) data dataSizeInByte:(int)dataSizeInByte {
}

//RestAPI回调
-(void) onRequestRestAPI: (int)requestID iErrorCode:(YouMeErrorCode_t) iErrorCode  query:(NSString*) strQuery  result:(NSString*) strResult {
}

//获取频道用户列表回调
-(void) onMemberChange:(NSString*) channelID changeList:(NSArray*) changeList { 
}

//SDK内置连麦抢麦接口对应的回调
- (void) onBroadcast:(YouMeBroadcast_t)bc strChannelID:(NSString*)channelID strParam1:(NSString*)param1 strParam2:(NSString*)param2 strContent:(NSString*)content;

//音视频通话码率、丢包率回调
- (void) onAVStatistic:(YouMeAVStatisticType_t)type  userID:(NSString*)userID  value:(int) value ;

//视频h264裸数据回调
- (void)onVideoPreDecodeDataForUser:(const char *)userId data:(const void*)data len:(int)dataSizeInByte 
{
}

实时音视频直播

场景概览

游密Video SDK可以实现直播功能,通过屏幕共享分享游戏画面,实时直播游戏全过程,介绍玩法、策略,展示真实操作,同时支持主播和玩家通过弹幕、聊天、活动等形式互动。

功能列表

主要功能 功能描述
登录房间 支持以不同身份如主播/观众登录房间,决定是否只能观看
语音视频 观众可以听到主播的语音,观看主播视频画面
变声 主播可以自由变音
播放背景音乐 主播端支持播放背景音乐,提升直播效果
屏幕共享 主播可以共享自己的画面

快速开始

开发环境要求

  • Xcode 5.0 或以上版本。
  • 两台macOS ,用于模拟两个用户进行语音通话。
  • 到官网注册账号、并添加应用产品以获得相关到AppKey、AppSecret参数

macOS系统Xcode开发环境集成

将SDK放置到xcode工程目录下(可视实际情况自行放置),如下图所示: alt

添加头文件和依赖库:

  1. 打开XCode工程,找到工程目录,右键点击选择“Add Files to ...”,然后将SDK下的include文件夹加入进来。

  2. 添加库文件路径:Build Settings -> Search Paths -> Library Search Paths,将SDK下的libs目录导入进来; 添加头文件路径:Build Settings -> Search Paths -> Header Search Paths, 将 SDK 下的 include 目录导入进来;
  3. 添加依赖库:在Build Phases -> Link Binary With Libraries下添加:libyoume_voice_engine.alibYouMeCommon.alibffmpeg3.3.alibc++.tbdlibsqlite3.0.tbdlibz.dyliblibz.1.2.5.tbdlibresolv.9.tbdSystemConfiguration.frameworkCoreTelephony.frameworkAVFoundation.frameworkAudioToolBox.frameworkCFNetwork.frameworkVideoToolbox.frameworkCoreVideo.frameworkVideoDecodeAcceleration.framework
  4. 为macOS10.14 以上版本添加录音权限配置 macOS 10.14 系统使用录音权限,需要在target的info.plist中新加NSMicrophoneUsageDescription键,值为字符串(授权弹窗出现时提示给用户)。首次录音时会向用户申请权限。配置方式如下:
  5. 为macOS 10.14 以上版本添加摄像头使用权限配置 macOS 10.14 系统使用摄像头权限,需要在target的info.plist中新加NSCameraUsageDescription键,值为字符串(授权弹窗出现时提示给用户)。首次开启摄像头时会向用户申请权限。

实现音视频直播

调用流程

API的调用可使用“[YMVoiceService getInstance]”来直接操作,接口使用的基本流程为初始化->收到初始化成功回调通知->加入房间->收到加入房间成功回调通知->使用其它接口->离开房间->反初始化,要确保严格按照上述的顺序使用接口。

初始化相关接口
接口 含义
[YMVoiceService getInstance] setLogLevelforConsole 设置日志级别
[YMVoiceService getInstance] initSDK 引擎初始化
加入房间相关接口
接口 含义
[YMVoiceService getInstance] setVideoFps 设置视频采集帧率
[YMVoiceService getInstance] setVideoNetResolutionWidth 设置本地采集分辨率
[YMVoiceService getInstance] setVBR 设置视频编码是否采用VBR动态码率(大流)
[YMVoiceService getInstance] setVideoCodeBitrate 设置视频编码码率
[YMVoiceService getInstance] setVideoFpsForSecond 设置视频帧率(小流)
[YMVoiceService getInstance] setVideoNetResolutionWidthForSecond 设置编码分辨率(小流)
[YMVoiceService getInstance] setVBRForSecond 设置视频编码是否采用VBR动态码率(小流)
[YMVoiceService getInstance] setVideoCodeBitrateForSecond 设置视频编码码率(小流)
[YMVoiceService getInstance] setVideoFpsForShare 设置共享流帧率
[YMVoiceService getInstance] setVideoNetResolutionWidthForShare 设置共享流编码分辨率
[YMVoiceService getInstance] setMicLevelCallback 设置是否开启讲话音量回调
[YMVoiceService getInstance] setFarendVoiceLevelCallback 设置是否开启远端说话人音量回调
[YMVoiceService getInstance] setAVStatisticInterval 设置音视频统计上报间隔,建议为5秒
[YMVoiceService getInstance] setAutoSendStatus 设置状态同步(mic,speaker)
[YMVoiceService getInstance] joinChannelSingleMode 加入房间,建议 role建议设置为1,autoRecv设置为false
本地设备控制接口
收到 YOUME_EVENT_JOIN_OK事件后可设置 接口 含义
[YMVoiceService getInstance] startCapture 打开摄像头采集
[YMVoiceService getInstance] stopCapture 关闭摄像头采集
[YMVoiceService getInstance] switchCamera 切换摄像头
[YMVoiceService getInstance] createRender 创建本端预览
[YMVoiceService getInstance] setMicrophoneMute 设置麦克风状态
[YMVoiceService getInstance] setSpeakerMute 设置扬声器状态
屏幕共享
屏幕共享功能必须实在进入房间之后才可以打开,但是屏幕共享的参数设置可以在进入房间之前设置;屏幕共享和摄像头是分离的,可以单独打开视频共享。 注:在一个房间内,同时只能有一个用户打开视频共享。 接口 含义
SetShareParameter 设置共享视频模式和参数
StartShareStream 开始共享
StopShareStream 结束共享
接收远端音视频
接口 含义
[YMVoiceService getInstance] createRender 创建渲染
[YMVoiceService getInstance] deleteRender 删除渲染
[YMVoiceService getInstance] setUsersVideoInfo 设置观看用户的哪一路流(大小流),autoRecv设置为false时,需要调用该接口后才会接收对方的视频流
[YMVoiceService getInstance] maskVideoByUserId 设置是否屏蔽他人视频,屏蔽对方的所有视频流,包括共享流,音频流保留
[YMVoiceService getInstance] setListenOtherVoice 设置是否听其他人语音
onMemberChange 房间内其它用户加入/离开回调通知
离开房间
接口 含义
[YMVoiceService getInstance] leaveChannelAll 退出所有房间
反初始化
接口 含义
[YMVoiceService getInstance] unInit 反初始化引擎

相关接口

[YMVoiceService getInstance] initSDK 引擎初始化 [YMVoiceService getInstance] setVideoLocalResolution 设置本地采集分辨率 [YMVoiceService getInstance] setVideoNetResolution 设置网络传输分辨率 [YMVoiceService getInstance] joinChannelSingleMode 加入房间 [YMVoiceService getInstance] createRender 创建渲染 [YMVoiceService getInstance] startCapture 开始摄像头采集 [YMVoiceService getInstance] setMicrophoneMute 设置麦克风状态 [YMVoiceService getInstance] setSpeakerMute 设置扬声器状态 [YMVoiceService getInstance] setHeadsetMonitorMicOn 设置监听 [YMVoiceService getInstance] setBackgroundMusicVolume 设置背景音乐播放音量 [YMVoiceService getInstance] playBackgroundMusic 播放背景音乐 StartShareStream 开始共享 StopShareStream 结束共享

关键调用顺序

  1. 以主播身份进入频道 初始化([YMVoiceService getInstance] initSDK)->[YMVoiceService getInstance] joinChannelSingleMode(参数三传主播身份YOUME_USER_HOST), 观众传的身份可以是听众 也可以是自由人(住进自由人进入频道 需要关闭麦克风)

  2. 主播打开摄像头,麦克风等设备

  3. 设置监听 ([YMVoiceService getInstance] setHeadsetMonitorMicOn:true BgmOn:true)参数1表示是否监听麦克风 true表示监听,false表示不监听 ,参数2表示是否监听背景音乐,true表示监听,false表示不监听

  4. [YMVoiceService getInstance] setBackgroundMusicVolume:70 调节背景音量大小

  5. [YMVoiceService getInstance] playBackgroundMusic:pFilePath repeat:bRepeat 播放本地的mp3音乐。 参数一 本地音乐路径, 参数二 是否重复播放 true重复,false不重复

  6. 打开共享StartShareStream

  7. 远端有视频流过来,会通知 YOUME_EVENT_OTHERS_VIDEO_ON 事件,此时调用 [YMVoiceService getInstance] createRender 创建相关渲染。

  8. 结束共享StopShareStream,此时关闭共享屏幕;

  9. 退出房间

  10. 反初始化

旁路直播

开启单路rtmp服务端推流

  • 请求URL

    https://api.youme.im/v2/im/set_single_rtmp_param?appkey=123456789&identifier=admin&curtime=123456789&checksum=123456789abcdefg
  • body

    {
    "RoomID":"123456",
    "UserID":"ym_jason",
    "DstUrl":"rtmp://10.10.102.205:1935/hls/111"
    }
  • 响应
    {
    "ActionStatus" : "OK",
    "ErrorCode" : 0,
    "ErrorInfo" : ""
    }

停止单路rtmp服务端推流

  • 请求URL

    https://api.youme.im/v2/im/del_single_rtmp_param?appkey=123456789&identifier=admin&curtime=123456789&checksum=123456789abcdefg
  • body

    {
    "RoomID":"123456",
    "UserID":"ym_jason"
    }
  • 响应
    {
    "ActionStatus" : "OK",
    "ErrorCode" : 0,
    "ErrorInfo" : ""
    }

开启rtmp服务端合流推流

  • 请求URL

    https://api.youme.im/v2/im/set_room_mix_rtmp_param?appkey=123456789&identifier=admin&curtime=123456789&checksum=123456789abcdefg
  • body

    {
    "RoomID":"123456",
    "PrimaryUserID":"ym_jason",
    "DstUrl":"rtmp://10.10.102.205:1935/hls/111",
    "VideoWidth":240,
    "VideoHeight":320
    }
  • 响应
    {
    "ActionStatus" : "OK",
    "ErrorCode" : 0,
    "ErrorInfo" : ""
    }

停止rtmp服务端合流推流

  • 请求URL

    https://api.youme.im/v2/im/del_room_mix_rtmp_param?appkey=123456789&identifier=admin&curtime=123456789&checksum=123456789abcdefg
  • body

    {
    "RoomID":"123456",
    }
  • 响应
    {
    "ActionStatus" : "OK",
    "ErrorCode" : 0,
    "ErrorInfo" : ""
    }