融云实时音视频 SDK 会对市面上的各类智能硬件设备，特别是各种类型、各种版本的手机进行适配，以确保 SDK 的稳定性。但不同于手机的适配，智能硬件的适配有很多不同之处：
1.很多智能硬件的运行内存、CPU 性能等硬件配置普遍比手机性能低;
2.部分厂商在智能硬件的摄像头安装方向、个数、类型和手机有较大差异。
所以在适配问题上，智能硬件需要单独进行验证讨论，下面就为大家进行详细解析。
视频采集适配
采集方式适配
融云实时音视频 SDK 摄像头采集数据提供 Texture 和 YUV(NV21) 两种方式，通过设置不同采集方式可以获取到 Texture ID 或 byte 原始视频流数据。Texture ID 用来表示图像照片或者一系列的数据，使用纹理可以使物体展现更多的细节，YUV 则是摄像头采集出的 NV21 格式数据。
YUV 是一种彩色编码格式，可以将其理解为原始视频流数据，主要用在视频、图形处理流水线中(pipeline)。相对于 RGB 颜色空间，设计 YUV 的目的就是为了编码、传输更方便，减少带宽占用和信息出错。
融云实时音视频 SDK 中默认采用 Texture 方式采集，当本端使用该方式采集时，编码器默认将使用 android.media.MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface(0x7F000789) 颜色空间进行编码，如果对端不支持该颜色空间的情况下，可能会导致解码花屏或者解码失败问题，开发者可以在加入房间之前调用 RongRTCConfig.Builder#enableVideoTexture 方法设置是否采用 texture 方式采集。
摄像头适配
在遇见智能硬件摄像头安装方向、个数、类型导致的视频采集问题时，可以通过融云实时音视频SDK中 RongRTCConfig.Builder 类的设置方法 setCameraDisplayOrientation 和 setCustomizedCameraParameter，修改摄像机采集的角度和直接设置给 android.hardware.Camera#setParameters(Parameters params) 配置信息。
融云实时音视频 SDK 会通过 android.hardware.Camera.getNumberOfCameras() 方法获取到可用的摄像头 ID，默认会打开前置摄像头，对于需要打开鱼眼镜头或者搭载多个摄像头硬件设备场景中，可以使用
RongRTCCapture.getInstance().startCameraCapture 打开、切换;
RongRTCCapture.getInstance().switchCamera 指定 ID 的摄像头。
当智能硬件带有 USB 摄像头或 USB 麦克风，并且安卓系统无法识别其外置设备时，调用上文方法将无法打开硬件设备(对端将无法观看本端视频)，这种情况，推荐使用融云实时音视频 SDK 发布自定义视频流功能。
二、视频编解码适配
融云音视频 SDK 支持 H.264 编解码器，以高压缩、高质量和支持多种网络的流媒体传输著称，同时也是 MPEG-4 第十部分，是由ITU-T视频编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视频组(JVT，Joint Video Team)提出的高度压缩数字视频编解码器标准，这个标准通常被称之为H.264/AVC。
使用融云音视频 SDK 时，可以设置编码器颜色空间、编码等级、编码帧率、编码关键帧间隔时间、编码器码率控制模式等配置信息，以解决设备编解码导致的问题。
编码颜色空间
融云 RTCLib SDK 中摄像头采集数据采用的颜色格式为 NV21，它属于 YUV420 格式，如果智能硬件厂商定制了颜色空间，会导致融云 SDK 内部处理颜色空间逻辑和设备所支持颜色空间不符合，出现编码报错、对端解码失败、对端观看花屏等现象。遇见此问题，开发者可以使用 RongRTCConfig.Builder#setHardWareEncodeColor 方法修改编码颜色空间来解决。
编码等级
由于视频编码后显示的数据质量偏低，为了调整质量，就需要设置编码等级 level、profile。融云 SDK 默认使用 android.media.MediaCodecInfo.CodecProfileLevel.AVCProfileBaseline ，开发者也可以通过 RongRTCConfig.Builder#enableHardWareEncodeHighProfile 方法将其设置为 android.media.MediaCodecInfo.CodecProfileLevel.AVCProfileHigh，AVCProfileHigh 所对应的编码等级为 android.media.MediaCodecInfo.CodecProfileLevel.AVCLevel3，AVCProfileHigh 相对 AVCProfileBaseline 采用了更高级的压缩特性，这意味着对端在解码时也需要硬件更高的性能，采用 AVCProfileBaseline 是因为其兼容性更高。安卓源码中 7.0 版本之前默认使用 AVCProfileBaseline ，7.0 才修改了该逻辑。
安卓 6.0 源码(android/6.0.1_r16/xref/frameworks/av/media/libstagefright/ACodec.cpp)片段如下：
安卓 7.0 源码(android/7.0.0_r31/xref/frameworks/av/media/libstagefright/ACodec.cpp)代码片段如下：
编码码率控制模式
对于需要传输高质量视频流的场景，除了设置分辨率、帧率、码率提高视频质量外，还可以控制编码码率，融云 SDK 默认使用 CBR ，开发者可以使用音视频 SDK 的 RongRTCConfig.Builder#setHardWareEncodeBitrateMode 方法修改模式设置。该属性安卓 5.0 才开始支持参数设置，以下是对三种模式的介绍：
编码关键帧间隔时间
H.264 标准中有 Instantaneous Decoding Refresh(IDR，即时解码刷新，以下称 I 帧)。H.264 图像以序列为单位进行组织，一个序列是一段图像编码后的数据流，该序列以 I 帧开始，到下一个 I 帧结束。两个 I 帧之间为多个 P 帧(Predictive-frame)或 B 帧(Bi-directional predicted frames)，设置的编码关键帧间隔时间就是 IDR 间隔时间。
I 帧：通常是每个 GOP(Group Of Picture) (MPEG 所使用的一种视频压缩技术) 的第一个帧，I 帧图像采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相关性。I 帧使用帧内压缩，不使用运动补偿，由于 I 帧不依赖其它帧，所以是随机存取的入点，同时是解码的基准帧。I 帧主要用于解码器的初始化，以及节目的切换和插入，I 帧图像的压缩倍数相对较低，I 帧图像是周期性出现在图像序列中的，出现频率可由编码器选择，I 帧压缩可去掉视频的空间冗余，而 B、P 则是为了去掉时间冗余。
P 帧：向前参考帧(第一帧之后的帧，只存在和前一帧的差异，可以提高压缩效率和图像质量)，压缩时只参考前一个帧，属于帧间编码方式(即同时利用了空间和时间上的相关性)，P 帧图像中可以包含帧内编码的部分，即 P 帧中的每一个宏块可以是前向预测，也可以是帧内编码;它参考前一个 B 帧或 I 帧来解码出一张完整的图像。
B 帧：双向参考帧，压缩参考前一帧和后一帧，属于帧间压缩技术。压缩比高，如果网络不好，对实时要求高的话会一直等待，实时互动直播一般不使用，值得注意的是，由于 B 帧图像采用了未来帧作为参考，因此 MPEG-2 编码码流中图像帧的传输顺序和显示顺序是不同的。
因为 H.264 采用了多帧预测，所以 I 帧之后的 P帧可能会参考 I 帧之前的帧，这使得在随机访问的时候不能以找到 I 帧作为参考条件，因为即使找到了 I 帧，I 帧之后的数据也有可能解不出数据，而IDR 帧就是一种特殊的 I 帧(这一帧之后的所有参考帧只会参考IDR，而不会参考其他前面的帧)。在解码器中，一旦收到 IDR 帧，就会立即清理参考帧缓冲区，并将 IDR 帧作为被参考帧。
融云 SDK 中关键帧间隔时间默认为 100 秒，开发者可以通过 RongRTCConfig.Builder#setHardWareEncodeKeyFrameInterval 方法修改间隔时间，如果该值设置过小，会加大网络流量和编解码压力;如果过大，在网络有波动情况下，图像质量会下降。以上就是融云在实时音视频 SDK 对智能硬件视频适配方面的一些经验，希望能对开发者朋友们理解智能硬件的适配有所帮助。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
