【Android RTMP】NV21 图像旋转处理 ( 图像旋转算法 | 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )

文章目录





安卓直播推流专栏博客总结


Android RTMP 直播推流技术专栏 :


0 . 资源和源码地址 :


1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;

2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :

3. 讲解 RTMP 数据包封装格式 :

4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;

5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :

6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :

7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;

8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :

9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;

10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :

11. 解析 AAC 音频格式 :

12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :





Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;


Android 端中主要完成手机端采集视频数据操作 , 并将视频数据传递给 JNI , 在 NDK 中使用 x264 将图像转为 H.264 格式的视频 , 最后将 H.264 格式的视频打包到 RTMP 数据包中 , 上传到 RTMP 服务器中 ;


本博客中实现将 NV21 图像顺时针旋转 90 度的算法 , 后置摄像头需要顺时针旋转 90 度, 前置摄像头与后置摄像头相反 , 需要逆时针旋转 90 度 ;





一、 后置摄像头顺时针旋转 90 度


1 . NV21 格式图像数据的排列 : 16 16 16 个 Y 灰度数据在前 , 然后 4 4 4 组 ( 8 8 8 个 ) VU 色彩值 , 饱和度 , 数据交替存放 ;


[ y 1 y 2 y 3 y 4 y 5 y 6 y 7 y 8 y 9 y 10 y 11 y 12 y 13 y 14 y 15 y 16 v 1 u 1 v 2 u 2 v 3 u 3 v 4 u 4 ]

[y1y2y3y4y5y6y7y8y9y10y11y12y13y14y15y16v1u1v2u2v3u3v4u4]
⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​y1y5y9y13v1v3​y2y6y10y14u1u3​y3y7y11y15v2v4​y4y8y12y16u2u4​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​



2 . NV21 格式的图像的 YUV 值顺时针旋转 90 度后的 YUV 矩阵为 :


[ y 13 y 9 y 5 y 1 y 14 y 10 y 6 y 2 y 15 y 11 y 7 y 3 y 16 y 12 y 8 y 4 v 3 u 3 v 1 u 1 v 4 u 4 v 2 u 2 ]

[y13y9y5y1y14y10y6y2y15y11y7y3y16y12y8y4v3u3v1u1v4u4v2u2]
⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​y13y14y15y16v3v4​y9y10y11y12u3u4​y5y6y7y8v1v2​y1y2y3y4u1u2​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​



3 . 灰度值 Y 数据读取顺序 :


① 外层循环 : 逐行遍历, 从第一行遍历到最后一行, 从 0 到 mWidth - 1 ;

② 内存循环 : 遍历每一行时, 从底部遍历到顶部, 从 mHeight - 1 到 0 ;

在这里插入图片描述

for (int i = 0; i < mWidth; i++) {
    // 第 i 行, 从每一列的最后一个像素 ( 索引 mHeight - 1 ) 遍历到第一个像素 ( 索引 0 )
    for (int j = mHeight - 1; j >= 0; j--) {
        // 将读取到的 Y 灰度值存储到 mNv21DataBuffer 缓冲区中
        mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7


4 . 饱和度 色彩值 UV 数据读取顺序 :


① 数据高度个数 : Y 数据的高度与图像高度相等 , UV 数据高度相当于 Y 数据高度的一半 ;

② UV 数据排列 : V 色彩值在前, U 饱和度在后, UV 数据交替排列 , 一行 mWidth 中, 排布了 mWidth / 2 组 UV 数据 ;

③ UV 数据组有 mWidth / 2 行, mHeight / 2 列, 因此遍历时, 有如下规则 :

  • 按照行遍历 : 遍历 mWidth / 2 次
  • 按照列遍历 : 遍历 mHeight / 2 次

④ 外层遍历 : 每隔 2 行, 遍历一次, 遍历 mWidth / 2 次 ; 遍历行从 0 到 mWidth / 2 - 1 ;

⑤ 内层遍历 : UV 数据也需要倒着读 , 从 mHeight / 2 - 1 遍历到 0 ;

在这里插入图片描述

for (int i = 0; i < mWidth / 2; i ++) {
    for (int j = UVByteHeight - 1; j >= 0; j--) {
        // 读取数据时, 要从 YByteCount 之后的数据开始遍历
        // 使用 mWidth 和 UVByteHeight 定位要遍历的位置
        // 拷贝 V 色彩值数据
        mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];
        // 拷贝 U 饱和度数据
        mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10




二、 前置摄像头顺时针旋转 90 度


1 . NV21 格式图像数据的排列 : 16 16 16 个 Y 灰度数据在前 , 然后 4 4 4 组 ( 8 8 8 个 ) VU 色彩值 , 饱和度 , 数据交替存放 ;


[ y 1 y 2 y 3 y 4 y 5 y 6 y 7 y 8 y 9 y 10 y 11 y 12 y 13 y 14 y 15 y 16 v 1 u 1 v 2 u 2 v 3 u 3 v 4 u 4 ]

[y1y2y3y4y5y6y7y8y9y10y11y12y13y14y15y16v1u1v2u2v3u3v4u4]
⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​y1y5y9y13v1v3​y2y6y10y14u1u3​y3y7y11y15v2v4​y4y8y12y16u2u4​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​



2 . NV21 格式的图像的 YUV 值逆时针旋转 90 度后的 YUV 矩阵为 :


[ y 4 y 8 y 12 y 16 y 3 y 7 y 11 y 15 y 2 y 6 y 10 y 14 y 1 y 5 y 9 y 13 v 2 u 2 v 4 u 4 v 1 u 1 v 3 u 3 ]

[y4y8y12y16y3y7y11y15y2y6y10y14y1y5y9y13v2u2v4u4v1u1v3u3]
⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​y4y3y2y1v2v1​y8y7y6y5u2u1​y12y11y10y9v4v3​y16y15y14y13u4u3​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​



3 . 灰度值 Y 数据读取顺序 :


① 外层循环 : 逐行遍历, 从最后一行遍历到第一行, 从 mWidth - 1 到 0 ;

② 内存循环 : 遍历第 i 行时, 从顶部遍历到底部, 从 0 到 mHeight - 1

在这里插入图片描述

for (int i = mWidth - 1; i >= 0; i--) {
    // 第 i 行, 从每一列的最后一个像素 ( 索引 mHeight - 1 ) 遍历到第一个像素 ( 索引 0 )
    for (int j = 0; j < mHeight; j++) {
        // 将读取到的 Y 灰度值存储到 mNv21DataBuffer 缓冲区中
        mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7


4 . 饱和度 色彩值 UV 数据读取顺序 :


① 数据高度个数 : Y 数据的高度与图像高度相等 , UV 数据高度相当于 Y 数据高度的一半 ;

② UV 数据排列 : V 色彩值在前, U 饱和度在后, UV 数据交替排列 , 一行 mWidth 中, 排布了 mWidth / 2 组 UV 数据 ;

③ UV 数据组有 mWidth / 2 行, mHeight / 2 列, 因此遍历时, 有如下规则 :

  • 按照行遍历 : 遍历 mWidth / 2 次
  • 按照列遍历 : 遍历 mHeight / 2 次

④ 外层遍历 : 每隔 2 行, 遍历一次, 遍历 mWidth / 2 次 ; 遍历行从mWidth / 2 - 1 到 0 ;

⑤ 内层遍历 : UV 数据也需要倒着读 , 从 0 遍历到 mHeight / 2 - 1 ;

在这里插入图片描述

for (int i = mWidth / 2 - 1; i >= 0 ; i --) {
    for (int j = 0; j < UVByteHeight; j++) {
        // 读取数据时, 要从 YByteCount 之后的数据开始遍历
        // 使用 mWidth 和 UVByteHeight 定位要遍历的位置
        // 拷贝 V 色彩值数据
        mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];
        // 拷贝 U 饱和度数据
        mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10




三、 NV21 格式图像旋转代码


    /**
     * 将 NV21 格式的图片数据顺时针旋转 90 度
     * 后置摄像头顺时针旋转 90 度
     * 前置摄像头逆时针旋转 90 度
     * @param data
     */
    private void nv21PictureDataClockwiseRotation90(byte[] data){
        // Y 灰度数据的个数
        int YByteCount = mWidth * mHeight;

        // 色彩度 U, 饱和度 V 数据高度
        int UVByteHeight = mHeight / 2;

        // 色彩度 U, 饱和度 V 数据个数
        int UVByteCount = YByteCount / 4;

        // 数据处理索引值, 用于记录写入到 mNv21DataBuffer 中的元素个数
        // 及下一个将要写入的元素的索引
        int positionIndex = 0;

        /*
            后置摄像头处理
            后置摄像头需要将图像顺时针旋转 90 度
         */
        if(mCameraFacing == Camera.CameraInfo.CAMERA_FACING_BACK){

            /*
                读取 Y 灰度数据
                顺时针旋转 90 度
                外层循环 : 逐行遍历, 从第一行遍历到最后一行
                内存循环 : 遍历每一行时, 从底部遍历到顶部
             */
            for (int i = 0; i < mWidth; i++) {
                // 第 i 行, 从每一列的最后一个像素 ( 索引 mHeight - 1 ) 遍历到第一个像素 ( 索引 0 )
                for (int j = mHeight - 1; j >= 0; j--) {
                    // 将读取到的 Y 灰度值存储到 mNv21DataBuffer 缓冲区中
                    mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];
                }
            }

            /*
                读取 UV 数据

                Y 数据的高度与图像高度相等
                UV 数据高度相当于 Y 数据高度的一半

                UV 数据排列 : V 色彩值在前, U 饱和度在后, UV 数据交替排列
                UV 数据交替排列, 一行 mWidth 中, 排布了 mWidth / 2 组 UV 数据

                UV 数据组有 mWidth / 2 行, mHeight / 2 列, 因此遍历时, 有如下规则 :
                按照行遍历 : 遍历 mWidth / 2 次
                按照列遍历 : 遍历 mHeight / 2 次

                外层遍历 : 遍历行从 0 到 mWidth / 2
                外层按照行遍历时, 每隔 2 行, 遍历一次, 遍历 mWidth / 2 次

                内层遍历时 : 遍历列, 从 mHeight / 2 - 1 遍历到 0
                UV 数据也需要倒着读 , 从 mHeight / 2 - 1 遍历到 0
             */
            for (int i = 0; i < mWidth / 2; i ++) {
                for (int j = UVByteHeight - 1; j >= 0; j--) {
                    // 读取数据时, 要从 YByteCount 之后的数据开始遍历
                    // 使用 mWidth 和 UVByteHeight 定位要遍历的位置
                    // 拷贝 V 色彩值数据
                    mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];
                    // 拷贝 U 饱和度数据
                    mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];
                }
            }


        }else if(mCameraFacing == Camera.CameraInfo.CAMERA_FACING_FRONT){
            /*
                前置摄像头处理
                前置摄像头与后置摄像头相反, 后置摄像头顺时针旋转 90 度
                前置摄像头需要将图像逆时针旋转 90 度
             */

            /*
                读取 Y 灰度数据
                逆时针旋转 90 度
                外层循环 : 逐行遍历, 从最后一行遍历到第一行, 从 mWidth - 1 到 0
                内存循环 : 遍历第 i 行时, 从顶部遍历到底部, 从 0 到 mHeight - 1
             */
            for (int i = mWidth - 1; i >= 0; i--) {
                // 第 i 行, 从每一列的最后一个像素 ( 索引 mHeight - 1 ) 遍历到第一个像素 ( 索引 0 )
                for (int j = 0; j < mHeight; j++) {
                    // 将读取到的 Y 灰度值存储到 mNv21DataBuffer 缓冲区中
                    mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];
                }
            }

            /*
                读取 UV 数据

                Y 数据的高度与图像高度相等
                UV 数据高度相当于 Y 数据高度的一半

                UV 数据排列 : V 色彩值在前, U 饱和度在后, UV 数据交替排列
                UV 数据交替排列, 一行 mWidth 中, 排布了 mWidth / 2 组 UV 数据

                UV 数据组有 mWidth / 2 行, mHeight / 2 列, 因此遍历时, 有如下规则 :
                按照行遍历 : 遍历 mWidth / 2 次
                按照列遍历 : 遍历 mHeight / 2 次

                外层遍历 : 遍历行从 mWidth / 2 - 1 到 0
                外层按照行遍历时, 每隔 2 行, 遍历一次, 遍历 mWidth / 2 次

                内层遍历时 : 遍历列, 从 0 遍历到 mHeight / 2 - 1
                UV 数据也需要倒着读 , 从 0 遍历到 mHeight / 2 - 1
             */
            for (int i = mWidth / 2 - 1; i >= 0 ; i --) {
                for (int j = 0; j < UVByteHeight; j++) {
                    // 读取数据时, 要从 YByteCount 之后的数据开始遍历
                    // 使用 mWidth 和 UVByteHeight 定位要遍历的位置
                    // 拷贝 V 色彩值数据
                    mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];
                    // 拷贝 U 饱和度数据
                    mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];
                }
            }

        }
    }
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
注：本文转载自blog.csdn.net的韩曙亮的文章"https://blog.csdn.net/shulianghan/article/details/106759250"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
复制链接
相关推荐
发表评论

评论记录：

未查询到任何数据！