双线性插值缩放算法原理以及matlab与verilog的实现（二）

25-03-07 17:21

7263

blog.csdn.net

id="article_content" class="article_content clearfix" style="height: 2000px; overflow: hidden;"> id="content_views" class="markdown_views prism-atom-one-dark">

系列文章目录

双线性插值缩放算法原理以及matlab与verilog的实现（一）

class="toc">

文章目录

系列文章目录
前言
一、前提回顾
二、FPGA实现步骤
三、下板验证

前言

开发平台：vivado2020.1
开发芯片：xc7k410tffv900-2

在上一篇文章，我们学会了双线性缩放插值算法的原理以及matlab的实现，以及VGA时序的简单实现。
本文实现目的：用verilog实现双线性插值算法，将一张112 ×103大小图片，放大两倍至224 ×206，然后通过VGA显示出来

一、前提回顾

双线性插值算法公式如下：
在这里插入图片描述

$f(x,y)={f(Q_{11})}{(1-u)(1-v)}+{f(Q_{21})}{u(1-v)}+{f(Q_{12})}{(1-u)v}+{f(Q_{22})}{uv}$

由于在图像处理中，一般将左上角的像素点定义为坐标原点，因此将上述的图片变换一下坐标，以及命名顺序，就变为了：
在这里插入图片描述

$f(x,y)={f(Q_{11})}{(1-u)(1-v)}+{f(Q_{21})}{u(1-v)}+{f(Q_{12})}{(1-u)v}+{f(Q_{22})}{uv}$

二、FPGA实现步骤

现在我们知道，我们用一张已知各点像素值的图片（源图像），求出一张放大两倍的图片（目标图像），但是目标各点像素值都是未知。双线性插值算法核心就是：用已知的四个像素点的值算出所求目标像素点的值。因此步骤如下：

2.1 找到源图像四个像素点求目标像素点

根据目标像素点位置乘以缩放系数（ $\frac{srcwidth}{dstwidth}，\frac{srcheight}{dstheight}$ ）得到一个浮点坐标 $（ i + u ， j + v ）$ （其中 $i$ ， $j$ 为浮点坐标的整数部分； $u$ ， $v$ 为浮点坐标的小数部分），而这个浮点坐标 $（ i + u ， j + v ）$ 的像素值 $f (i + u ， j + v)$ ，就是上图中所要求的p点值，所以由公式可知， $f (p)$ 可由 $f(Q_{11}$ )、 $f(Q_{12}$ )、 $f(Q_{21}$ )、 $f(Q_{22}$ )求出。而 $f(Q_{11}$ )、 $f(Q_{12}$ )、 $f(Q_{21}$ )、 $f(Q_{22}$ )的坐标分别是 $（ i ， j ）$ 、 $（ i + 1 ， j ）$ 、 $（ i ， j + 1 ）$ 、 $（ i + 1 ， j + 1 ）$ 。
找源图像坐标公式如下：
$srcX=dstX×\frac{srcwidth}{dstwidth}$
$srcY=dstY×\frac{srcheight}{dstheight}$

例如：将图像放大2倍

缩放系数为（0.5，0.5）
假如求目标图像坐标（10，15）的像素值，浮点坐标为（5 + 0，7 + 0.5）其中u = 0，v = 0.5
源图像四个点坐标为 $（ 5 ， 7 ）$ 、 $（ 6 ， 7 ）$ 、 $（ 5 ， 8 ）$ 、 $（ 6 ， 8 ）$ 。
带入双线性插值算法公式就可求出

在查阅一些资料中发现，将坐标公式优化一下，图像显示效果会更好，具体公式修改如下：
$srcX=(dstX+0.5)×\frac{srcwidth}{dstwidth}-0.5$
$srcY=(dstY+0.5)×\frac{srcheight}{dstheight}-0.5$

例如：还是上面同样例子将图像放大2倍

缩放系数为（0.5，0.5）
假如求目标图像坐标（10，15）的像素值，浮点坐标为（4 + 0.75，7 + 0.25）其中u = 0.75，v = 0.25
源图像四个点坐标为 $（ 4 ， 7 ）$ 、 $（ 5 ， 7 ）$ 、 $（ 4 ， 8 ）$ 、 $（ 5 ， 8 ）$ 。

2.2 FPGA实现步骤

求出缩放系数，通常涉及到小数，FPGA处理小数通常是将浮点数转化成定点数来计算（参考FPGA浮点数计算），本文将浮点数放大256倍，例如缩放系数为0.5，则在FPGA中显示为128。再例如，计算 1 - 0.7 = 0.3，在FPGA中就是256 - 179 = 77
如何同时取出源图像四个点：因为FPGA中，无论是RAM还是ROM，一个时钟周期只能读出一个数据，所以需要将源图像缓存至四个RAM或者4个ROM中（面积换速度），这样一次性给四个地址到这四个ROM中，就能同时收到四个像素点
实现公式：公式都是由加法和乘法组成，为了速度能快，选用加法器和乘法器的IP，而不是直接用 +，×
计算完成，数据缓存到RAM里，VGA接口直接读RAM

2.3 总体框架

在这里插入图片描述

2.4 ROM缓存模块

将图片通过matlab提取像素点，按照RGB顺序，十六进制的格式写入coe文件里，maltab代码如下：

% 读取图像
img = imread('C:\Users\Administrator\Desktop\qq.jpg');

% 获取图像尺寸
[height, width, ~] = size(img);

% 打开 COE 文件以写入数据
fileID = fopen('C:\Users\Administrator\Desktop\save.coe', 'w');

% 写入 COE 文件头部信息
fprintf(fileID, 'memory_initialization_radix=16;\n');
fprintf(fileID, 'memory_initialization_vector=\n');

% 遍历图像像素并将像素值写入 COE 文件
for i = 1:height
    for j = 1:width
        % 将像素值写入 COE 文件
        fprintf(fileID, '%02X%02X%02X,\n', img(i,j,1), img(i,j,2), img(i,j,3));  
    end
end

% 关闭 COE 文件
fclose(fileID);
disp('COE file generation complete.');
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

//显示ROM缓存的图片 module vga_ctrl ( input clk , input [23:0] data_in , output reg [13:0] rd_rom_addr, output reg vs =1'b0 , output reg hs =1'b0 , output reg [23:0] data_out ); parameter hcnt_max =1100;//行扫描是对列计数，最大值 parameter vcnt_max =2250;//列扫描是对行计数，最大值 parameter H_ACTIVE =960; //行数据有效时间 parameter H_FRONT_PORCH =44 ; //行前沿时间 parameter H_SYNC_TIME =22;//行同步信号时间 parameter H_BACK_PORCH =74;//行消隐后肩时间 parameter V_ACTIVE =2160;//场数据有效时间 parameter V_FRONT_PORCH =8 ; //场前沿时间 parameter V_SYNC_TIME =10 ; //场同步信号时间 parameter V_BACK_PORCH =72;//场后沿时间 reg [10:0] hcnt ='d0 ; reg [11:0] vcnt ='d0 ; reg [10:0] pix_x ='d0 ;//当前显示像素点x坐标 reg [11:0] pix_y ='d0 ; //当前显示像素点y坐标 //对行扫描进行计数 always @(posedge clk)begin if(hcnt == hcnt_max - 1 ) hcnt <= 0; else hcnt <= hcnt +'d1; end //对列扫描进行计数 always @(posedge clk) begin if((vcnt == vcnt_max-1)&&(hcnt == hcnt_max -1)) vcnt <= 0; else if(hcnt == hcnt_max -1) vcnt <= vcnt +'d1; else vcnt <= vcnt; end always@(posedge clk)begin if(hcnt < H_SYNC_TIME) hs <= 1; else hs <= 0; end always@(posedge clk)begin if(vcnt < V_SYNC_TIME) vs <= 1; else vs <= 0; end //整个屏幕有效显示区域 always @(posedge clk) begin if(((hcnt >= H_SYNC_TIME +H_BACK_PORCH)&&(hcnt < H_SYNC_TIME +H_BACK_PORCH +H_ACTIVE))&&((vcnt >=V_SYNC_TIME + V_BACK_PORCH)&&(vcnt<V_SYNC_TIME+V_BACK_PORCH+V_ACTIVE)))begin de <= 1'b1; end else begin de <= 1'b0; end end //当前显示的像素点的位置 always@(posedge clk)begin if(de == 1'b1)begin pix_x <= hcnt - H_SYNC_TIME - H_BACK_PORCH; pix_y <= vcnt - V_SYNC_TIME - V_BACK_PORCH; end else begin pix_x <= 'd0; pix_y <= 'd0; end end //提前一拍读ROM地址 always @(posedge clk) begin if((pix_x >= 278)&&(pix_x <390)&&((pix_y >=1080)&&(pix_y < 1183)))begin if(rd_rom_addr <'d11535) rd_rom_addr <= rd_rom_addr + 1; else rd_rom_addr <= 'd0; end else begin rd_rom_addr <= rd_rom_addr; end end always @(posedge clk) begin if((pix_x >= 279)&&(pix_x <391)&&((pix_y >=1080)&&(pix_y < 1183))) data_out <= data_in; else data_out <= 96'h800080_800080_800080_800080; end endmodule class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

module bilinear_calculate( input clk , input rst_n , input [7:0] cur_u_dec , //输入的u input [7:0] cur_v_dec , //输出的v input pix_en, input [7:0] i_j_pix , //i_j_pix=f(i,j) input [7:0] i_j_1_pix , //i_j_1_pix=f(i,j+1) input [7:0] i_1_j_pix , //i_1_j_pix=f(i+1,j) input [7:0] i_1_j_1_pix , //i_1_j_1_pix=f(i+1,j+1) output reg [7:0] post_cal_data, output reg post_cal_data_valid =1'b0 ); //f(x,y)= f(0,0)*(1-u)(1-v)+f(1,0)*u*(1-v)+f(0,1)*(1-u)*v+f(l,1)*u*v reg [7:0] cur_u_dec_reg=8'd0 ; reg [7:0] cur_v_dec_reg=8'd0 ; reg [8:0] u_1 =9'd0; //1-u reg [8:0] v_1 =9'd0; //1-v reg [8:0] u =9'd0; //u reg [8:0] v =9'd0; //v reg [8:0] u_1_reg =9'd0; reg [8:0] v_1_reg =9'd0; reg [8:0] u_reg =9'd0; reg [8:0] v_reg =9'd0; reg [8:0] u_1_reg_copy =9'd0; reg [8:0] v_1_reg_copy =9'd0; reg [8:0] u_reg_copy =9'd0; reg [8:0] v_reg_copy =9'd0; wire [17:0] u_v ; wire [17:0] u_1_v_1 ; wire [17:0] u_v_1 ; wire [17:0] u_1_v ; reg [17:0] u_v_reg =18'd0; reg [17:0] u_1_v_1_reg =18'd0; reg [17:0] u_v_1_reg =18'd0; reg [17:0] u_1_v_reg =18'd0; reg [7:0] i_j_pix_reg =8'd0; reg [7:0] i_j_1_pix_reg =8'd0; reg [7:0] i_1_j_pix_reg =8'd0; reg [7:0] i_1_j_1_pix_reg =8'd0; wire [25:0] Fi_j_pix0 ; wire [25:0] Fi_j_1_pix0 ; wire [25:0] Fi_1_j_pix0 ; wire [25:0] Fi_1_j_1_pix0 ; reg [25:0] Fi_j_pix0_reg =26'd0; reg [25:0] Fi_j_1_pix0_reg =26'd0; reg [25:0] Fi_1_j_pix0_reg =26'd0; reg [25:0] Fi_1_j_1_pix0_reg =26'd0; reg [25:0] F_i_u_j_v1_pix0 =26'd0; reg [25:0] F_i_u_j_v2_pix0 =26'd0; reg [26:0] F_i_u_j_v_pix0 =27'd0; reg [5:0] pix_en_reg ='d0 ; always@(posedge clk )begin cur_u_dec_reg <= cur_u_dec; cur_v_dec_reg <= cur_v_dec; end always@(posedge clk )begin u_1 <= {1'b0,~cur_u_dec_reg} + 1; v_1 <= {1'b0,~cur_v_dec_reg} + 1; u <= cur_u_dec_reg; v <= cur_v_dec_reg; end always@(posedge clk )begin u_1_reg <= u_1; v_1_reg <= v_1; u_reg <= u; v_reg <= v; end always@(posedge clk )begin u_1_reg_copy <= u_1; v_1_reg_copy <= v_1; u_reg_copy <= u; v_reg_copy <= v; end mult_9_9 mult_u_v ( .CLK(clk), .A(u_reg), .B(v_reg), .P(u_v) ); mult_9_9 mult_u_1_v_1 ( .CLK(clk), .A(u_1_reg), .B(v_1_reg), .P(u_1_v_1) ); mult_9_9 mult_u_1_v ( .CLK(clk), .A(u_1_reg_copy), .B(v_reg_copy), .P(u_1_v) ); mult_9_9 mult_u_v_1 ( .CLK(clk), .A(u_reg_copy), .B(v_1_reg_copy), .P(u_v_1) ); always@(posedge clk)begin u_v_reg <= u_v; u_1_v_1_reg <= u_1_v_1; u_v_1_reg <= u_v_1; u_1_v_reg <= u_1_v; end // pix_cal always@(posedge clk)begin i_j_pix_reg <= i_j_pix; i_j_1_pix_reg <= i_j_1_pix; i_1_j_pix_reg <= i_1_j_pix; i_1_j_1_pix_reg <= i_1_j_1_pix; end mult_18_8 mult1 ( .CLK(clk), .A(u_1_v_1_reg), .B(i_j_pix_reg), .P(Fi_j_pix0) ); mult_18_8 mult2 ( .CLK(clk), .A(u_1_v_reg), .B(i_j_1_pix_reg), .P(Fi_j_1_pix0) ); mult_18_8 mult3( .CLK(clk), .A(u_v_1_reg), .B(i_1_j_pix_reg), .P(Fi_1_j_pix0) ); mult_18_8 mult4( .CLK(clk), .A(u_v_reg), .B(i_1_j_1_pix_reg), .P(Fi_1_j_1_pix0) ); always@(posedge clk)begin Fi_j_pix0_reg <= Fi_j_pix0; Fi_j_1_pix0_reg <= Fi_j_1_pix0; Fi_1_j_pix0_reg <= Fi_1_j_pix0; Fi_1_j_1_pix0_reg <= Fi_1_j_1_pix0; end always@(posedge clk)begin F_i_u_j_v1_pix0 <= Fi_j_pix0_reg + Fi_j_1_pix0_reg; F_i_u_j_v2_pix0 <= Fi_1_j_pix0_reg + Fi_1_j_1_pix0_reg; end always@(posedge clk)begin F_i_u_j_v_pix0 <= {1'b0,F_i_u_j_v1_pix0} + {1'b0,F_i_u_j_v2_pix0}; end always@(posedge clk)begin if(F_i_u_j_v_pix0[26 : 24] == 'd0) post_cal_data <= F_i_u_j_v_pix0[23 : 16]; else post_cal_data <= 8'hff; end always @(posedge clk) begin pix_en_reg <= {pix_en_reg[4:0],pix_en}; if(pix_en_reg[5] == 1'b1) post_cal_data_valid <= 1'b1; else post_cal_data_valid <= 1'b0; end endmodule class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

双线性插值缩放算法原理以及matlab与verilog的实现（二）

系列文章目录

文章目录

前言

一、前提回顾

二、FPGA实现步骤

2.1 找到源图像四个像素点求目标像素点

2.2 FPGA实现步骤

2.3 总体框架

2.4 ROM缓存模块

2.5 VGA模块

2.6 双线性算法模块

三、下板验证

评论记录：