C# AI鉴图宝 利用OCR技术对违规图片进行判别

目录

效果

项目

代码

下载

效果

项目

代码

using Aspose.Cells;
using NLog;
using OpenCvSharp;
using OpenVINO.OCRService;
using Sdcb.OpenVINO;
using Sdcb.OpenVINO.PaddleOCR;
using Sdcb.OpenVINO.PaddleOCR.Models;
using System;
using System.Collections.Concurrent;
using System.Collections.Generic;
using System.Data;
using System.Diagnostics;
using System.Drawing;
using System.IO;
using System.Linq;
using System.Net;
using System.Text;
using System.Threading;
using System.Threading.Tasks;
using System.Windows.Forms;

namespace OpenVINO.OCR
{
    public partial class frmMain : Form
    {
        public frmMain()
        {
            InitializeComponent();
            NLog.Windows.Forms.RichTextBoxTarget.ReInitializeAllTextboxes(this);
        }

        String startupPath;
        private string excelFileFilter = "表格|*.xlsx;*.xls;";
        private Logger log = NLog.LogManager.GetCurrentClassLogger();
        CancellationTokenSource cts;

        ConcurrentQueue ltImgInfo = new ConcurrentQueue();
        ConcurrentQueue matQueue = new ConcurrentQueue();

        bool saveImg = false;
        bool saveOcr = false;

        int ocrNum = 0;//完成OCR识别的数量
        int totalCount = 0;//图片总数量
        int downloadCount = 0;//图片下载数量
        int vioIDCount = 0;//违规ID;

        private void frmMain_Load(object sender, EventArgs e)
        {
            DateTime limitTime = new DateTime(2024, 08, 30, 00, 00, 00);
            //测试使用
            if (DateTime.Now > limitTime)
            {
                MessageBox.Show("此软件试用期已过");
                Application.Exit();
            }

            //初始化
            startupPath = System.Windows.Forms.Application.StartupPath;


            string detectionModelDir = startupPath + "\\inference\\ch_PP-OCRv3_det_infer";
            string classificationModelDir = startupPath + "\\inference\\ch_ppocr_mobile_v2.0_cls_infer";
            string recognitionModelDir = startupPath + "\\inference\\ch_PP-OCRv3_rec_infer";
            string labelFilePath = startupPath + "\\inference\\ppocr_keys.txt";

            FullOcrModel model = FullOcrModel.FromDirectory(detectionModelDir, classificationModelDir, recognitionModelDir, labelFilePath, ModelVersion.V3);

            PaddleOcrOptions paddleOcrOptions = new PaddleOcrOptions();
            paddleOcrOptions.DetectionDeviceOptions = new DeviceOptions("CPU");
            paddleOcrOptions.DetectionStaticSize = new OpenCvSharp.Size(800, 800);
            paddleOcrOptions.RecognitionStaticWidth = 512;

            Program.paddleOcr = new PaddleOcrAll(model, paddleOcrOptions);
            Program.paddleOcr.Detector.UnclipRatio = 1.5f;
            Program.paddleOcr.AllowRotateDetection = true;    /* 允许识别有角度的文字 */
            Program.paddleOcr.Enable180Classification = false; /* 允许识别旋转角度大于90度的文字 */

            ServicePointManager.Expect100Continue = false;
            ServicePointManager.DefaultConnectionLimit = 512;

            //加载违禁词
            Common.ltRuleContains.Clear();
            Common.ltRuleTel.Clear();

            string ruleContainsPath = "rules\\rule_contains.txt";
            if (File.Exists(ruleContainsPath))
            {
                Common.ltRuleContains = File.ReadAllLines(ruleContainsPath).ToList();

            }
            StringBuilder sb = new StringBuilder();
            foreach (var item in Common.ltRuleContains)
            {
                sb.AppendLine(item);
            }
            log.Info("rule_contains.txt---->包含" + Common.ltRuleContains.Count() + "个违禁词,内容如下：\r\n" + sb.ToString());


            string ruleTelPath = "rules\\rule_tel.txt";
            if (File.Exists(ruleTelPath))
            {
                foreach (var item in File.ReadAllLines(ruleTelPath))
                {
                    Common.ltRuleTel.Add(item.ToLower());
                }
            }

            sb.Clear();
            foreach (var item in Common.ltRuleTel)
            {
                sb.AppendLine(item);
            }
            log.Info("rule_tel.txt---->包含" + Common.ltRuleTel.Count() + "个号码前缀，内容如下：\r\n" + sb.ToString());

        }

        ///


        /// 选择表格
        ///
        ///
        ///
        private void button2_Click(object sender, EventArgs e)
        {
            try
            {
                OpenFileDialog ofd = new OpenFileDialog();
                ofd.Filter = excelFileFilter;
                if (ofd.ShowDialog() != DialogResult.OK) return;

                log.Info("解析中……");
                Application.DoEvents();

                Stopwatch sw = new Stopwatch();
                sw.Start();  //开始计时

                string excelPath = ofd.FileName;

                Workbook workbook = new Workbook(excelPath);
                Cells cells = workbook.Worksheets[0].Cells;
                System.Data.DataTable dataTable1 = cells.ExportDataTable(1, 0, cells.MaxDataRow, cells.MaxColumn + 1);//noneTitle

                ltImgInfo = new ConcurrentQueue();

                //遍历
                ImgInfo temp;
                int imgCount = 0;
                foreach (DataRow row in dataTable1.Rows)
                {
                    temp = new ImgInfo();
                    temp.id = row[0].ToString();
                    temp.title = row[1].ToString();

                    List list = new List();
                    for (int i = 2; i < cells.MaxColumn + 1; i++)
                    {

                        string tempStr = row[i].ToString();
                        if (!string.IsNullOrEmpty(tempStr))
                        {
                            if (i >= 7)
                            {
                                List ltScrUrlTemp = Common.GetScrUrl(tempStr);
                                if (ltScrUrlTemp.Count > 0)
                                {
                                    foreach (var item in ltScrUrlTemp)
                                    {

                                        MatInfo matInfo = new MatInfo();
                                        matInfo.url = item;
                                        list.Add(matInfo);
                                    }
                                }
                            }
                            else
                            {
                                MatInfo matInfo = new MatInfo();
                                matInfo.url = tempStr;
                                list.Add(matInfo);
                            }
                        }
                    }
                    temp.images = list;
                    imgCount = imgCount + list.Count();
                    ltImgInfo.Enqueue(temp);

                    //for test
                    //if (ltImgInfo.Count()>10)
                    //{
                    //    break;
                    //}
                }
                log.Info("解析完毕，一共[" + ltImgInfo.Count + "]条记录，[" + imgCount + "]张图片，耗时：" + sw.ElapsedMilliseconds + "毫秒");
            }
            catch (Exception ex)
            {
                log.Error("解析表格异常:" + ex.Message);
                MessageBox.Show("解析表格异常:" + ex.Message);
            }
        }

        void ShowCostTime(string total, string ocrNum, string downloadCount, long time, int vioIDCount)
        {
            txtTotal.Invoke(new Action(() =>
            {
                TimeSpan ts = TimeSpan.FromMilliseconds(time);
                txtTotal.Text = string.Format("下载完成：{0}/{1},识别完成：{2}/{3},违规ID数量：{5},用时:{4}"
                    , downloadCount
                    , total
                    , ocrNum
                    , total
                    , ts.ToString()
                    , vioIDCount
                    );
            }));
        }

        ///


        /// 下载识别
        ///
        ///
        ///
        private void button1_Click(object sender, EventArgs e)
        {
            if (ltImgInfo.Count == 0)
            {
                MessageBox.Show("请先选择表格！");
                return;
            }

            DialogResult result = MessageBox.Show("确认开始下载识别？此操作会清空上一次的数据，请注意备份！", "确认", MessageBoxButtons.YesNo, MessageBoxIcon.Question);
            if (result == DialogResult.Yes)
            {
                log.Info("确认开始下载识别！");
            }
            else
            {
                log.Info("取消开始下载识别！");
                return;
            }

            if (!Directory.Exists("img"))
            {
                Directory.CreateDirectory("img");
            }

            if (!Directory.Exists("ocr_result"))
            {
                Directory.CreateDirectory("ocr_result");
            }

            if (!Directory.Exists("result"))
            {
                Directory.CreateDirectory("result");
            }

            if (!Directory.Exists("result//img"))
            {
                Directory.CreateDirectory("result//img");
            }

            //清空结果
            File.WriteAllText("result//result.txt", "");
            File.WriteAllText("result//result_detail.txt", "");
            // 清空文件夹中的文件
            foreach (string filePath in Directory.GetFiles("result", "*", SearchOption.AllDirectories))
            {
                File.Delete(filePath);
            }

            // 写入列标题
            File.WriteAllText("result//result.txt", "id\ttitel\tcontent\r\n");

            btnStop.Enabled = true;
            btnStart.Enabled = false;
            chkSaveImg.Enabled = false;
            chkSaveOcr.Enabled = false;

            if (chkSaveImg.Checked)
            {
                saveImg = true;
            }
            else
            {
                saveImg = false;
            }

            if (chkSaveOcr.Checked)
            {
                saveOcr = true;
            }
            else
            {
                saveOcr = false;
            }

            Application.DoEvents();

            cts = new CancellationTokenSource();

            Stopwatch total = new Stopwatch();
            total.Start();  //开始计时

            // 清空队列
            matQueue = new ConcurrentQueue();
            //while (!matQueue.IsEmpty)
            //{
            //    matQueue.TryDequeue(out _);
            //}


            ocrNum = 0;//完成OCR识别的数量
            totalCount = ltImgInfo.Count();//图片总数量
            downloadCount = 0;

            //下载线程
            int downloadThreadNum = 2;
            for (int i = 0; i < downloadThreadNum; i++)
            {
                Task.Factory.StartNew(() =>
                {
                    while (true)
                    {
                        //判断是否被取消;
                        if (cts.Token.IsCancellationRequested)
                        {
                            return;
                        }

                        if (downloadCount == totalCount)
                        {
                            log.Info("--------------------------------->下载完成！<----------------------------------");
                            return;
                        }

                        ImgInfo imgInfo = new ImgInfo();
                        if (ltImgInfo.TryDequeue(out imgInfo))
                        {
                            //队列容量大于50 休息一秒
                            if (matQueue.Count > 50)
                            {
                                System.Threading.Thread.Sleep(1000);
                            }

                            if (matQueue.Count > 100)
                            {
                                System.Threading.Thread.Sleep(2000);
                            }

                            int imagesCount = imgInfo.images.Count();
                            for (int j = 0; j < imagesCount; j++)
                            {
                                try
                                {
                                    Stopwatch sw = new Stopwatch();
                                    sw.Start();  //开始计时
                                    HttpWebRequest request = WebRequest.Create(imgInfo.images[j].url) as HttpWebRequest;
                                    request.KeepAlive = false;
                                    request.ServicePoint.Expect100Continue = false;
                                    request.Timeout = 2000;// 2秒
                                    request.ReadWriteTimeout = 2000;//2秒

                                    request.ServicePoint.UseNagleAlgorithm = false;
                                    request.ServicePoint.ConnectionLimit = 65500;
                                    request.AllowWriteStreamBuffering = false;
                                    request.Proxy = null;

                                    request.CookieContainer = new CookieContainer();
                                    request.CookieContainer.Add(new Cookie("AspxAutoDetectCookieSupport", "1") { Domain = new Uri(imgInfo.images[j].url).Host });

                                    HttpWebResponse wresp = (HttpWebResponse)request.GetResponse();
                                    Stream s = wresp.GetResponseStream();
                                    Bitmap bmp = (Bitmap)System.Drawing.Image.FromStream(s);
                                    s.Dispose();
                                    wresp.Close();
                                    wresp.Dispose();
                                    request.Abort();

                                    sw.Stop();


                                    if (saveImg)
                                    {
                                        bmp.Save("img//" + imgInfo.id + "_" + j + ".jpg");
                                    }

                                    var mat = OpenCvSharp.Extensions.BitmapConverter.ToMat(bmp);

                                    if (mat.Channels() == 4)
                                    {
                                        Cv2.CvtColor(mat, mat, ColorConversionCodes.BGRA2BGR);
                                    }

                                    imgInfo.images[j].mat = mat;
                                    imgInfo.images[j].name = imgInfo.id + "_" + j;

                                    if (saveImg)
                                    {
                                        bmp.Save("img//" + imgInfo.images[j].name + ".jpg");
                                    }

                                    log.Info("  " + imgInfo.images[j].name + "-->下载用时：" + sw.ElapsedMilliseconds + "毫秒");
                                }
                                catch (Exception ex)
                                {
                                    log.Error("---->id:" + imgInfo.id + ",url[" + imgInfo.images[j].url + "],下载异常：" + ex.Message);
                                }
                            }
                            matQueue.Enqueue(imgInfo);
                            Interlocked.Increment(ref downloadCount);
                        }

                    }
                }, TaskCreationOptions.LongRunning);

            }

            //识别线程
            Task.Factory.StartNew(() =>
            {
                while (true)
                {
                    //判断是否被取消;
                    if (cts.Token.IsCancellationRequested)
                    {
                        return;
                    }

                    if (ocrNum == totalCount)
                    {
                        log.Info("--------------------------------->识别完成！<----------------------------------");
                        return;
                    }

                    ImgInfo imgInfo = new ImgInfo();
                    if (matQueue.TryDequeue(out imgInfo))
                    {

                        Stopwatch perID = new Stopwatch();
                        perID.Start();//开始计时
                        int imagesCount = imgInfo.images.Count();
                        for (int j = 0; j < imagesCount; j++)
                        {
                            //Mat mat= imgInfo.images[j].mat;
                            Stopwatch sw = new Stopwatch();
                            sw.Start();  //开始计时
                            PaddleOcrResult ocrResult = null;
                            try
                            {
                                if (imgInfo.images[j].mat != null && (!imgInfo.images[j].mat.Empty()))
                                {
                                    ocrResult = Program.paddleOcr.Run(imgInfo.images[j].mat);

                                    sw.Stop();
                                    log.Info("  " + imgInfo.images[j].name + "---->识别用时：" + sw.ElapsedMilliseconds + "毫秒");

                                    //string ocrInfo = ocrResult.Text.ToString();

                                    string ocrInfo = string.Join("\n", from x in ocrResult.Regions
                                                                       where x.Score > 0.8
                                                                       orderby x.Rect.Center.Y, x.Rect.Center.X
                                                                       select x.Text);

                                    if (saveOcr)
                                    {
                                        File.WriteAllText("ocr_result//" + imgInfo.images[j].name + ".txt", ocrInfo);
                                    }

                                    //规则校验
                                    Stopwatch ruleSw = new Stopwatch();
                                    ruleSw.Start();//开始计时
                                    ocrInfo = ocrInfo.Trim();
                                    ocrInfo = ocrInfo.Replace(" ", "");

                                    string words = "";
                                    string resultInfo = "";
                                    if (Common.RuleContainsCheck(ocrInfo, out words, ocrResult))
                                    {
                                        resultInfo = string.Format("ID:{0},Title:[{1}],------>包含违禁词:{2}", imgInfo.id, imgInfo.title, words);
                                        log.Info(resultInfo);

                                        //存数据
                                        File.AppendAllText("result//result.txt", imgInfo.id + "\t" + imgInfo.title + "\t包含违禁词:" + words + "\r\n");
                                        File.AppendAllText("result//result_detail.txt", "-------->\r\n" + resultInfo + ",识别内容" + ocrInfo + "\r\n<--------\r\n");

                                        //存图
                                        Cv2.ImWrite("result//img//" + imgInfo.images[j].name + ".jpg", imgInfo.images[j].mat);
                                        imgInfo.images[j].mat.Dispose();

                                        Interlocked.Increment(ref vioIDCount);

                                        break;
                                    }

                                    if (Common.RuleTelCheck(ocrInfo, out words, ocrResult))
                                    {
                                        resultInfo = string.Format("ID:{0},Title:[{1}],------>疑似包含电话号码:{2}", imgInfo.id, imgInfo.title, words);
                                        log.Info(resultInfo);
                                        //File.AppendAllText("result//result.txt", resultInfo+ "\r\n");
                                        File.AppendAllText("result//result.txt", imgInfo.id + "\t" + imgInfo.title + "\t疑似包含电话号码:" + words + "\r\n");
                                        File.AppendAllText("result//result_detail.txt", "-------->\r\n" + resultInfo + ",识别内容" + ocrInfo + "\r\n<--------\r\n");

                                        //存图
                                        Cv2.ImWrite("result//img//" + imgInfo.images[j].name + ".jpg", imgInfo.images[j].mat);
                                        imgInfo.images[j].mat.Dispose();

                                        Interlocked.Increment(ref vioIDCount);

                                        break;
                                    }
                                    imgInfo.images[j].mat.Dispose();
                                    ruleSw.Stop();
                                    //log.Info("  " + imgInfo.images[j].name + "---->违禁词校验用时：" + ruleSw.ElapsedMilliseconds + "毫秒");
                                }
                            }
                            catch (Exception ex)
                            {
                                imgInfo.images[j].mat.Dispose();
                                log.Info("  " + imgInfo.images[j].name + "---->识别异常：" + ex.Message);
                            }
                        }

                        perID.Stop();
                        log.Info("---->id:" + imgInfo.id + ",图片张数[" + imagesCount + "],识别小计用时：" + perID.ElapsedMilliseconds + "毫秒");
                        Interlocked.Increment(ref ocrNum);
                        ShowCostTime(totalCount.ToString(), ocrNum.ToString(), downloadCount.ToString(), total.ElapsedMilliseconds, vioIDCount);

                    }
                }
            }, TaskCreationOptions.LongRunning);
        }

        ///


        /// 停止
        ///
        ///
        ///
        private void button3_Click(object sender, EventArgs e)
        {
            cts.Cancel();
            btnStop.Enabled = false;
            btnStart.Enabled = true;

            chkSaveImg.Enabled = true;
            chkSaveOcr.Enabled = true;
        }
    }
}

  1. using Aspose.Cells;
  2. using NLog;
  3. using OpenCvSharp;
  4. using OpenVINO.OCRService;
  5. using Sdcb.OpenVINO;
  6. using Sdcb.OpenVINO.PaddleOCR;
  7. using Sdcb.OpenVINO.PaddleOCR.Models;
  8. using System;
  9. using System.Collections.Concurrent;
  10. using System.Collections.Generic;
  11. using System.Data;
  12. using System.Diagnostics;
  13. using System.Drawing;
  14. using System.IO;
  15. using System.Linq;
  16. using System.Net;
  17. using System.Text;
  18. using System.Threading;
  19. using System.Threading.Tasks;
  20. using System.Windows.Forms;
  21.  
  22. namespace OpenVINO.OCR
  23. {
  24.     public partial class frmMain : Form
  25.     {
  26.         public frmMain()
  27.         {
  28.             InitializeComponent();
  29.             NLog.Windows.Forms.RichTextBoxTarget.ReInitializeAllTextboxes(this);
  30.         }
  31.  
  32.         String startupPath;
  33.         private string excelFileFilter = "表格|*.xlsx;*.xls;";
  34.         private Logger log = NLog.LogManager.GetCurrentClassLogger();
  35.         CancellationTokenSource cts;
  36.  
  37.         ConcurrentQueue<ImgInfo> ltImgInfo = new ConcurrentQueue<ImgInfo>();
  38.         ConcurrentQueue<ImgInfo> matQueue = new ConcurrentQueue<ImgInfo>();
  39.  
  40.         bool saveImg = false;
  41.         bool saveOcr = false;
  42.  
  43.         int ocrNum = 0;//完成OCR识别的数量
  44.         int totalCount = 0;//图片总数量
  45.         int downloadCount = 0;//图片下载数量
  46.         int vioIDCount = 0;//违规ID;
  47.  
  48.         private void frmMain_Load(object sender, EventArgs e)
  49.         {
  50.             DateTime limitTime = new DateTime(2024, 08, 30, 00, 00, 00);
  51.             //测试使用
  52.             if (DateTime.Now > limitTime)
  53.             {
  54.                 MessageBox.Show("此软件试用期已过");
  55.                 Application.Exit();
  56.             }
  57.  
  58.             //初始化
  59.             startupPath = System.Windows.Forms.Application.StartupPath;
  60.  
  61.  
  62.             string detectionModelDir = startupPath + "\\inference\\ch_PP-OCRv3_det_infer";
  63.             string classificationModelDir = startupPath + "\\inference\\ch_ppocr_mobile_v2.0_cls_infer";
  64.             string recognitionModelDir = startupPath + "\\inference\\ch_PP-OCRv3_rec_infer";
  65.             string labelFilePath = startupPath + "\\inference\\ppocr_keys.txt";
  66.  
  67.             FullOcrModel model = FullOcrModel.FromDirectory(detectionModelDir, classificationModelDir, recognitionModelDir, labelFilePath, ModelVersion.V3);
  68.  
  69.             PaddleOcrOptions paddleOcrOptions = new PaddleOcrOptions();
  70.             paddleOcrOptions.DetectionDeviceOptions = new DeviceOptions("CPU");
  71.             paddleOcrOptions.DetectionStaticSize = new OpenCvSharp.Size(800, 800);
  72.             paddleOcrOptions.RecognitionStaticWidth = 512;
  73.  
  74.             Program.paddleOcr = new PaddleOcrAll(model, paddleOcrOptions);
  75.             Program.paddleOcr.Detector.UnclipRatio = 1.5f;
  76.             Program.paddleOcr.AllowRotateDetection = true;    /* 允许识别有角度的文字 */
  77.             Program.paddleOcr.Enable180Classification = false; /* 允许识别旋转角度大于90度的文字 */
  78.  
  79.             ServicePointManager.Expect100Continue = false;
  80.             ServicePointManager.DefaultConnectionLimit = 512;
  81.  
  82.             //加载违禁词
  83.             Common.ltRuleContains.Clear();
  84.             Common.ltRuleTel.Clear();
  85.  
  86.             string ruleContainsPath = "rules\\rule_contains.txt";
  87.             if (File.Exists(ruleContainsPath))
  88.             {
  89.                 Common.ltRuleContains = File.ReadAllLines(ruleContainsPath).ToList();
  90.  
  91.             }
  92.             StringBuilder sb = new StringBuilder();
  93.             foreach (var item in Common.ltRuleContains)
  94.             {
  95.                 sb.AppendLine(item);
  96.             }
  97.             log.Info("rule_contains.txt---->包含" + Common.ltRuleContains.Count() + "个违禁词,内容如下：\r\n" + sb.ToString());
  98.  
  99.  
  100.             string ruleTelPath = "rules\\rule_tel.txt";
  101.             if (File.Exists(ruleTelPath))
  102.             {
  103.                 foreach (var item in File.ReadAllLines(ruleTelPath))
  104.                 {
  105.                     Common.ltRuleTel.Add(item.ToLower());
  106.                 }
  107.             }
  108.  
  109.             sb.Clear();
  110.             foreach (var item in Common.ltRuleTel)
  111.             {
  112.                 sb.AppendLine(item);
  113.             }
  114.             log.Info("rule_tel.txt---->包含" + Common.ltRuleTel.Count() + "个号码前缀，内容如下：\r\n" + sb.ToString());
  115.  
  116.         }
  117.  
  118.         /// <summary>
  119.         /// 选择表格
  120.         /// </summary>
  121.         /// <param name="sender"></param>
  122.         /// <param name="e"></param>
  123.         private void button2_Click(object sender, EventArgs e)
  124.         {
  125.             try
  126.             {
  127.                 OpenFileDialog ofd = new OpenFileDialog();
  128.                 ofd.Filter = excelFileFilter;
  129.                 if (ofd.ShowDialog() != DialogResult.OK) return;
  130.  
  131.                 log.Info("解析中……");
  132.                 Application.DoEvents();
  133.  
  134.                 Stopwatch sw = new Stopwatch();
  135.                 sw.Start();  //开始计时
  136.  
  137.                 string excelPath = ofd.FileName;
  138.  
  139.                 Workbook workbook = new Workbook(excelPath);
  140.                 Cells cells = workbook.Worksheets[0].Cells;
  141.                 System.Data.DataTable dataTable1 = cells.ExportDataTable(1, 0, cells.MaxDataRow, cells.MaxColumn + 1);//noneTitle
  142.  
  143.                 ltImgInfo = new ConcurrentQueue<ImgInfo>();
  144.  
  145.                 //遍历
  146.                 ImgInfo temp;
  147.                 int imgCount = 0;
  148.                 foreach (DataRow row in dataTable1.Rows)
  149.                 {
  150.                     temp = new ImgInfo();
  151.                     temp.id = row[0].ToString();
  152.                     temp.title = row[1].ToString();
  153.  
  154.                     List<MatInfo> list = new List<MatInfo>();
  155.                     for (int i = 2; i < cells.MaxColumn + 1; i++)
  156.                     {
  157.  
  158.                         string tempStr = row[i].ToString();
  159.                         if (!string.IsNullOrEmpty(tempStr))
  160.                         {
  161.                             if (i >= 7)
  162.                             {
  163.                                 List<string> ltScrUrlTemp = Common.GetScrUrl(tempStr);
  164.                                 if (ltScrUrlTemp.Count > 0)
  165.                                 {
  166.                                     foreach (var item in ltScrUrlTemp)
  167.                                     {
  168.  
  169.                                         MatInfo matInfo = new MatInfo();
  170.                                         matInfo.url = item;
  171.                                         list.Add(matInfo);
  172.                                     }
  173.                                 }
  174.                             }
  175.                             else
  176.                             {
  177.                                 MatInfo matInfo = new MatInfo();
  178.                                 matInfo.url = tempStr;
  179.                                 list.Add(matInfo);
  180.                             }
  181.                         }
  182.                     }
  183.                     temp.images = list;
  184.                     imgCount = imgCount + list.Count();
  185.                     ltImgInfo.Enqueue(temp);
  186.  
  187.                     //for test
  188.                     //if (ltImgInfo.Count()>10)
  189.                     //{
  190.                     //    break;
  191.                     //}
  192.                 }
  193.                 log.Info("解析完毕，一共[" + ltImgInfo.Count + "]条记录，[" + imgCount + "]张图片，耗时：" + sw.ElapsedMilliseconds + "毫秒");
  194.             }
  195.             catch (Exception ex)
  196.             {
  197.                 log.Error("解析表格异常:" + ex.Message);
  198.                 MessageBox.Show("解析表格异常:" + ex.Message);
  199.             }
  200.         }
  201.  
  202.         void ShowCostTime(string total, string ocrNum, string downloadCount, long time, int vioIDCount)
  203.         {
  204.             txtTotal.Invoke(new Action(() =>
  205.             {
  206.                 TimeSpan ts = TimeSpan.FromMilliseconds(time);
  207.                 txtTotal.Text = string.Format("下载完成：{0}/{1},识别完成：{2}/{3},违规ID数量：{5},用时:{4}"
  208.                     , downloadCount
  209.                     , total
  210.                     , ocrNum
  211.                     , total
  212.                     , ts.ToString()
  213.                     , vioIDCount
  214.                     );
  215.             }));
  216.         }
  217.  
  218.         /// <summary>
  219.         /// 下载识别
  220.         /// </summary>
  221.         /// <param name="sender"></param>
  222.         /// <param name="e"></param>
  223.         private void button1_Click(object sender, EventArgs e)
  224.         {
  225.             if (ltImgInfo.Count == 0)
  226.             {
  227.                 MessageBox.Show("请先选择表格！");
  228.                 return;
  229.             }
  230.  
  231.             DialogResult result = MessageBox.Show("确认开始下载识别？此操作会清空上一次的数据，请注意备份！", "确认", MessageBoxButtons.YesNo, MessageBoxIcon.Question);
  232.             if (result == DialogResult.Yes)
  233.             {
  234.                 log.Info("确认开始下载识别！");
  235.             }
  236.             else
  237.             {
  238.                 log.Info("取消开始下载识别！");
  239.                 return;
  240.             }
  241.  
  242.             if (!Directory.Exists("img"))
  243.             {
  244.                 Directory.CreateDirectory("img");
  245.             }
  246.  
  247.             if (!Directory.Exists("ocr_result"))
  248.             {
  249.                 Directory.CreateDirectory("ocr_result");
  250.             }
  251.  
  252.             if (!Directory.Exists("result"))
  253.             {
  254.                 Directory.CreateDirectory("result");
  255.             }
  256.  
  257.             if (!Directory.Exists("result//img"))
  258.             {
  259.                 Directory.CreateDirectory("result//img");
  260.             }
  261.  
  262.             //清空结果
  263.             File.WriteAllText("result//result.txt", "");
  264.             File.WriteAllText("result//result_detail.txt", "");
  265.             // 清空文件夹中的文件
  266.             foreach (string filePath in Directory.GetFiles("result", "*", SearchOption.AllDirectories))
  267.             {
  268.                 File.Delete(filePath);
  269.             }
  270.  
  271.             // 写入列标题
  272.             File.WriteAllText("result//result.txt", "id\ttitel\tcontent\r\n");
  273.  
  274.             btnStop.Enabled = true;
  275.             btnStart.Enabled = false;
  276.             chkSaveImg.Enabled = false;
  277.             chkSaveOcr.Enabled = false;
  278.  
  279.             if (chkSaveImg.Checked)
  280.             {
  281.                 saveImg = true;
  282.             }
  283.             else
  284.             {
  285.                 saveImg = false;
  286.             }
  287.  
  288.             if (chkSaveOcr.Checked)
  289.             {
  290.                 saveOcr = true;
  291.             }
  292.             else
  293.             {
  294.                 saveOcr = false;
  295.             }
  296.  
  297.             Application.DoEvents();
  298.  
  299.             cts = new CancellationTokenSource();
  300.  
  301.             Stopwatch total = new Stopwatch();
  302.             total.Start();  //开始计时
  303.  
  304.             // 清空队列
  305.             matQueue = new ConcurrentQueue<ImgInfo>();
  306.             //while (!matQueue.IsEmpty)
  307.             //{
  308.             //    matQueue.TryDequeue(out _);
  309.             //}
  310.  
  311.  
  312.             ocrNum = 0;//完成OCR识别的数量
  313.             totalCount = ltImgInfo.Count();//图片总数量
  314.             downloadCount = 0;
  315.  
  316.             //下载线程
  317.             int downloadThreadNum = 2;
  318.             for (int i = 0; i < downloadThreadNum; i++)
  319.             {
  320.                 Task.Factory.StartNew(() =>
  321.                 {
  322.                     while (true)
  323.                     {
  324.                         //判断是否被取消;
  325.                         if (cts.Token.IsCancellationRequested)
  326.                         {
  327.                             return;
  328.                         }
  329.  
  330.                         if (downloadCount == totalCount)
  331.                         {
  332.                             log.Info("--------------------------------->下载完成！<----------------------------------");
  333.                             return;
  334.                         }
  335.  
  336.                         ImgInfo imgInfo = new ImgInfo();
  337.                         if (ltImgInfo.TryDequeue(out imgInfo))
  338.                         {
  339.                             //队列容量大于50 休息一秒
  340.                             if (matQueue.Count > 50)
  341.                             {
  342.                                 System.Threading.Thread.Sleep(1000);
  343.                             }
  344.  
  345.                             if (matQueue.Count > 100)
  346.                             {
  347.                                 System.Threading.Thread.Sleep(2000);
  348.                             }
  349.  
  350.                             int imagesCount = imgInfo.images.Count();
  351.                             for (int j = 0; j < imagesCount; j++)
  352.                             {
  353.                                 try
  354.                                 {
  355.                                     Stopwatch sw = new Stopwatch();
  356.                                     sw.Start();  //开始计时
  357.                                     HttpWebRequest request = WebRequest.Create(imgInfo.images[j].url) as HttpWebRequest;
  358.                                     request.KeepAlive = false;
  359.                                     request.ServicePoint.Expect100Continue = false;
  360.                                     request.Timeout = 2000;// 2秒
  361.                                     request.ReadWriteTimeout = 2000;//2秒
  362.  
  363.                                     request.ServicePoint.UseNagleAlgorithm = false;
  364.                                     request.ServicePoint.ConnectionLimit = 65500;
  365.                                     request.AllowWriteStreamBuffering = false;
  366.                                     request.Proxy = null;
  367.  
  368.                                     request.CookieContainer = new CookieContainer();
  369.                                     request.CookieContainer.Add(new Cookie("AspxAutoDetectCookieSupport", "1") { Domain = new Uri(imgInfo.images[j].url).Host });
  370.  
  371.                                     HttpWebResponse wresp = (HttpWebResponse)request.GetResponse();
  372.                                     Stream s = wresp.GetResponseStream();
  373.                                     Bitmap bmp = (Bitmap)System.Drawing.Image.FromStream(s);
  374.                                     s.Dispose();
  375.                                     wresp.Close();
  376.                                     wresp.Dispose();
  377.                                     request.Abort();
  378.  
  379.                                     sw.Stop();
  380.  
  381.  
  382.                                     if (saveImg)
  383.                                     {
  384.                                         bmp.Save("img//" + imgInfo.id + "_" + j + ".jpg");
  385.                                     }
  386.  
  387.                                     var mat = OpenCvSharp.Extensions.BitmapConverter.ToMat(bmp);
  388.  
  389.                                     if (mat.Channels() == 4)
  390.                                     {
  391.                                         Cv2.CvtColor(mat, mat, ColorConversionCodes.BGRA2BGR);
  392.                                     }
  393.  
  394.                                     imgInfo.images[j].mat = mat;
  395.                                     imgInfo.images[j].name = imgInfo.id + "_" + j;
  396.  
  397.                                     if (saveImg)
  398.                                     {
  399.                                         bmp.Save("img//" + imgInfo.images[j].name + ".jpg");
  400.                                     }
  401.  
  402.                                     log.Info("  " + imgInfo.images[j].name + "-->下载用时：" + sw.ElapsedMilliseconds + "毫秒");
  403.                                 }
  404.                                 catch (Exception ex)
  405.                                 {
  406.                                     log.Error("---->id:" + imgInfo.id + ",url[" + imgInfo.images[j].url + "],下载异常：" + ex.Message);
  407.                                 }
  408.                             }
  409.                             matQueue.Enqueue(imgInfo);
  410.                             Interlocked.Increment(ref downloadCount);
  411.                         }
  412.  
  413.                     }
  414.                 }, TaskCreationOptions.LongRunning);
  415.  
  416.             }
  417.  
  418.             //识别线程
  419.             Task.Factory.StartNew(() =>
  420.             {
  421.                 while (true)
  422.                 {
  423.                     //判断是否被取消;
  424.                     if (cts.Token.IsCancellationRequested)
  425.                     {
  426.                         return;
  427.                     }
  428.  
  429.                     if (ocrNum == totalCount)
  430.                     {
  431.                         log.Info("--------------------------------->识别完成！<----------------------------------");
  432.                         return;
  433.                     }
  434.  
  435.                     ImgInfo imgInfo = new ImgInfo();
  436.                     if (matQueue.TryDequeue(out imgInfo))
  437.                     {
  438.  
  439.                         Stopwatch perID = new Stopwatch();
  440.                         perID.Start();//开始计时
  441.                         int imagesCount = imgInfo.images.Count();
  442.                         for (int j = 0; j < imagesCount; j++)
  443.                         {
  444.                             //Mat mat= imgInfo.images[j].mat;
  445.                             Stopwatch sw = new Stopwatch();
  446.                             sw.Start();  //开始计时
  447.                             PaddleOcrResult ocrResult = null;
  448.                             try
  449.                             {
  450.                                 if (imgInfo.images[j].mat != null && (!imgInfo.images[j].mat.Empty()))
  451.                                 {
  452.                                     ocrResult = Program.paddleOcr.Run(imgInfo.images[j].mat);
  453.  
  454.                                     sw.Stop();
  455.                                     log.Info("  " + imgInfo.images[j].name + "---->识别用时：" + sw.ElapsedMilliseconds + "毫秒");
  456.  
  457.                                     //string ocrInfo = ocrResult.Text.ToString();
  458.  
  459.                                     string ocrInfo = string.Join("\n", from x in ocrResult.Regions
  460.                                                                        where x.Score > 0.8
  461.                                                                        orderby x.Rect.Center.Y, x.Rect.Center.X
  462.                                                                        select x.Text);
  463.  
  464.                                     if (saveOcr)
  465.                                     {
  466.                                         File.WriteAllText("ocr_result//" + imgInfo.images[j].name + ".txt", ocrInfo);
  467.                                     }
  468.  
  469.                                     //规则校验
  470.                                     Stopwatch ruleSw = new Stopwatch();
  471.                                     ruleSw.Start();//开始计时
  472.                                     ocrInfo = ocrInfo.Trim();
  473.                                     ocrInfo = ocrInfo.Replace(" ", "");
  474.  
  475.                                     string words = "";
  476.                                     string resultInfo = "";
  477.                                     if (Common.RuleContainsCheck(ocrInfo, out words, ocrResult))
  478.                                     {
  479.                                         resultInfo = string.Format("ID:{0},Title:[{1}],------>包含违禁词:{2}", imgInfo.id, imgInfo.title, words);
  480.                                         log.Info(resultInfo);
  481.  
  482.                                         //存数据
  483.                                         File.AppendAllText("result//result.txt", imgInfo.id + "\t" + imgInfo.title + "\t包含违禁词:" + words + "\r\n");
  484.                                         File.AppendAllText("result//result_detail.txt", "-------->\r\n" + resultInfo + ",识别内容" + ocrInfo + "\r\n<--------\r\n");
  485.  
  486.                                         //存图
  487.                                         Cv2.ImWrite("result//img//" + imgInfo.images[j].name + ".jpg", imgInfo.images[j].mat);
  488.                                         imgInfo.images[j].mat.Dispose();
  489.  
  490.                                         Interlocked.Increment(ref vioIDCount);
  491.  
  492.                                         break;
  493.                                     }
  494.  
  495.                                     if (Common.RuleTelCheck(ocrInfo, out words, ocrResult))
  496.                                     {
  497.                                         resultInfo = string.Format("ID:{0},Title:[{1}],------>疑似包含电话号码:{2}", imgInfo.id, imgInfo.title, words);
  498.                                         log.Info(resultInfo);
  499.                                         //File.AppendAllText("result//result.txt", resultInfo+ "\r\n");
  500.                                         File.AppendAllText("result//result.txt", imgInfo.id + "\t" + imgInfo.title + "\t疑似包含电话号码:" + words + "\r\n");
  501.                                         File.AppendAllText("result//result_detail.txt", "-------->\r\n" + resultInfo + ",识别内容" + ocrInfo + "\r\n<--------\r\n");
  502.  
  503.                                         //存图
  504.                                         Cv2.ImWrite("result//img//" + imgInfo.images[j].name + ".jpg", imgInfo.images[j].mat);
  505.                                         imgInfo.images[j].mat.Dispose();
  506.  
  507.                                         Interlocked.Increment(ref vioIDCount);
  508.  
  509.                                         break;
  510.                                     }
  511.                                     imgInfo.images[j].mat.Dispose();
  512.                                     ruleSw.Stop();
  513.                                     //log.Info("  " + imgInfo.images[j].name + "---->违禁词校验用时：" + ruleSw.ElapsedMilliseconds + "毫秒");
  514.                                 }
  515.                             }
  516.                             catch (Exception ex)
  517.                             {
  518.                                 imgInfo.images[j].mat.Dispose();
  519.                                 log.Info("  " + imgInfo.images[j].name + "---->识别异常：" + ex.Message);
  520.                             }
  521.                         }
  522.  
  523.                         perID.Stop();
  524.                         log.Info("---->id:" + imgInfo.id + ",图片张数[" + imagesCount + "],识别小计用时：" + perID.ElapsedMilliseconds + "毫秒");
  525.                         Interlocked.Increment(ref ocrNum);
  526.                         ShowCostTime(totalCount.ToString(), ocrNum.ToString(), downloadCount.ToString(), total.ElapsedMilliseconds, vioIDCount);
  527.  
  528.                     }
  529.                 }
  530.             }, TaskCreationOptions.LongRunning);
  531.         }
  532.  
  533.         /// <summary>
  534.         /// 停止
  535.         /// </summary>
  536.         /// <param name="sender"></param>
  537.         /// <param name="e"></param>
  538.         private void button3_Click(object sender, EventArgs e)
  539.         {
  540.             cts.Cancel();
  541.             btnStop.Enabled = false;
  542.             btnStart.Enabled = true;
  543.  
  544.             chkSaveImg.Enabled = true;
  545.             chkSaveOcr.Enabled = true;
  546.         }
  547.     }
  548. }

下载

源码下载

天天代码码天天
微信公众号
.NET 人工智能实践
注：本文转载自blog.csdn.net的天天代码码天天的文章"https://lw112190.blog.csdn.net/article/details/141086877"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
复制链接
相关推荐
发表评论

评论记录：

未查询到任何数据！