C#实现基于ffmpeg加虹软的人脸识别的示例

2019-12-30 18:23:26丽君

位图数据获取到了,就可以进行识别处理了,高高兴兴的加上了识别逻辑,但是现实总是充满了意外和惊喜,没错,坑又来了。没有加入识别逻辑的时候,捕获到的图像在PictureBox上显示非常正常,清晰、流畅,加上识别逻辑后,开始出现花屏(捕获到的图像花屏)、拖影、显示延迟(至少会延迟10-20秒以上)、程序卡顿,总之就是各种问题。最开始,我的识别逻辑写到DataReceived方法里面的,这个方法是运行于主线程外的另一个线程中的,其实按道理将,捕获、识别、显示位于一个线程中,应该是不会出现问题,我估计(不确定,没有去深入研究,如果谁知道实际原因,可以留言告诉我),是因为ffmpeg的原因,因为ffmpeg是单独的一个进程在跑,他的数据捕获是持续在进行的,而识别模块的处理时间大于每一帧的采集时间,所以,缓冲区中的数据没有得到及时处理,ffmpeg接收到的部分图像数据(大于32768的数据)被丢弃了,然后就出现了各种问题。最后,又是一次耗时不短的探索之旅。


private void Render()
{
  while (_renderRunning)
  {
    if (_image == null)
      continue;

    Bitmap image;

    lock (_imageLock)
    {
      image = (Bitmap) _image.Clone();
    }

    if (_shouldShot){
      WriteFeature(image);
      _shouldShot = false;
    }

    Verify(image);

    if (videoImage.InvokeRequired)
      videoImage.Invoke(new Action(() => { videoImage.Image = image; }));
    else
      videoImage.Image = image;
  }
}

如上代码所述,我单独开了一个线程,用于图像的识别处理和显示,每次都从已捕获到的图像中克隆出新的Bitmap实例进行处理。这种方式的缺点在于,有可能会导致丢帧的现象,因为上面说到了,识别时间(如果检测到新的人脸,那么加上匹配,大约需要130ms左右)大于每帧时间,但是并不影响识别效果和需求的实现,基本丢弃的帧可以忽律。最后,运行,稳定了、完美了,实际也感觉不到丢帧。

Demo程序,我运行了大约4天左右,中间没有出现过任何异常和识别错误。

写在最后

虽然虹软官方表示,免费识别库适用于1000人脸库以下的识别,实际上,做一定的工作(工作量其实也不小),也是可以实现较大规模的人脸搜索滴。例如,采用多线程进行匹配,如果人脸库人脸数量大于1000,则可以考虑每个线程分别进行处理,人脸特征数据做缓存(一个人脸的特征数据是22KB,对内存要求较高),以提升程序的识别搜索效率。或者人脸库特别大的情况下,可以采用分布式处理,人脸特征加载到Redis数据库当中,多个进程多个线程读取处理,每个线程上传自己的识别结果,然后主进程做结果合并判断工作,主要的挑战就在于多线程的工作分配一致性和对单点故障的容错性。