• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

iOS下OpenCV开发用OC还是Swift

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

本文为作者原创,转载请注明出处(http://www.cnblogs.com/mar-q/)by 负赑屃

 

  其实标题中这个问题并不准确,准确的说法应该是iOS下的OpenCV开发是使用OC还是Swift+OC。这个问题纠结了很久,研究了很多例子。先说结论:如果用到的算法规模不大且不熟悉cap_ios.h尽量用Swift+OC。(欢迎高手来打脸)

  iOS下OpenCV开发的例子很多,大家可以直接去GitHub上扒拉,但是Swift还是比较少,先贡献几个能运行的例子:Objective-C(《Instant OpenCV for iOS》的例程,作者是 Alexander Shishkov和 Kirill Kornyakov,OpenCV的活跃分子),Swift(作者是Hiroki Ishiura,一个日本的程序员老哥,饱受秃顶的困扰。。。)16年Joseph Howse出版了一本书《iOS Application Development with OpenCV 3》,算是小白的入门教程吧(目前无中文,正版很贵,而且比较难下到电子书,Google图书里有部分英文电子版),第一章就提高了关于language的选择,由于opencv的核心是用C++写的,Swift不能直接调用C++,需要通过Objective-C作为中间层,所以作者在书中的例程都是基于Objective-C。

一、Objective-C下开发OpenCV的基本流程

  熟悉Android下OpenCV开发的都知道,OpenCV提供了封装好的JavaCameraView和NativeCameraView两个类,连接摄像头时需要通过类实例进行初始化设置(如设置画面帧大小、帧率等信息),在iOS的开发中,OpenCV也提供了cap_ios.h,对摄像头的初始化通过CvVideoCamera类来实现。和Android开发类似,CvVideoCamera也对摄像头的初始化进行了封装。

@interface ViewController : UIViewController<CvVideoCameraDelegate>{
    CvVideoCamera *videoCamera;
}
@property (nonatomic, retain) CvVideoCamera* videoCamera;
@property (weak, nonatomic) IBOutlet UIImageView *imgView;

 

  如代码所示:OC中需要在.h头文件中定义CvVideoCamera,ViewController继承UIViewController,可以看出CvVideoCameraDelegate是一个协议。

@class CvVideoCamera;
@protocol CvVideoCameraDelegate <NSObject>
#ifdef __cplusplus
// delegate method for processing image frames
- (void)processImage:(cv::Mat&)image;
#endif
@end

  通过cap_ios.h可以看出,处理画面帧时只需要重写processImage方法。

- (void)viewDidLoad {
    [super viewDidLoad];
    self.videoCamera = [[CvVideoCamera alloc] initWithParentView:imgView];self.videoCamera.delegate = self;
    self.videoCamera.defaultAVCaptureDevicePosition =
    AVCaptureDevicePositionFront;
    self.videoCamera.defaultAVCaptureSessionPreset =
    AVCaptureSessionPreset640x480;
    self.videoCamera.defaultAVCaptureVideoOrientation =
    AVCaptureVideoOrientationPortrait;
}
- (void)processImage:(cv::Mat&)image{
     cv::cvtColor(image, image, CV_BGR2GRAY);  
}

  在ViewController.m的viewDidLoad方法中对摄像头进行初始化。如需要对画面帧进行处理重写processImage方法即可,有点类似Android中onCameraViewStarted的回调方法(上面代码通过OpenCV中的cv::cvtColor方法,实现了摄像头的灰度模式)。 

二、Swift下开发OpenCV的基本流程

  由于Swift不能直接调用C++,所有对C++的调用需要经过OC来包裹处理,所以Swift使用OpenCV需要和OC进行混编,关于Swift+OC+OpenCV的混编流程大概描述一下:

  1、新建Swift项目;

  2、在Swift项目中新建ObjectiveC文件,后缀为.m的请修改为.mm,此时会提示是否生成bridgeXXX.h的头文件,确认生成;

  3、为.mm文件新建一个头文件,并在生成的bridgeXXX.h中import该头文件;

  4、至此在.mm文件中已经可以调用OpenCV中的方法,如果你需要cpp或者hpp文件,请记住,它们不能和Swift直接交互,必须通过OC作为桥梁。

  由于在Swift代码中无法直接使用CvVideoCamera,初始化摄像头需要通过AVFoundation来实现。

import AVFoundation
class ViewController: UIViewController, AVCaptureVideoDataOutputSampleBufferDelegate {//粗体为AVFoundation中的delegate
    @IBOutlet weak var imageView: UIImageView!
    var session: AVCaptureSession!
    var device: AVCaptureDevice!
    var output: AVCaptureVideoDataOutput!
    override func viewDidLoad() {
        super.viewDidLoad()
        // Prepare a video capturing session.
        self.session = AVCaptureSession()
        self.session.sessionPreset = AVCaptureSessionPreset640x480  
    ……  
  }
……

   如上代码所示,在Swift初始化摄像头的过程中没有用到OpenCV的任何东西。如果需要对画面帧进行处理,需要实现AVCaptureVideoDataOutputSampleBufferDelegate的captureOutput方法,从命名上可以看出这也是一个Delegate(协议),其中有一个captureOutput方法(代码如下),可以在方法内处理捕捉到的实时画面帧。

    func captureOutput(_ captureOutput: AVCaptureOutput!, didOutputSampleBuffer sampleBuffer: CMSampleBuffer!, from connection: AVCaptureConnection!) {
        // 将捕捉到的image buffer 转换成 UIImage.
        guard let buffer: CVPixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else {
            print("could not get a pixel buffer")
            return
        }
        let capturedImage: UIImage
        do {
            CVPixelBufferLockBaseAddress(buffer, CVPixelBufferLockFlags.readOnly)
            defer {
                CVPixelBufferUnlockBaseAddress(buffer, CVPixelBufferLockFlags.readOnly)
            }
            let address = CVPixelBufferGetBaseAddressOfPlane(buffer, 0)
            let bytes = CVPixelBufferGetBytesPerRow(buffer)
            let width = CVPixelBufferGetWidth(buffer)
            let height = CVPixelBufferGetHeight(buffer)
            let color = CGColorSpaceCreateDeviceRGB()
            let bits = 8
            let info = CGBitmapInfo.byteOrder32Little.rawValue | CGImageAlphaInfo.premultipliedFirst.rawValue
            guard let context = CGContext(data: address, width: width, height: height, bitsPerComponent: bits, bytesPerRow: bytes, space: color, bitmapInfo: info) else {
                print("could not create an CGContext")
                return
            }
            guard let image = context.makeImage() else {
                print("could not create an CGImage")
                return
            }
            capturedImage = UIImage(cgImage: image, scale: 1.0, orientation: UIImageOrientation.up)
       //调用你写在.mm文件中的OpenCV方法 } }

 

  代码中的captureOutput方法捕捉到了实时的画面帧,通过提取buffer中的画面帧并将其转换为UIImage,为了实现和OC中同样的灰度画面,需要另外定义一个ViewProcress.mm和ViewProcress.h,通过ViewProcress.mm中的OpenCV方法来处理你捕捉到的UIImage,将其转换为灰度模式。

三、对比

  从代码来看,Swift是在曲线救国,为了验证,我写了一个简单的高斯背景建模方法处理实时画面帧cv::BackgroundSubtractorMOG2,这个方法的实时开销在OpenCV的常用方法中应该仅次于光流法,在两段代码中我都将帧率设置为30FPS。通过实际运行来看,Swift平均帧率达到30FPS,而OC只有15FPS。主要原因有两点:

  1. 并发编程,OC中没用并发,而在Swift中使用了DispatchQueue,这得益于Swift3带来的改变,处理画面帧的时候需要并发,但是不能随便并发,而是要在一个队列中,所以就用到了DispatchQueue,这是Swift下帧率高的主要原因,你可能会说,那我在OC下也用多线程就好了,OK,请看下一个点分析。

  2. OC中的摄像头是通过OpenCV封装的协议来初始化的,高斯背景建模方法直接作用于画面帧(processImage方法已经将实时画面帧转换为Mat,可以直接处理)。而Swift的是直接用AVFoundation初始化摄像头,captureOutput方法获取的是UIImage,需要在.mm文件中先将UIImage转换为Mat再调用高斯背景建模方法,处理完成再返回给UIView。关于帧率的初始化,OpenCV只提供了一个defaultFPS的设置方法,如果帧率超出范围,反而会衰减的更厉害,而在Swift中因为无法直接使用OpenCV提供的方法,所以初始化帧率必须通过AVFoundation的CMTimeMake函数来处理,设置一个最小帧率,当帧率无法满足时系统会自动平衡。这是帧率稳定的主要原因。

  特别提示:注意内存管理!注意内存管理!注意内存管理!重要的事情说三遍。如果你用Swift来写,那么就会涉及Swift、Objective-C、C++。。。内存怎么办。。。有几点建议:一、使用完的mat注意release掉;二、多用vector少用数组;三、非计算尽量面向对象,专用计算尽量静态方法;四、如果可以,除了需要调用的库外,不要用C++,尽量用Objective-C。如果你有更好的办法,请指点。。。

  现在回到开头的结论,其实在OC中也可以使用AVFoundation来初始化摄像头,但是为了偷懒,相信大多数人都会直接用OpenCV自带的方法完成初始化。而OpenCV封装类对Android或iOS的系统是以兼容为主的,效率是其次的,所以如果在实际开发中,不论Android还是iOS,都建议使用系统推荐的方式来调用camera,只有在处理画面帧时才调用OpenCV中的方法。而且随着Swift越来越完善,当然是推荐使用Swift+OC来进行OpenCV下的开发了。 


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
swift-闭包(代码块)发布时间:2022-07-13
下一篇:
Swift中的注释以及表达式发布时间:2022-07-13
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap