Welcome to Sky's Blog!
当你的才华配不上你的理想的时候, 就静下心来好好学习!-
Camera ZSL 拍照
- 什么是ZSL
- 一．Normal mode：
- 二． ZSL Mode：
- Zsl 分为两种mode：single shot；burst mode
- 三．拍照具体实现过程
- 针对API1来说
- 针对API2来说
- 具体的code方式
什么是ZSL
-
ZSL (zero shutter lag)：零秒延迟
-
在日常生活中，使用手机camera拍照的时候往往会有一些延迟的体验。ZSL，就是为了消除这种延迟，提供一种“拍即视”的体验而被开发出来。
一．Normal mode：
- 一般情况下，拍照流程如下，从图中我们可以看到data flow 以及shutter lag （延迟）是如何产生的
二． ZSL Mode：
通过zsl 技术，最大程度上减小了这种延迟，如下图：
Zsl 分为两种mode：single shot；burst mode
- single shot：
预览之后，sensor 和VFE 会产生快照和预览帧，并且会把最新的一些帧保留在图像buffer中。一旦“取图”事件被触发，系统就会在第一时间内从图像buffer中把相关的图像找出并返回给用户，这就是ZSL,零秒延迟。
- burst shot：
Burst mode 是single shot 特征的自然延伸。此功能允许用户捕获的不仅是当前帧，但也有几个帧之前和之后的当前帧的少数几个帧，从而捕捉到一个序列的图像到内存。这将为用户提供不同的快照时间，从中选择一个或多个帧来保存。应用了多少帧的选择自由是多少追溯帧和未来帧在记忆的局限性上，追溯和未来帧是相对于真正的快门时间的。
三．拍照具体实现过程
-
Implementation without ZSL：
-
Implementation with ZSL：
参考链接:
http://blog.chinaunix.net/uid-7213935-id-5753468.html https://blog.csdn.net/kris_fei/article/details/77057473
一篇关于摄像头基础部分的文章:高通Camera架构
https://www.cnblogs.com/whw19818/p/5853407.html
——————————————下面说下Code的方式—————————————————-
针对API1来说
- 高通会提供关于ZSL的patch给厂商. 厂商通过设置
setZSLMode默认是隐藏的方法. 具体对于队列的维护 放在了Framework层去处理
针对API2来说
-
Goolge建议对于缓存队列的处理放在App 层来处理 具体可以参考如下的链接 Camera2 ZSL
这里要注意的是需要设置模板
TEMPLATE_ZERO_SHUTTER_LAG来通知HAL切换模板
具体的code方式
- 创建Session的方式
createReprocessableCaptureSessionByConfigurationscamera.createReprocessableCaptureSessionByConfigurations(inputConfiguration, outputs,sessionListener, handler); - 设置
InputConfiguration, 还有ImageWriteInputConfiguration inputConfiguration = new InputConfiguration Size.width(), Size.height(), ImageFormat.YUV_420_888; - 创建新的ImageReader来配置和InputConfiguration一样的参数
ImageReader mZslImageReader = new ImageReader(Size.width(), Size.height(), ImageFormat.PRIVATE); - 把zslIamgereader传入setRepeatingBurst, 这样就可以获取这个流了
CaptureRequest.Builder reqBuilder = cameraDevice.createCaptureRequest(templateType); reqBuilder.addTarget(mZslImageReader.getSurface); mCaptureSession.setRepeatingBurst(reqBuilder....); - 设置ZslImageReader的callback. onImageAvailable 可用的时候放入对列
private final LinkedBlockingQueue<Image> mQueue = new LinkedBlockingQueue<Image>(); mQueue.add(Image) - 设置ImageWriter
这个surface其实就是设置inputconfig的时候底层创建的surface ImageWriter mImageWriter = ImageWriter.newInstance(session.getInputSurface(), 2); - 把LinkedBlockingQueue里面的image送给下面去重新操作, 同时把result也放入进去
mImageWriter.queueInputImage(mQueue.getImage());//伪代码 captureRequestBuilder = mCameraDevice. createReprocessCaptureRequest(mQueue.getResult()); - 重新去拍照, 用图片的ImageReader
captureRequestBuilder.addTarget(mCaptureImageReader.getSurface()); mCaptureSession.capture(captureRequestBuilder.build(), captureRequestCallback, mCameraDeviceHandler.getDeviceThreadHandler());
我整理了一张图片大致流程是这样的
-
Camera API1 - API2
API 概述
Android5.0之后，增加了Cameraapi2接口，api2和api1在调用流程上差异很大，功能上api2提供了更加细致的控制功能，api1子系统被设计为具备高级控制功能的黑盒，能够发出请求，但无法控制图像的缓冲区和元数据，无法再帧层面控制传感器的特性，无法通过访问和修改元数据信息（如3A信息）对捕获的帧应用任何增强功能，重新设计api2旨在大幅提高应用程序控制摄像头子系统的能力，性能也有一定的提升。
API1 和 API2的流程对比
- 从图中可以看出在API1中java-> jni -> camera service -> Hal, 但是在API2中 java -> camera service -> Hal 为什么呢? 这个地方我们可以单独放在后面讲 就是说java不通过jni可以直接和c++通信. 类似aidl的方式, 链接在下面 https://android.googlesource.com/platform/system/tools/aidl/+/brillo-m10-dev/docs/aidl-cpp.md
Java 层代码比较
Camera API1 主要类
- Camera api1调用流程比较直观，也利于理解一些，应用程序实例化camera这一个类就可以控制摄像头子系统
- Camera，api1主要类。通过类的这些startPreview、takePicture、AutoFocus等标准的接口实现
- Parameters，参数设置，通过camera内部类Parameters操作实现，如设置帧率，设置图片格式，预览尺寸等
- CameraInfo，元数据获取，通过camera内部类CameraInfo实现，这里只能获取不能修改
- Camera API2 主要类
- Camera api2在应用层的调用要复杂一些，定义的类也比较多，这也说明对摄像头子系统控制的更加细腻了
- CameraManager：摄像头管理器。这是一个全新的系统管理器，专门用于检测系统摄像头、打开系统摄像头。除此之外，调用CameraManager的getCameraCharacteristics(String)方法即可获取指定摄像头的相关特性
- CameraCharacteristics：摄像头特性。该对象通过CameraManager来获取，用于描述特定摄像头所支持的各种特性
- CameraDevice：代表系统摄像头。该类的功能类似于早期的Camera类
- CameraCaptureSession：这是一个非常重要的API，当程序需要预览、拍照时，都需要先通过该类的实例创建Session。而且不管预览还是拍照， 也都是由该对象的方法进行控制的，其中控制预览的方法为setRepeatingRequest()；控制拍照的方法为capture()
- 应用程序对整个摄像头管道的控制能力得到提升。每个拍摄请求会产生一个带有拍摄元数据的结果对象和一些图像数据缓 冲区
FW代码
后续分析
-
Mac 下的剪切操作
问题(Mac 下怎么剪切)?
- Windows下为: Ctrl+x
- Mac下是否为: Cmd+x （答案是否定的）
Mac 下的剪切方式
- 首先
Command+C复制文件 - 然后
Command＋Option＋V剪切文件
Mac快捷键大全