[关闭]
@ltlovezh 2020-05-24T07:21:58.000000Z 字数 6812 阅读 86

SurfaceTexture剖析

图形系统


SurfaceTexture是离屏渲染和TextureView的核心,内部包含了一个BufferQueue,可以把Surface生成的图像流,转换为纹理,供业务方进一步加工使用。整个架构如下图所示:
SurfaceTexture.png

  1. 首先,通过Canvas、OpenGL、Camera或者Video Decoder生成图像流。
  2. 接着,图像流通过Surface入队到BufferQueue,并通知到GLConsumer。
  3. 然后,GLConsumer从BufferQueue获取图像流GraphicBuffer,并转换为纹理。
  4. 最后,业务方可以对纹理进一步处理,例如:上特效或者上屏。

下面我们分别看下SurfaceTexture初始化以及图像数据在SurfaceTexture内部的流转。

SurfaceTexture初始化

new SurfaceTexture(textureId)启动SurfaceTexture初始化,核心逻辑如下所示:
SurfaceTexture初始化
SurfaceTexture_init是SurfaceTexture初始化的核心代码,如下所示:

  1. static void SurfaceTexture_init(JNIEnv* env, jobject thiz, jboolean isDetached, jint texName, jboolean singleBufferMode, jobject weakThiz)
  2. {
  3. // 创建BufferQueueCore、BufferQueueProducer、BufferQueueConsumer
  4. sp<IGraphicBufferProducer> producer;
  5. sp<IGraphicBufferConsumer> consumer;
  6. BufferQueue::createBufferQueue(&producer, &consumer);
  7. if (singleBufferMode) { // 单缓冲
  8. consumer->setMaxBufferCount(1); // 双缓冲、三缓冲就是指这里
  9. }
  10. // Java层的SurfaceTexture,实际对应Native层GLConsumer
  11. sp<GLConsumer> surfaceTexture;
  12. if (isDetached) {
  13. surfaceTexture = new GLConsumer(consumer,GL_TEXTURE_EXTERNAL_OES,true,!singleBufferMode);
  14. } else {
  15. surfaceTexture = new GLConsumer(consumer,texName,GL_TEXTURE_EXTERNAL_OES,true,!singleBufferMode);
  16. }
  17. // If the current context is protected, inform the producer.
  18. if (isProtectedContext()) {
  19. consumer->setConsumerUsageBits(GRALLOC_USAGE_PROTECTED);
  20. }
  21. // 为Java层SurfaceTexture.mSurfaceTexture设置GLConsumer对象地址
  22. SurfaceTexture_setSurfaceTexture(env, thiz, surfaceTexture);
  23. // 为Java层SurfaceTexture.mProducer设置producer对象地址
  24. SurfaceTexture_setProducer(env, thiz, producer);
  25. // SurfaceTexture jclass
  26. jclass clazz = env->GetObjectClass(thiz);
  27. // weakThiz表示Java层SurfaceTexture对象的弱引用,JNISurfaceTextureContext是JNI封装类,负责回调Java层SurfaceTexture.postEventFromNative方法
  28. sp<JNISurfaceTextureContext> ctx(new JNISurfaceTextureContext(env, weakThiz, clazz));
  29. // 为GLConsumer设置回调(回调到java层)
  30. surfaceTexture->setFrameAvailableListener(ctx);
  31. // 为Java层SurfaceTexture.mFrameAvailableListener设置ctx的对象地址
  32. SurfaceTexture_setFrameAvailableListener(env, thiz, ctx);
  33. }

SurfaceTexture初始化后,向GLConsumer设置了JNISurfaceTextureContext监听器,该监听器会回调到Java层SurfaceTexture.postEventFromNative方法,进一步回调到注册到SurfaceTexture中的OnFrameAvailableListener监听器,用于通知业务层有新的GraphicBuffer入队了。如果业务层对最新的GraphicBuffer感兴趣,则调用updateTexImageGraphicBuffer更新到纹理,否则啥也不做,忽略一些图形数据。

GLConsumer是BufferQueue的直接消费者,负责把GraphicBuffer转化为纹理。然后通过监听类wp<FrameAvailableListener> mFrameAvailableListener通知间接消费者消费纹理。
当间接消费者是SurfaceFlinger时,监听类为Layer,Layer进一步通知SurfaceFlinger去合成所有Layer,然后上屏。
当间接消费者是SurfaceTexture时,监听类为JNISurfaceTextureContext,用于通知Java层新的图像数据可用了。

SurfaceTexture图像数据流转

这块主要看下生产者Surface的创建,业务层收到帧可用通知以及更新目标纹理的流程。

基于SurfaceTexture创建生产者Surface

基于纹理ID创建SurfaceTexture后,一般会创建Surface,此时Surface是生产者,SurfaceTexture(Native层对应GLConsumer)是消费者。消费者负责把从BufferQueue中获取的GraphicBuffer转换为纹理,然后业务层可以对纹理进一步处理,例如:上特效或者上屏。

作为生产者的Surface通过BufferQueueProducer,向BufferQueue写GraphicBuffer;作为消费者的GLConsumer通过BufferQueueConsumer,从BufferQueue读GraphicBuffer。

根据SurfaceTexture创建Surface的核心逻辑在Native层:根据SurfaceTexture持有的BufferqueueProducer创建一个Surface对象,并把该对象的地址绑定到Java层Surface.mNativeObject变量。核心代码如下所示:

  1. // 基于SurfaceTexture创建Surface
  2. public Surface(SurfaceTexture surfaceTexture) {
  3. synchronized (mLock) {
  4. mName = surfaceTexture.toString();
  5. // 保存Native层Surface对象地址
  6. setNativeObjectLocked(nativeCreateFromSurfaceTexture(surfaceTexture));
  7. }
  8. }
  9. // 根据SurfaceTexture持有的BufferqueueProducer创建Surface,并返回对象地址
  10. static jlong nativeCreateFromSurfaceTexture(JNIEnv* env, jclass clazz, jobject surfaceTextureObj) {
  11. // 从Java层surfaceTexture.mProducer中获取BufferqueueProducer的对象地址,并创建BufferqueueProducer。
  12. sp<IGraphicBufferProducer> producer(SurfaceTexture_getProducer(env, surfaceTextureObj));
  13. // 基于BufferqueueProducer,创建Native Surface对象
  14. sp<Surface> surface(new Surface(producer, true));
  15. // 返回Surface对象地址
  16. surface->incStrong(&sRefBaseOwner);
  17. return jlong(surface.get());
  18. }

可见,创建Native层Surface对象,BufferqueueProducer参数是必须的,它负责从BufferQueue中出队和入队GraphicBuffer

创建好Surface后,就可以通过多种方式向Surface绘制图像数据了,例如:Canvas绘制、Camera输出、视频解码器渲染和OpenGL渲染。

下面,我们分两步看下图形数据是怎么更新到目标纹理的?

业务层收到帧可用通知

这里,我们以Canvas绘制为例,看下业务层收到帧可用回调流程,如下所示:
SurfaceTexture帧回调
Java层Surface调用unlockCanvasAndPost方法后,Native层Surface通过BufferqueueProducer把GraphicBuffer入队到BufferQueue,同时通过BufferQueueCore的sp<IConsumerListener> mConsumerListener(实现类为BufferQueue::ProxyConsumerListener)监听器通知消费者,然后一步步通知到Java层为SurfaceTexture设置的OnFrameAvailableListener监听器。

业务层主动更新目标纹理

Java层OnFrameAvailableListener监听器收到回调后,需要从OpenGL线程调用updateTexImageGraphicBuffer更新到纹理。这里的纹理就是我们创建SurfaceTexture时传入的纹理ID,整个更新流程如下所示:
SurfaceTexture-updateTexImage

OnFrameAvailableListener.onFrameAvailable回调可以发生在任意线程,所以不能在回调中直接调用updateTexImage,而是必须切换到OpenGL线程调用。因为updateTexImage调用链涉及到OpenGL操作,所以必须在GL线程。

核心代码是GLConsumer::updateTexImage

简单来说,通过updateTexImage,我们把最新的图形数据更新到了纹理,至于如何使用纹理,就是业务层的事情了。

基于GraphicBuffer更新OES纹理

上面讲到,updateTexImage方法最终会把GraphicBuffer更新到目标纹理,实际是通过EglImageEGLImageKHR实现的,这里我们看下在Android平台上使用EGLImageKHR的方式:

  1. 纹理目标需要从GL_TEXTURE_2D替换为GL_TEXTURE_EXTERNAL_OES,例如:glBindTexture、glTexParameteri等函数。

  2. 片元着色器中,声明OES扩展:#extension GL_OES_EGL_image_external : require。同时,使用samplerExternalOES替代sampler2D纹理类型。

  3. 基于GraphicBuffer图形数据,通过eglCreateImageKHR创建EGLImageKHR

    GraphicBuffer可以从BufferQueue中获取,也可以lock后获取内存地址,写入图形数据,具体可参考GraphicBuffer.cpp

  4. 通过glEGLImageTargetTexture2DOESEGLImageKHR填充为纹理数据

    glEGLImageTargetTexture2DOES(GL_TEXTURE_EXTERNAL_OES, static_cast(EGLImageKHR));

  5. 最后,使用eglDestroyImageKHR销毁EGLImageKHR

创建和销毁EGLImageKHR的函数原型如下所示:

  1. // 创建EGLImageKHR,在Android平台上,ctx可以是EGL_NO_CONTEXT,target是EGL_NATIVE_BUFFER_ANDROID,buffer是由GraphicBuffer创建来的。
  2. EGLImageKHR eglCreateImageKHR(EGLDisplay dpy, EGLContext ctx, EGLenum target, EGLClientBuffer buffer, const EGLint *attrib_list)
  3. // 销毁EGLImageKHR
  4. EGLBoolean eglDestroyImageKHR(EGLDisplay dpy, EGLImageKHR image)

具体使用方式可参考GLConsumer::EglImage::createImage

GLConsumer内部封装了EglImage类,负责GraphicBufferEGLImageKHR和OES纹理的处理逻辑,核心代码如下所示:

  1. // EglImage根据GraphicBuffer创建EGLImageKHR,然后使用EGLImageKHR更新纹理,是GLConsumer中负责把从BufferQueue获取的GraphicBuffer,转换为纹理的工具类。
  2. class EglImage : public LightRefBase<EglImage>{
  3. public:
  4. // 唯一的构造函数,接收一个GraphicBuffer参数
  5. EglImage(sp<GraphicBuffer> graphicBuffer);
  6. // 如果参数发生变更,则调用createImage创建内部的EGLImageKHR
  7. status_t createIfNeeded(EGLDisplay display, const Rect& cropRect, bool forceCreate = false);
  8. // 把EGLImageKHR绑定的GraphicBuffer图形数据上传到目标纹理
  9. void bindToTextureTarget(uint32_t texTarget){
  10. glEGLImageTargetTexture2DOES(texTarget, static_cast<GLeglImageOES>(mEglImage));
  11. }
  12. private:
  13. // 创建内部的EGLImageKHR
  14. EGLImageKHR createImage(EGLDisplay dpy, const sp<GraphicBuffer>& graphicBuffer, const Rect& crop);
  15. // 用于创建EGLImageKHR的GraphicBuffer
  16. sp<GraphicBuffer> mGraphicBuffer;
  17. // 根据GraphicBuffer创建的EGLImageKHR
  18. EGLImageKHR mEglImage;
  19. // 创建EGLImageKHR需要的参数
  20. EGLDisplay mEglDisplay;
  21. // 创建EGLImageKHR时,使用的裁剪区域
  22. Rect mCropRect;
  23. }

总结

SurfaceTexture提供了一种把图像流转换为纹理的能力,至于图像流从哪来、目标纹理是哪个,它并不关心。SurfaceTexture是离屏渲染的核心,例如:我们可以把SurfaceTexture设置给Camera接收摄像头图像数据,并转换为OES纹理,然后可以利用OpenGL对OES纹理做进一步特效处理,最后上屏或者录制成视频。所以,理解SurfaceTexture底层原理有助于业务层开发和问题排查,希望本文对有心人有所帮助。

参考文档

  1. Using GL_OES_EGL_image_external on Android
  2. EGL_KHR_image_base.txt
添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注