完美世界国际版下载,重生之毒妃梅果小说

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案

鴻蒙開(kāi)源全場(chǎng)景應(yīng)用開(kāi)發(fā)—視頻渲染

想了解更多內(nèi)容，請(qǐng)?jiān)L問(wèn)：
我們提供的服務(wù)有：網(wǎng)站設(shè)計(jì)制作、做網(wǎng)站、微信公眾號(hào)開(kāi)發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、云州ssl等。為上1000+企事業(yè)單位解決了網(wǎng)站和推廣的問(wèn)題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的云州網(wǎng)站制作公司
和華為官方合作共建的鴻蒙技術(shù)社區(qū)
https://harmonyos.

背景

上期內(nèi)容提到過(guò)，已開(kāi)發(fā)的家庭合影美顏相機(jī)應(yīng)用是同時(shí)基于鴻蒙和安卓設(shè)備的，我們將對(duì)其4個(gè)功能模塊即視頻編解碼、視頻渲染、通訊協(xié)議和美顏濾鏡進(jìn)行拆分講解。上一期內(nèi)容中，我們對(duì)視頻編解碼模塊的實(shí)現(xiàn)原理進(jìn)行了解析。本期將繼續(xù)為大家講解視頻渲染模塊，并解析鴻蒙視頻渲染相關(guān)類之間的關(guān)系。相關(guān)代碼已經(jīng)開(kāi)源到Gitee(https://gitee.com/isrc_ohos/cameraharmony )，歡迎各位下載使用并提出寶貴意見(jiàn)!

家庭合影美顏相機(jī)應(yīng)用效果回顧

先來(lái)帶家一起回顧下上期內(nèi)容講解的家庭合影美顏相機(jī)應(yīng)用。此應(yīng)用能夠?qū)Ⅷ櫭纱笃僚臄z的視頻數(shù)據(jù)實(shí)時(shí)傳輸?shù)桨沧渴謾C(jī)上;并在安卓端為其添加濾鏡，再將處理后的視頻數(shù)據(jù)傳回到鴻蒙大屏進(jìn)行渲染顯示，從而實(shí)現(xiàn)鴻蒙大屏美顏拍照的功能，其流程可以參考圖1,其數(shù)據(jù)流向圖可以參考圖2：

圖1 家庭合影美顏相機(jī)應(yīng)用的效果示意圖

圖2 美顏相機(jī)應(yīng)用視頻數(shù)據(jù)流向圖

應(yīng)用運(yùn)行后的動(dòng)態(tài)場(chǎng)景效果可以參考圖3，圖中下方豎屏顯示的是安卓手機(jī)，上方橫屏顯示的是鴻蒙手機(jī)(由于實(shí)驗(yàn)環(huán)境缺少搭載鴻蒙系統(tǒng)的大屏設(shè)備，因此我們使用鴻蒙手機(jī)替代大屏設(shè)備模擬實(shí)驗(yàn)場(chǎng)景 )，其顯示的是視頻解碼后渲染的效果。

圖3 應(yīng)用運(yùn)行效果圖

SurfaceProvider視頻渲染解析

在鴻蒙中，SurfaceProvider是專門用于繪制圖像視圖的組件，作為基本組件之一，它通常被用于需要快速繪制圖像的地方，如播放視頻的情況。下面為大家講解在完成視頻編解碼處理后，通過(guò)鴻蒙SurfaceProvider完成視頻渲染顯示的具體實(shí)現(xiàn)原理。共分為如下6個(gè)步驟：

步驟1. 聲明SurfaceProvider類對(duì)象。

步驟2. 設(shè)置SurfaceProvider屬性并添加在頁(yè)面整體布局中。

步驟3. 解碼類VDDecoder繼承 SurfaceOps.Callback接口類。

步驟4. 獲取SurfaceOps并設(shè)置回調(diào)。

步驟5. 重寫(xiě)SurfaceCreated()方法，獲取當(dāng)前Surface。

步驟6. 渲染視頻數(shù)據(jù)。

(1)聲明SurfaceProvider類對(duì)象

在進(jìn)行視頻渲染之前，需要聲明用于渲染視頻的SurfaceProvider類對(duì)象。

 
 
 
 
  
  
  
  private SurfaceProvider surfaceview;// SurfaceProvider用于顯示解碼后的視頻

(2)設(shè)置SurfaceProvider屬性并添加在頁(yè)面整體布局中

實(shí)例化SurfaceProvider類對(duì)象并設(shè)置相關(guān)屬性。先使用setWidth()和setHeight()方法設(shè)置大小;pinToZTop()方法使surfaceview置于屏幕布局最頂層顯示。由于可能會(huì)出現(xiàn)待渲染視頻數(shù)據(jù)本身是橫屏而屏幕為豎屏顯示，或待渲染視頻數(shù)據(jù)本身是豎屏而屏幕為橫屏顯示等不匹配的情況，因此需要使用setRotation()方法調(diào)整屏幕參數(shù)，使得屏幕顯示方向與視頻數(shù)據(jù)方向相符，其中，屏幕參數(shù)0-180度為橫屏顯示，90-270度為豎屏顯示，本應(yīng)用中原始視頻數(shù)據(jù)是橫屏的所以此處需要將屏幕參數(shù)設(shè)置為180度。接著最主要的是，需要通過(guò)getSurfaceOps().get().addCallback()方法設(shè)置回調(diào)，這樣可以通過(guò)回調(diào)將SurfaceProvider和設(shè)備相機(jī)相關(guān)聯(lián)。

 
 
 
 
  
  
  
  surfaceview1 = new SurfaceProvider(this);  // 實(shí)例化類對(duì)象   
  
  
  surfaceview1.setWidth(400);  // 設(shè)置 SurfaceProvider 大小   
  
  
     
  
  
  surfaceview1.setHeight(300);   
  
  
  surfaceview1.getSurfaceOps().get().addCallback(callback);// 設(shè)置回調(diào)   
  
  
  surfaceview1.pinToZTop(true);   
  
  
  surfaceview1.setRotation(180);  // 設(shè)置屏幕旋轉(zhuǎn)角度

通過(guò)Layout的addComponent()方法將SurfaceProvider添加到整體布局中。

 
 
 
 
  
  
  
  myLayout.addComponent(surfaceview);   // 添加到布局中

(3)解碼類VDDecoder繼承SurfaceOps.Callback類

SurfaceOps.Callback提供了SurfaceProvider被創(chuàng)建、銷毀或者改變時(shí)的回調(diào)通知。由于進(jìn)行視頻渲染的階段是在完成視頻編解碼處理之后，因此解碼類VDDecoder需要繼承SurfaceOps.Callback類，即為SurfaceOps提供一個(gè)回調(diào)接口。其中需要全局聲明Surface和SurfaceOps類對(duì)象并重寫(xiě)SurfaceCreated()、SurfaceDestroyed()和SurfaceDestroyed()方法。

 
 
 
 
  
  
  
  public class VDDecoder implements SurfaceOps.Callback {   
  
  
     private SurfaceOps holder;// 全局聲明SurfaceOps和SurfaceOps類對(duì)象   
  
  
     private Surface mSurface;   
  
  
     ...   
  
  
     @Override  // 重寫(xiě) SurfaceProvider被創(chuàng)建時(shí)的回調(diào)   
  
  
     public void surfaceCreated(SurfaceOps holder) {   
  
  
        ...   
  
  
  }   
  
  
     @Override  // 重寫(xiě)SurfaceProvider被改變時(shí)的回調(diào)   
  
  
     public void surfaceChanged(SurfaceOps holder, int format, int width, int height) {   
  
  
       ...   
  
  
  }   
  
  
     @Override  // 重寫(xiě)SurfaceProvider被銷毀時(shí)的回調(diào)   
  
  
     public void surfaceDestroyed(SurfaceOps holder) {   
  
  
       ...   
  
  
      }   
  
  
  }

(4)獲取SurfaceOps并設(shè)置回調(diào)

在實(shí)例化解碼類對(duì)象時(shí)，將用于渲染編解碼后視頻的surfaceview作為參數(shù)傳入。

 
 
 
 
  
  
  
  vdDecoder = new VDDecoder(surfaceview);// 創(chuàng)建解碼類對(duì)象，并使用surfaceview顯示解碼后的視頻

在解碼類VDDecoder構(gòu)造函數(shù)中設(shè)置SurfaceProvider，調(diào)用SurfaceProvider類的getSurfaceOps().get()方法獲取surfaceview的SurfaceOps;通過(guò)SurfaceOps類對(duì)象holder調(diào)用addCallback()方法設(shè)置回調(diào);再調(diào)用setKeepScreenOn()方法，將參數(shù)設(shè)為true，來(lái)實(shí)現(xiàn)使屏幕一直顯示不會(huì)自動(dòng)關(guān)閉的效果。

 
 
 
 
  
  
  
  public VDDecoder(SurfaceProvider playerView) {   
  
  
      // 設(shè)置 SurfaceProvider，即使用 surfaceview播放解碼后的視頻   
  
  
      this.holder = surfaceview.getSurfaceOps().get();   
  
  
      holder.addCallback(this);// 設(shè)置回調(diào)   
  
  
      // 設(shè)置該組件讓屏幕不會(huì)自動(dòng)關(guān)閉   
  
  
      holder.setKeepScreenOn(true);   
  
  
      ...   
  
  
  }

(5)重寫(xiě)SurfaceCreated()方法，獲取當(dāng)前Surface

surfaceCreated()和surfaceDestroyed()是渲染處理的邊界，分別代表SurfaceProvider的創(chuàng)建和銷毀，正式的渲染操作必須在SurfaceProvider被創(chuàng)建后才能進(jìn)行。重寫(xiě)surfaceCreated()方法創(chuàng)建SurfaceProvider，將創(chuàng)建狀態(tài)isSurfaceCreated變量設(shè)置為true，表示已創(chuàng)建;通過(guò)SurfaceOps類對(duì)象holder調(diào)用getSurface()方法獲得當(dāng)前Surface到類對(duì)象mSurface中，以便后續(xù)將視頻數(shù)據(jù)通過(guò)mSurface渲染到界面上。

 
 
 
 
  
  
  
  @Override  // 重寫(xiě) SurfaceProvider被創(chuàng)建時(shí)的回調(diào)   
  
  
  public void surfaceCreated(SurfaceOps holder) {   
  
  
      isSurfaceCreated = true;  // 設(shè)置創(chuàng)建狀態(tài)為已創(chuàng)建   
  
  
      mSurface = holder.getSurface();  // 獲得當(dāng)前Surface   
  
  
      ...   
  
  
  }

(6)渲染視頻數(shù)據(jù)

在編解碼類的監(jiān)聽(tīng)事件decoderlistener中，獲取編解碼后的數(shù)據(jù)準(zhǔn)備渲染。由于得到的相機(jī)圖像數(shù)據(jù)是逆時(shí)針旋轉(zhuǎn)90度的，此時(shí)如果直接進(jìn)行渲染，顯示的也會(huì)是逆時(shí)針旋轉(zhuǎn)的效果，因此為了得到正常的顯示畫(huà)面，需要對(duì)圖像參數(shù)進(jìn)行調(diào)整，調(diào)用rotateNV21()方法對(duì)視頻畫(huà)面進(jìn)行順時(shí)針旋轉(zhuǎn)90度，并將旋轉(zhuǎn)后的數(shù)據(jù)存放在byte數(shù)組rotate_bytes中。

通過(guò)Surface類對(duì)象mSurface調(diào)用showRawImage()方法對(duì)旋轉(zhuǎn)后的視頻數(shù)據(jù)進(jìn)行渲染。此方法第一個(gè)參數(shù)表示待渲染數(shù)據(jù)的byte數(shù)組;第二個(gè)表示待渲染數(shù)據(jù)的格式，由于此Demo中編解碼的是攝像頭直接獲取的數(shù)據(jù)，所以格式是NV21即YUV420_SP;第三和第四個(gè)參數(shù)分別表示渲染畫(huà)面的寬和高。

 
 
 
 
  
  
  
  private Codec.ICodecListener decoderlistener = new Codec.ICodecListener() {   
  
  
      // 用于監(jiān)聽(tīng)解碼器，獲取解碼完成后的數(shù)據(jù)   
  
  
      @Override   
  
  
      public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int i) {   
  
  
          ...   
  
  
          // 將解碼后的 NV21(YUV420SP) 數(shù)據(jù) bytes 順時(shí)針旋轉(zhuǎn) 90 度，并通過(guò) Surface 顯示   
  
  
          rotateNV21(bytes, rotate_bytes, 640, 480, 90);// 旋轉(zhuǎn)后的數(shù)據(jù)用 rotate_bytes 存放   
  
  
          // 渲染旋轉(zhuǎn)后的數(shù)據(jù) rotate_bytes 通過(guò)mSurface顯示出來(lái)，第二個(gè)參數(shù)是待渲染的數(shù)據(jù)格式即YUV420SP   
  
  
          mSurface.showRawImage(rotate_bytes, Surface.PixelFormat.PIXEL_FORMAT_YCRCB_420_SP,640, 480);   
  
  
      }   
  
  
      ...   
  
  
  };

之后運(yùn)行并點(diǎn)擊“開(kāi)始編解碼”按鈕即可得到上述圖1中展示的將編解碼后的視頻數(shù)據(jù)渲染在surfaceview中的效果。

Surface、SurfaceOps與SurfaceProvider的關(guān)系

經(jīng)過(guò)上述講解，相信大家已經(jīng)能夠在鴻蒙中正確使用SurfaceProvider來(lái)進(jìn)行視頻渲染了。熟悉安卓的讀者可能已經(jīng)發(fā)現(xiàn)，鴻蒙SurfaceProvider用法和安卓Surface用法有異曲同工之妙。為了方便理解，可以將鴻蒙中的SurfaceProvider、Surface和SurfaceOps分別與安卓中的SurfaceView、Surface、和SurfaceHolder對(duì)照查看，其原理類似。下面將為大家解析在鴻蒙中這三個(gè)視頻渲染類之間的關(guān)系。

圖4 SurfaceProvider、Surface、SurfaceOps關(guān)系示意圖

1.Surface與SurfaceProvider關(guān)系

Surface與SurfaceProvider之間的關(guān)系如圖2所示。在鴻蒙中，每個(gè)窗口會(huì)對(duì)應(yīng)一個(gè)SurfaceProvider，每個(gè)Surface會(huì)對(duì)應(yīng)一塊屏幕緩沖區(qū)，而SurfaceProvider的作用是處理屏幕緩沖區(qū)中的視頻數(shù)據(jù)，并使用該數(shù)據(jù)在屏幕上繪圖。也就是說(shuō)，Surfac負(fù)責(zé)對(duì)視頻數(shù)據(jù)進(jìn)行管理;eSurfaceProvider負(fù)責(zé)對(duì)視頻數(shù)據(jù)進(jìn)行展示，Surface需要通過(guò)SurfaceProvider才能展示其中的內(nèi)容并控制視圖的位置和尺寸。

2.SurfaceOps與SurfaceProvider關(guān)系

SurfaceOps是一個(gè)接口，其作用類似于一個(gè)關(guān)于Surface的監(jiān)聽(tīng)器，能夠訪問(wèn)SurfaceProvider對(duì)應(yīng)的Surface并調(diào)用Surface中的相關(guān)方法。并通過(guò)三個(gè)回調(diào)方法，及時(shí)捕捉Surface的狀態(tài)如創(chuàng)建、銷毀或者改變。

獲取SurfaceOps的方式是：調(diào)用SurfaceProvider類中g(shù)etSurfaceOps()方法，得到元素類型為SurfaceOps的Optional容器，再通過(guò)get()方法從容器中取出SurfaceOps類對(duì)象并返回。在成功調(diào)用并得到返回值之后，就可以通過(guò)返回的SurfaceOps類對(duì)象調(diào)用addCallback()方法為Surface設(shè)置回調(diào)：

 
 
 
 
  
  
  
  void addCallback(SurfaceOps.Callback var1);// 設(shè)置SurfaceOps回調(diào)

圖2中顯示，在Surface與SurfaceProvider之間還存在一個(gè)SurfaceOps.Callback類，SurfaceOps的回調(diào)就是通過(guò)內(nèi)部子接口SurfaceOps.Callback實(shí)現(xiàn)的，其有三個(gè)回調(diào)方法：

surfaceCreated()：當(dāng)SurfaceProvider發(fā)生結(jié)構(gòu)性的變化如格式或大小改變時(shí)，調(diào)用此方法。
surfaceChanged()：當(dāng)SurfaceProvide被創(chuàng)建時(shí)，調(diào)用此方法。
surfaceDestroyed()：當(dāng)SurfaceProvider在要被銷毀時(shí)，立即調(diào)用此方法。

 
 
 
 
  
  
  
  public interface Callback {  // 內(nèi)部子接口CallBack   
  
  
      void surfaceCreated(SurfaceOps var1);// SurfaceProvider被創(chuàng)建時(shí)   
  
  
      void surfaceChanged(SurfaceOps var1, int var2, int var3, int var4);// SurfaceProvider被改變時(shí)   
  
  
      void surfaceDestroyed(SurfaceOps var1);// SurfaceProvider被銷毀時(shí)   
  
  
  }

上面提到過(guò)SurfaceOps是一個(gè)接口，因此在實(shí)際使用之前，需要先重寫(xiě)上述三個(gè)回調(diào)方法，才能正常感知到SurfaceProvider的創(chuàng)建、改變或銷毀。

想了解更多內(nèi)容，請(qǐng)?jiān)L問(wèn)：

和華為官方合作共建的鴻蒙技術(shù)社區(qū)

https://harmonyos.

當(dāng)前題目：鴻蒙開(kāi)源全場(chǎng)景應(yīng)用開(kāi)發(fā)—視頻渲染
當(dāng)前地址：http://m.fisionsoft.com.cn/article/djcsdhc.html