九色国产,午夜在线视频,新黄色网址,九九色综合,天天做夜夜做久久做狠狠,天天躁夜夜躁狠狠躁2021a,久久不卡一区二区三区

HLS，Http Live Streaming 是由Apple公司定義的用于實(shí)時(shí)流傳輸?shù)膮f(xié)議，HLS基于HTTP協(xié)議實(shí)現(xiàn)，傳輸內(nèi)容包括兩部分，一是M3U8描述文件，二是TS媒體文件。

1、M3U8文件

   用文本方式對(duì)媒體文件進(jìn)行描述，由一系列標(biāo)簽組成。

#EXTM3U

#EXT-X-TARGETDURATION:5

#EXTINF:5,

./0.ts

#EXTINF:5,

./1.ts

#EXTM3U：每個(gè)M3U8文件第一行必須是這個(gè)tag。

#EXT-X-TARGETDURATION：指定最大的媒體段時(shí)間長(zhǎng)度（秒），#EXTINF中指定的時(shí)間長(zhǎng)度必須小于或等于這個(gè)最大值。該值只能出現(xiàn)一次。

#EXTINF：描述單個(gè)媒體文件的長(zhǎng)度。后面為媒體文件，如./0.ts 

2、ts文件

    ts文件為傳輸流文件，視頻編碼主要格式h264/mpeg4，音頻為acc/MP3。

   ts文件分為三層：ts層Transport Stream、pes層 Packet Elemental Stream、es層 Elementary Stream. es層就是音視頻數(shù)據(jù)，pes層是在音視頻數(shù)據(jù)上加了時(shí)間戳等對(duì)數(shù)據(jù)幀的說(shuō)明信息，ts層就是在pes層加入數(shù)據(jù)流的識(shí)別和傳輸必須的信息

注： 詳解如下

 （1）ts層     ts包大小固定為188字節(jié)，ts層分為三個(gè)部分：ts header、adaptation field、payload。ts header固定4個(gè)字節(jié)；adaptation field可能存在也可能不存在，主要作用是給不足188字節(jié)的數(shù)據(jù)做填充；payload是pes數(shù)據(jù)。

ts header

     ts層的內(nèi)容是通過(guò)PID值來(lái)標(biāo)識(shí)的，主要內(nèi)容包括：PAT表、PMT表、音頻流、視頻流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然后就可以找到音視頻流了。PAT表的PID值固定為0。PAT表和PMT表需要定期插入ts流，因?yàn)橛脩綦S時(shí)可能加入ts流，這個(gè)間隔比較小，通常每隔幾個(gè)視頻幀就要加入PAT和PMT。PAT和PMT表是必須的，還可以加入其它表如SDT（業(yè)務(wù)描述表）等，不過(guò)hls流只要有PAT和PMT就可以播放了。

• PAT表：他主要的作用就是指明了PMT表的PID值。

• PMT表：他主要的作用就是指明了音視頻流的PID值。

• 音頻流/視頻流：承載音視頻內(nèi)容。

adaption

     自適應(yīng)區(qū)的長(zhǎng)度要包含傳輸錯(cuò)誤指示符標(biāo)識(shí)的一個(gè)字節(jié)。pcr是節(jié)目時(shí)鐘參考，pcr、dts、pts都是對(duì)同一個(gè)系統(tǒng)時(shí)鐘的采樣值，pcr是遞增的，因此可以將其設(shè)置為dts值，音頻數(shù)據(jù)不需要pcr。如果沒(méi)有字段，ipad是可以播放的，但vlc無(wú)法播放。打包ts流時(shí)PAT和PMT表是沒(méi)有adaptation field的，不夠的長(zhǎng)度直接補(bǔ)0xff即可。視頻流和音頻流都需要加adaptation field，通常加在一個(gè)幀的第一個(gè)ts包和最后一個(gè)ts包里，中間的ts包不加。

PAT格式

PMT格式

（2）pes層

     pes層是在每一個(gè)視頻/音頻幀上加入了時(shí)間戳等信息，pes包內(nèi)容很多，我們只留下最常用的。

     pts是顯示時(shí)間戳、dts是解碼時(shí)間戳，視頻數(shù)據(jù)兩種時(shí)間戳都需要，音頻數(shù)據(jù)的pts和dts相同，所以只需要pts。有pts和dts兩種時(shí)間戳是B幀引起的，I幀和P幀的pts等于dts。如果一個(gè)視頻沒(méi)有B幀，則pts永遠(yuǎn)和dts相同。從文件中順序讀取視頻幀，取出的幀順序和dts順序相同。dts算法比較簡(jiǎn)單，初始值 + 增量即可，pts計(jì)算比較復(fù)雜，需要在dts的基礎(chǔ)上加偏移量。

     音頻的pes中只有pts（同dts），視頻的I、P幀兩種時(shí)間戳都要有，視頻B幀只要pts（同dts）。打包pts和dts就需要知道視頻幀類型，但是通過(guò)容器格式我們是無(wú)法判斷幀類型的，必須解析h.264內(nèi)容才可以獲取幀類型。

舉例說(shuō)明：

                         I          P          B          B          B          P

讀取順序：         1         2          3          4          5          6

dts順序：           1         2          3          4          5          6

pts順序：           1         5          3          2          4          6

點(diǎn)播視頻dts算法：

dts = 初始值 + 90000 / video_frame_rate，初始值可以隨便指定，但是最好不要取0，video_frame_rate就是幀率，比如23、30。

pts和dts是以timescale為單位的，1s = 90000 time scale , 一幀就應(yīng)該是90000/video_frame_rate 個(gè)timescale。

用一幀的timescale除以采樣頻率就可以轉(zhuǎn)換為一幀的播放時(shí)長(zhǎng)

點(diǎn)播音頻dts算法：

dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame這個(gè)值與編解碼相關(guān)，aac取值1024，mp3取值1158，audio_sample_rate是采樣率，比如24000、41000。AAC一幀解碼出來(lái)是每聲道1024個(gè)sample，也就是說(shuō)一幀的時(shí)長(zhǎng)為1024/sample_rate秒。所以每一幀時(shí)間戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。

直播視頻的dts和pts應(yīng)該直接用直播數(shù)據(jù)流中的時(shí)間，不應(yīng)該按公式計(jì)算。

（3）es層

     es層指的就是音視頻數(shù)據(jù)，我們只介紹h.264視頻和aac音頻。

h.264視頻：

     打包h.264數(shù)據(jù)我們必須給視頻數(shù)據(jù)加上一個(gè)nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type，nalu header固定為0x00000001（幀開(kāi)始）或0x000001（幀中）。h.264的數(shù)據(jù)是由slice組成的，slice的內(nèi)容包括：視頻、sps、pps等。nalu type決定了后面的h.264數(shù)據(jù)內(nèi)容。

     紅色字體顯示的內(nèi)容是最常用的，打包es層數(shù)據(jù)時(shí)pes頭和es數(shù)據(jù)之間要加入一個(gè)type=9的nalu，關(guān)鍵幀slice前必須要加入type=7和type=8的nalu，而且是緊鄰。

aac音頻：

     打包aac音頻必須加上一個(gè)adts(Audio Data Transport Stream)頭，共7Byte，adts包括fixed_header和variable_header兩部分，各28bit。

fixed_header

variable_header

mp3音頻：

mp3音頻不需要加adts頭。

6.h264幀類型判斷

當(dāng)nalu type=5或1時(shí)，表示后面跟著的數(shù)據(jù)是視頻數(shù)據(jù)，下面我們只列出前2項(xiàng)。

7.mp4轉(zhuǎn)ts

     我們假設(shè)mp4格式中的視頻編碼為h.264，音頻編碼為aac。我們從mp4中獲取的視頻信息包括：sps、pps、dts、pts、幀率、幀數(shù)據(jù)、ticks（每秒滴答數(shù)）。音頻信息包括：pts、采樣頻率、聲道數(shù)、幀數(shù)據(jù)。mp4文件的dts和ts文件的dts是需要進(jìn)行換算的，都是初始值 + 增量，但是增量計(jì)算是不同的。

視頻信息獲取：

音頻信息獲?。?/span>

8.mp4中關(guān)于h264和aac的說(shuō)明

     mp4的stsd原子中包含很多關(guān)鍵的音視頻編解碼元信息。對(duì)于視頻數(shù)據(jù)，不同的編解碼格式stsd中包含的子原子類型是不同的。MP4的視頻H.264封裝有2種格式：h264和avc1，只要看到這兩個(gè)FOURCC（四字節(jié)編碼）。就可以肯定是h.264編碼，區(qū)別在于slice是否有起始碼。對(duì)于音頻數(shù)據(jù)，stsd中包含的子原子只會(huì)是mp4a，mp4a又包含了一個(gè)子原子esds，判斷音頻編碼格式的是esds中的第十一個(gè)字節(jié)，如果是0x40則說(shuō)明是aac編碼，如果是0x69則說(shuō)明是mp3。

• AVC1 描述:H.264 bitstream without start codes.一般通過(guò)ffmpeg轉(zhuǎn)碼生成的視頻，是不帶起始碼0×00000001的，但是帶有4字節(jié)的長(zhǎng)度。

• H264 描述:H.264 bitstream with start codes.一般對(duì)于一下HDVD等電影的壓制格式，是帶有起始碼0×00000001的。

     除了avc1和h264還可能是下面的FOURCC，只是名字不同而已。

• MEDIASUBTYPE_AVC1 'AVC1' H.264 bitstream without start codes.

• MEDIASUBTYPE_H264 'H264' H.264 bitstream with start codes.

• MEDIASUBTYPE_h264 'h264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.

• MEDIASUBTYPE_X264 'X264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.

• MEDIASUBTYPE_x264 'x264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.

H264數(shù)據(jù)結(jié)構(gòu)

NAL  nal_unit_type中的

1（非IDR圖像的編碼條帶）、

2（編碼條帶數(shù)據(jù)分割塊A）、

3（編碼條帶數(shù)據(jù)分割塊B）、

4（編碼條帶數(shù)據(jù)分割塊C）、

7（SPS）、

8（PPS）

2、VCL視頻編碼層不做解釋。

3、NAL nal_unit_type為序列參數(shù)集（SPS）、圖像參數(shù)集（PPS）、增強(qiáng)信息（SEI）。表示后面的數(shù)據(jù)信息為序列參數(shù)集（SPS）、圖像參數(shù)集（PPS）、增強(qiáng)信息（SEI）。

4、H.264的參數(shù)集又分為序列參數(shù)集（Sequence parameter set）和圖像參數(shù)集（Pictureparameterset）。

        序列參數(shù)集：包括一個(gè)圖像序列的所有信息，即兩個(gè)IDR圖像間的所有圖像信息。

        圖像參數(shù)集：包括一個(gè)圖像的所有分片的所有相關(guān)信息，包括圖像類型、序列號(hào)等，解碼時(shí)某些序列號(hào)的丟 失可用來(lái)檢驗(yàn)信息包的丟失與否。多個(gè)不同的序列和圖像參數(shù)集存儲(chǔ)在解碼器中，編碼器依據(jù)每個(gè)編碼分片的頭部的存儲(chǔ)位置來(lái)選擇適當(dāng)?shù)膮?shù)集，圖像參數(shù)集本身也包括使用的序列參數(shù)集參考信息。  

總結(jié)：

1、H.264 碼流總體結(jié)構(gòu)：

h264的功能分為兩層，視頻編碼層（VCL）和網(wǎng)絡(luò)提取層（NAL）。H.264 的編碼視頻序列包括一系列的NAL 單元，每個(gè)NAL 單元包含一個(gè)RBSP。一個(gè)原始的H.264 NALU 單元常由 [StartCode] [NALU Header] [NALU Payload] 三部分組成，其中 Start Code 用于標(biāo)示這是一個(gè)NALU 單元的開(kāi)始，必須是"00 00 00 01" 或"00 00 01"。

 

其中RBPS有分為幾種類型：

NAL的解碼單元的流程如下：

 

2、 H.264 NAL Header：

占一個(gè)字節(jié)，由三部分組成forbidden_bit(1bit)，nal_reference_bit(2bits)（優(yōu)先級(jí)），nal_unit_type(5bits)（類型）。

forbidden_bit:禁止位。

nal_reference_bit：當(dāng)前NAL的優(yōu)先級(jí)，值越大，該NAL越重要。

nal_unit_type ：NAL類型。參見(jiàn)下表

 

幾個(gè)例子：

1.ADTS是個(gè)啥

ADTS全稱是(Audio Data Transport Stream)，是AAC的一種十分常見(jiàn)的傳輸格式。

記得第一次做demux的時(shí)候，把AAC音頻的ES流從FLV封裝格式中抽出來(lái)送給硬件解碼器時(shí)，不能播;保存到本地用pc的播放器播時(shí)，我靠也不能播。當(dāng)時(shí)崩潰了，后來(lái)通過(guò)查找資料才知道。一般的AAC解碼器都需要把AAC的ES流打包成ADTS的格式，一般是在AAC ES流前添加7個(gè)字節(jié)的ADTS header。也就是說(shuō)你可以吧ADTS這個(gè)頭看作是AAC的frameheader。

ADTS AAC
ADTS_header	AAC ES	ADTS_header	AAC ES	...	ADTS_header	AAC ES

2.ADTS內(nèi)容及結(jié)構(gòu)

ADTS 頭中相對(duì)有用的信息 采樣率、聲道數(shù)、幀長(zhǎng)度。想想也是，我要是解碼器的話，你給我一堆得AAC音頻ES流我也解不出來(lái)。每一個(gè)帶ADTS頭信息的AAC流會(huì)清晰的告送解碼器他需要的這些信息。

一般情況下ADTS的頭信息都是7個(gè)字節(jié)，分為2部分：

adts_fixed_header();

adts_variable_header();

syncword ：同步頭 總是0xFFF, all bits must be 1，代表著一個(gè)ADTS幀的開(kāi)始

ID：MPEG Version: 0 for MPEG-4, 1 for MPEG-2

Layer：always: '00'

profile：表示使用哪個(gè)級(jí)別的AAC，有些芯片只支持AAC LC 。在MPEG-2 AAC中定義了3種：

sampling_frequency_index：表示使用的采樣率下標(biāo)，通過(guò)這個(gè)下標(biāo)在 Sampling Frequencies[ ]數(shù)組中查找得知采樣率的值。

There are 13 supported frequencies:

• 0: 96000 Hz
• 1: 88200 Hz
• 2: 64000 Hz
• 3: 48000 Hz
• 4: 44100 Hz
• 5: 32000 Hz
• 6: 24000 Hz
• 7: 22050 Hz
• 8: 16000 Hz
• 9: 12000 Hz
• 10: 11025 Hz
• 11: 8000 Hz
• 12: 7350 Hz
• 13: Reserved
• 14: Reserved
• 15: frequency is written explictly

channel_configuration:  表示聲道數(shù) 

• 0: Defined in AOT Specifc Config
• 1: 1 channel: front-center
• 2: 2 channels: front-left, front-right
• 3: 3 channels: front-center, front-left, front-right
• 4: 4 channels: front-center, front-left, front-right, back-center
• 5: 5 channels: front-center, front-left, front-right, back-left, back-right
• 6: 6 channels: front-center, front-left, front-right, back-left, back-right, LFE-channel
• 7: 8 channels: front-center, front-left, front-right, side-left, side-right, back-left, back-right, LFE-channel
• 8-15: Reserved

 

frame_length : 一個(gè)ADTS幀的長(zhǎng)度包括ADTS頭和AAC原始流.

adts_buffer_fullness：0x7FF 說(shuō)明是碼率可變的碼流

3.將AAC打包成ADTS格式

如果是通過(guò)嵌入式高清解碼芯片做產(chǎn)品的話，一般情況的解碼工作都是由硬件來(lái)完成的。所以大部分的工作是把AAC原始流打包成ADTS的格式，然后丟給硬件就行了。

通過(guò)對(duì)ADTS格式的了解，很容易就能把AAC打包成ADTS。我們只需得到封裝格式里面關(guān)于音頻采樣率、聲道數(shù)、元數(shù)據(jù)長(zhǎng)度、aac格式類型等信息。然后在每個(gè)AAC原始流前面加上個(gè)ADTS頭就OK了。

貼上ffmpeg中添加ADTS頭的代碼，就可以很清晰的了解ADTS頭的結(jié)構(gòu)：

[html]  view plain copy

1. int ff_adts_write_frame_header(ADTSContext *ctx,  
2.                                uint8_t *buf, int size, int pce_size)  
3. {  
4.     PutBitContext pb;  
5.   
6.     init_put_bits(&pb, buf, ADTS_HEADER_SIZE);  
7.   
8.     /* adts_fixed_header */  
9.     put_bits(&pb, 12, 0xfff);   /* syncword */  
10.     put_bits(&pb, 1, 0);        /* ID */  
11.     put_bits(&pb, 2, 0);        /* layer */  
12.     put_bits(&pb, 1, 1);        /* protection_absent */  
13.     put_bits(&pb, 2, ctx->objecttype); /* profile_objecttype */  
14.     put_bits(&pb, 4, ctx->sample_rate_index);  
15.     put_bits(&pb, 1, 0);        /* private_bit */  
16.     put_bits(&pb, 3, ctx->channel_conf); /* channel_configuration */  
17.     put_bits(&pb, 1, 0);        /* original_copy */  
18.     put_bits(&pb, 1, 0);        /* home */  
19.   
20.     /* adts_variable_header */  
21.     put_bits(&pb, 1, 0);        /* copyright_identification_bit */  
22.     put_bits(&pb, 1, 0);        /* copyright_identification_start */  
23.     put_bits(&pb, 13, ADTS_HEADER_SIZE + size + pce_size); /* aac_frame_length */  
24.     put_bits(&pb, 11, 0x7ff);   /* adts_buffer_fullness */  
25.     put_bits(&pb, 2, 0);        /* number_of_raw_data_blocks_in_frame */  
26.   
27.     flush_put_bits(&pb);  
28.   
29.     return 0;  
30. }  

來(lái)源：

http://my.oschina.net/u/727148/blog/666824 

http://blog.csdn.net/chenchong_219/article/details/37990541