質問

H.264 デコーダーに取り組んでいますが、SPS と PPS はどこにあるのでしょうか。参考文献によると、それらは H.264-Stream でエンコードされた NAL ユニットだそうですが、IsoViewer で例の MP4 ファイルを見ると、SPS と PPS は avcC ボックスにあると書いてあります。

これは具体的にどのように動作するのでしょうか。.mkv ファイルやその他の H.264 コンテナーについては、どのように見えるのでしょうか?

どのように解決するのですか?

まず最初に、単一の標準的な H.264 エレメンタリー ビットストリーム形式は存在しないことを理解することが重要です。仕様ドキュメントには、1 つの可能な形式を説明する付属書、特に付属書 B がありますが、これは実際の要件ではありません。この規格は、ビデオが個々のパケットにエンコードされる方法を規定しています。これらのパケットがどのように保存され、伝送されるかは、インテグレーターの自由裁量に任されています。

1. 附属書B

ネットワーク抽象化レイヤーの単位

パケットは Network Abstraction Layer Units (ネットワーク抽象化レイヤーの単位) と呼ばれます。しばしば NALU (または単に NAL) と省略されますが、各パケットは個別に解析し処理することができます。各NALUの最初のバイトはNALUのタイプ、特にビット3からビット7を含んでいます。(ビット 0 は常にオフで、ビット 1-2 は NALU が別の NALU によって参照されているかどうかを示します)。

19 種類の NALU が定義されており、VCL と非 VCL の 2 つのカテゴリに分かれています。

• VCL、または Video Coding Layer パケットには、実際の視覚情報が含まれています。
• 非 VCL には、ビデオのデコードに必要であるかどうかにかかわらず、メタデータが含まれます。

単一の NALU、または VCL NALU でさえ、フレームと同じものではありません。フレームはいくつかの NALU に「スライス」することができます。ちょうどピザをスライスできるようにです。1つまたは複数のスライスは、1つのフレームを含むアクセスユニット（AU）に仮想的にグループ化されます。スライスには若干の品質コストがかかるので、あまり使用されません。

以下は、定義されたすべての NALU の表です。

0      Unspecified                                                    non-VCL
1      Coded slice of a non-IDR picture                               VCL
2      Coded slice data partition A                                   VCL
3      Coded slice data partition B                                   VCL
4      Coded slice data partition C                                   VCL
5      Coded slice of an IDR picture                                  VCL
6      Supplemental enhancement information (SEI)                     non-VCL
7      Sequence parameter set                                         non-VCL
8      Picture parameter set                                          non-VCL
9      Access unit delimiter                                          non-VCL
10     End of sequence                                                non-VCL
11     End of stream                                                  non-VCL
12     Filler data                                                    non-VCL
13     Sequence parameter set extension                               non-VCL
14     Prefix NAL unit                                                non-VCL
15     Subset sequence parameter set                                  non-VCL
16     Depth parameter set                                            non-VCL
17..18 Reserved                                                       non-VCL
19     Coded slice of an auxiliary coded picture without partitioning non-VCL
20     Coded slice extension                                          non-VCL
21     Coded slice extension for depth view components                non-VCL
22..23 Reserved                                                       non-VCL
24..31 Unspecified                                                    non-VCL

NALUの種類には、知識として持っておくと後で役に立つものがいくつかあります。

• シーケンス パラメータ セット (SPS)。 この非 VCL NALU には、プロファイル、レベル、解像度、フレーム レートなど、デコーダーの設定に必要な情報が含まれています。
• ピクチャー パラメーター セット (PPS)。 SPS と同様に、この非 VCL にはエントロピー符号化モード、スライス グループ、動き予測、およびデブロッキング フィルタに関する情報が含まれています。
• Instantaneous Decoder Refresh (IDR) (即時デコーダー リフレッシュ)。 このVCL NALUは、自己完結型の画像スライスです。つまり、IDR は SPS と PPS を除く他の NALU を参照することなく、デコードおよび表示することができます。
• アクセス ユニット デリミター (AUD)。 AUD は、エレメンタリーストリームでフレームを区切るために使用できるオプションの NALU です。これは必須ではなく（TS のようなコンテナ/プロトコルによって特に指定されない限り）、スペースを節約するためにしばしば含まれませんが、各 NALU を完全に解析することなくフレームの開始を見つけるのに便利な場合があります。

NALU 開始コード

NALUはそのサイズを含んでいません。したがって、ストリームを作成するためにNALUを単純に連結しても、1つが停止して次のものが始まる場所が分からないので、うまくいきません。

Annex B 仕様は、各 NALU の前に「スタートコード」を要求することでこれを解決しています。スタートコードは、2つまたは3つの 0x00 バイトで、その後に 0x01 バイトになります。 0x000001 または 0x00000001 .

4 バイトのバリエーションはシリアル接続での送信に便利で、31 個の 0 ビットに続く 1 ビットを探すことでストリームをバイトアライメントするのが簡単だからです。次のビットが 0 の場合 (すべての NALU が 0 ビットで始まるため)、それは NALU の開始となります。4 バイトのバリエーションは通常、SPS PPS AUD や IDR などのストリーム内のランダム アクセス ポイントをシグナリングするためにのみ使用され、3 バイトのバリエーションはスペースを節約するために他のすべての場所で使用されます。

エミュレーション防止バイト

スタートコードが機能するのは、4バイトの並びである 0x000000 , 0x000001 , 0x000002 と 0x000003 は、非RBSP NALU内では不正です。そのため、NALUを作成する際には、スタートコードと混同される可能性のあるこれらの値をエスケープするよう注意が必要です。これは、「エミュレーション防止」バイトを挿入することで達成されます。 0x03 を挿入することで、達成されます。 0x000001 は 0x00000301 .

デコードの際、エミュレーション防止バイトを探し、無視することが重要です。エミュレーション防止バイトは NALU 内のほぼすべての場所で発生する可能性があるため、文書ではすでに削除されていると見なす方が便利なことがよくあります。エミュレーション防止バイトのない表現は、Raw Byte Sequence Payload (RBSP) と呼ばれます。

例

完全な例を見てみましょう。

0x0000 | 00 00 00 01 67 64 00 0A AC 72 84 44 26 84 00 00
0x0010 | 03 00 04 00 00 03 00 CA 3C 48 96 11 80 00 00 00
0x0020 | 01 68 E8 43 8F 13 21 30 00 00 01 65 88 81 00 05
0x0030 | 4E 7F 87 DF 61 A5 8B 95 EE A4 E9 38 B7 6A 30 6A
0x0040 | 71 B9 55 60 0B 76 2E B5 0E E4 80 59 27 B8 67 A9
0x0050 | 63 37 5E 82 20 55 FB E4 6A E9 37 35 72 E2 22 91
0x0060 | 9E 4D FF 60 86 CE 7E 42 B7 95 CE 2A E1 26 BE 87
0x0070 | 73 84 26 BA 16 36 F4 E6 9F 17 DA D8 64 75 54 B1
0x0080 | F3 45 0C 0B 3C 74 B3 9D BC EB 53 73 87 C3 0E 62
0x0090 | 47 48 62 CA 59 EB 86 3F 3A FA 86 B5 BF A8 6D 06
0x00A0 | 16 50 82 C4 CE 62 9E 4E E6 4C C7 30 3E DE A1 0B
0x00B0 | D8 83 0B B6 B8 28 BC A9 EB 77 43 FC 7A 17 94 85
0x00C0 | 21 CA 37 6B 30 95 B5 46 77 30 60 B7 12 D6 8C C5
0x00D0 | 54 85 29 D8 69 A9 6F 12 4E 71 DF E3 E2 B1 6B 6B
0x00E0 | BF 9F FB 2E 57 30 A9 69 76 C4 46 A2 DF FA 91 D9
0x00F0 | 50 74 55 1D 49 04 5A 1C D6 86 68 7C B6 61 48 6C
0x0100 | 96 E6 12 4C 27 AD BA C7 51 99 8E D0 F0 ED 8E F6
0x0110 | 65 79 79 A6 12 A1 95 DB C8 AE E3 B6 35 E6 8D BC
0x0120 | 48 A3 7F AF 4A 28 8A 53 E2 7E 68 08 9F 67 77 98
0x0130 | 52 DB 50 84 D6 5E 25 E1 4A 99 58 34 C7 11 D6 43
0x0140 | FF C4 FD 9A 44 16 D1 B2 FB 02 DB A1 89 69 34 C2
0x0150 | 32 55 98 F9 9B B2 31 3F 49 59 0C 06 8C DB A5 B2
0x0160 | 9D 7E 12 2F D0 87 94 44 E4 0A 76 EF 99 2D 91 18
0x0170 | 39 50 3B 29 3B F5 2C 97 73 48 91 83 B0 A6 F3 4B
0x0180 | 70 2F 1C 8F 3B 78 23 C6 AA 86 46 43 1D D7 2A 23
0x0190 | 5E 2C D9 48 0A F5 F5 2C D1 FB 3F F0 4B 78 37 E9
0x01A0 | 45 DD 72 CF 80 35 C3 95 07 F3 D9 06 E5 4A 58 76
0x01B0 | 03 6C 81 20 62 45 65 44 73 BC FE C1 9F 31 E5 DB
0x01C0 | 89 5C 6B 79 D8 68 90 D7 26 A8 A1 88 86 81 DC 9A
0x01D0 | 4F 40 A5 23 C7 DE BE 6F 76 AB 79 16 51 21 67 83
0x01E0 | 2E F3 D6 27 1A 42 C2 94 D1 5D 6C DB 4A 7A E2 CB
0x01F0 | 0B B0 68 0B BE 19 59 00 50 FC C0 BD 9D F5 F5 F8
0x0200 | A8 17 19 D6 B3 E9 74 BA 50 E5 2C 45 7B F9 93 EA
0x0210 | 5A F9 A9 30 B1 6F 5B 36 24 1E 8D 55 57 F4 CC 67
0x0220 | B2 65 6A A9 36 26 D0 06 B8 E2 E3 73 8B D1 C0 1C
0x0230 | 52 15 CA B5 AC 60 3E 36 42 F1 2C BD 99 77 AB A8
0x0240 | A9 A4 8E 9C 8B 84 DE 73 F0 91 29 97 AE DB AF D6
0x0250 | F8 5E 9B 86 B3 B3 03 B3 AC 75 6F A6 11 69 2F 3D
0x0260 | 3A CE FA 53 86 60 95 6C BB C5 4E F3

これは、3つのNALUを含む完全なAUです。見ての通り、スタートコードから始まり、SPSが続きます（SPSは67で始まります）。SPSの中には、2つのEmulation Preventionバイトがあります。このバイトがないと、不正なシーケンス 0x000000 がこれらの位置で発生します。次に、スタートコードとPPS（PPSは68で始まる）、そして最後のスタートコードとIDRスライスが表示されます。これが完全なH.264のストリームです。これらの値をHexエディタに入力し、ファイルを保存する際に .264 拡張子を付けて保存すると、この画像に変換できます。

附属書 B は、トランスポート ストリーム、地上波放送、DVD などのライブおよびストリーミング形式でよく使用されます。これらのフォーマットでは、SPS および PPS を定期的に繰り返すことが一般的で、通常はすべての IDR に先立って、デコーダーのランダム アクセス ポイントが作成されます。これにより、すでに進行中のストリームに参加することができます。

2. AVCC

H.264 ストリームを格納する他の一般的な方法は、AVCC 形式です。この形式では、各 NALU の前にその長さ (ビッグエンディアン形式) が付きます。この方法は解析が容易ですが、附属書Bのバイトアライメントの特徴が失われます。ただ、ややこしいことに、長さは1、2、4バイトでエンコードされることがあります。この値は、ヘッダーオブジェクトに格納されます。このヘッダはしばしば 'extradata' または 'sequence header' と呼ばれる。その基本的な書式は以下の通りである。

bits    
8   version ( always 0x01 )
8   avc profile ( sps[0][1] )
8   avc compatibility ( sps[0][2] )
8   avc level ( sps[0][3] )
6   reserved ( all bits on )
2   NALULengthSizeMinusOne
3   reserved ( all bits on )
5   number of SPS NALUs (usually 1)

repeated once per SPS:
  16         SPS size
  variable   SPS NALU data

8   number of PPS NALUs (usually 1)

repeated once per PPS:
  16       PPS size
  variable PPS NALU data

上記と同じ例を用いると、AVCCのエクストラデータは以下のようになります。

0x0000 | 01 64 00 0A FF E1 00 19 67 64 00 0A AC 72 84 44
0x0010 | 26 84 00 00 03 00 04 00 00 03 00 CA 3C 48 96 11
0x0020 | 80 01 00 07 68 E8 43 8F 13 21 30

SPS と PPS が帯域外で保存されていることにお気づきでしょう。つまり、エレメンタリ ストリーム データとは別に保存されます。このデータの保存と送信は、ファイル コンテナの仕事であり、このドキュメントの範囲外です。開始コードを使用していないにもかかわらず、エミュレーション防止バイトがまだ挿入されていることに注意してください。

さらに、新しい変数 NALULengthSizeMinusOne . この紛らわしい名前の変数は、各 NALU の長さを格納するために何バイト使用するかを教えてくれます。つまり、もし NALULengthSizeMinusOne が 0 に設定されると、各 NALU の前にその長さを示す 1 バイトが置かれます。サイズを格納するために1バイトを使用すると、NALUの最大サイズは255バイトになります。これは明らかにかなり小さい。キーフレーム全体としては小さすぎる。2バイトを使用すると、1NALUあたり64Kになります。この例ではうまくいきますが、それでもかなり低い制限です。3バイトであれば完璧ですが、何らかの理由で一般的にサポートされていません。したがって、4 バイトが圧倒的に一般的であり、ここで使用したのはそれです。

0x0000 | 00 00 02 41 65 88 81 00 05 4E 7F 87 DF 61 A5 8B
0x0010 | 95 EE A4 E9 38 B7 6A 30 6A 71 B9 55 60 0B 76 2E
0x0020 | B5 0E E4 80 59 27 B8 67 A9 63 37 5E 82 20 55 FB
0x0030 | E4 6A E9 37 35 72 E2 22 91 9E 4D FF 60 86 CE 7E
0x0040 | 42 B7 95 CE 2A E1 26 BE 87 73 84 26 BA 16 36 F4
0x0050 | E6 9F 17 DA D8 64 75 54 B1 F3 45 0C 0B 3C 74 B3
0x0060 | 9D BC EB 53 73 87 C3 0E 62 47 48 62 CA 59 EB 86
0x0070 | 3F 3A FA 86 B5 BF A8 6D 06 16 50 82 C4 CE 62 9E
0x0080 | 4E E6 4C C7 30 3E DE A1 0B D8 83 0B B6 B8 28 BC
0x0090 | A9 EB 77 43 FC 7A 17 94 85 21 CA 37 6B 30 95 B5
0x00A0 | 46 77 30 60 B7 12 D6 8C C5 54 85 29 D8 69 A9 6F
0x00B0 | 12 4E 71 DF E3 E2 B1 6B 6B BF 9F FB 2E 57 30 A9
0x00C0 | 69 76 C4 46 A2 DF FA 91 D9 50 74 55 1D 49 04 5A
0x00D0 | 1C D6 86 68 7C B6 61 48 6C 96 E6 12 4C 27 AD BA
0x00E0 | C7 51 99 8E D0 F0 ED 8E F6 65 79 79 A6 12 A1 95
0x00F0 | DB C8 AE E3 B6 35 E6 8D BC 48 A3 7F AF 4A 28 8A
0x0100 | 53 E2 7E 68 08 9F 67 77 98 52 DB 50 84 D6 5E 25
0x0110 | E1 4A 99 58 34 C7 11 D6 43 FF C4 FD 9A 44 16 D1
0x0120 | B2 FB 02 DB A1 89 69 34 C2 32 55 98 F9 9B B2 31
0x0130 | 3F 49 59 0C 06 8C DB A5 B2 9D 7E 12 2F D0 87 94
0x0140 | 44 E4 0A 76 EF 99 2D 91 18 39 50 3B 29 3B F5 2C
0x0150 | 97 73 48 91 83 B0 A6 F3 4B 70 2F 1C 8F 3B 78 23
0x0160 | C6 AA 86 46 43 1D D7 2A 23 5E 2C D9 48 0A F5 F5
0x0170 | 2C D1 FB 3F F0 4B 78 37 E9 45 DD 72 CF 80 35 C3
0x0180 | 95 07 F3 D9 06 E5 4A 58 76 03 6C 81 20 62 45 65
0x0190 | 44 73 BC FE C1 9F 31 E5 DB 89 5C 6B 79 D8 68 90
0x01A0 | D7 26 A8 A1 88 86 81 DC 9A 4F 40 A5 23 C7 DE BE
0x01B0 | 6F 76 AB 79 16 51 21 67 83 2E F3 D6 27 1A 42 C2
0x01C0 | 94 D1 5D 6C DB 4A 7A E2 CB 0B B0 68 0B BE 19 59
0x01D0 | 00 50 FC C0 BD 9D F5 F5 F8 A8 17 19 D6 B3 E9 74
0x01E0 | BA 50 E5 2C 45 7B F9 93 EA 5A F9 A9 30 B1 6F 5B
0x01F0 | 36 24 1E 8D 55 57 F4 CC 67 B2 65 6A A9 36 26 D0
0x0200 | 06 B8 E2 E3 73 8B D1 C0 1C 52 15 CA B5 AC 60 3E
0x0210 | 36 42 F1 2C BD 99 77 AB A8 A9 A4 8E 9C 8B 84 DE
0x0220 | 73 F0 91 29 97 AE DB AF D6 F8 5E 9B 86 B3 B3 03
0x0230 | B3 AC 75 6F A6 11 69 2F 3D 3A CE FA 53 86 60 95
0x0240 | 6C BB C5 4E F3

このフォーマットの利点は、開始時にデコーダを設定し、ストリームの途中にジャンプできることです。これは、メディアがハード ドライブなどのランダム アクセス メディアで利用可能な場合によくある使用例で、したがって、MP4 や MKV などの一般的なコンテナー形式で使用されています。