Arti pengkodean video
Ruang penyimpanan yang besar untuk data video asli, video 1080P 7 s membutuhkan 817 MB
Transmisi data video asli menggunakan bandwidth yang besar, dan dibutuhkan 11 menit untuk mengirimkan video di atas 7 detik dengan bandwidth 10 Mbps
Setelah encoding dan kompresi H.264, ukuran video hanya 708 k, dan bandwidth 10 Mbps hanya membutuhkan 500 ms, yang dapat memenuhi kebutuhan transmisi secara real-time. Oleh karena itu, video asli yang dikumpulkan dari sensor akuisisi video harus dikodekan video.
Mendasar
Jadi mengapa video orisinal yang sangat besar dapat dienkode menjadi video yang sangat kecil? Apa teknologi di sini? Sebelum berbicara tentang teknologi, terlebih dahulu kita harus menetapkan konsep video yaitu gambar kontinu.
Ide intinya adalah menghapus informasi yang berlebihan:
Redundansi spasial: ada korelasi kuat antara piksel yang berdekatan pada gambar
Redundansi temporal: konten serupa antara gambar yang berdekatan dalam urutan video
Coding redundancy: nilai piksel yang berbeda memiliki probabilitas yang berbeda pula
Redundansi visual: sistem visual manusia tidak peka terhadap detail tertentu
Redundansi pengetahuan: struktur keteraturan dapat diperoleh dari pengetahuan sebelumnya dan latar belakang pengetahuan
Video pada dasarnya adalah rangkaian gambar yang diputar secara terus menerus dan cepat, jadi cara termudah untuk mengompres video adalah dengan mengompres setiap bingkai gambar. Misalnya, pengkodean MJPEG yang lebih lama adalah mengompresi setiap bingkai gambar dalam video. Metode pengkodean ini Hanya ada pengkodean intra-frame, yang menggunakan prediksi sampel spasial untuk mengkodekan. Metafora gambar adalah memperlakukan setiap bingkai sebagai gambar, dan menggunakan format pengkodean JPEG untuk memampatkan gambar. Jenis pengkodean ini hanya mempertimbangkan kompresi informasi yang berlebihan dalam gambar.
Namun, karena korelasi waktu antar frame, beberapa encoder tingkat lanjut telah dikembangkan yang dapat menggunakan pengkodean antar-frame. Sederhananya, area tertentu pada bingkai dipilih melalui algoritma pencarian, dan kemudian bingkai saat ini dihitung. Ini adalah bentuk pengkodean dengan perbedaan vektor antara bingkai referensi depan dan belakang. Melalui dua bingkai berurutan berikut pada Gambar 2, kita dapat melihat bahwa pemain ski bergeser ke depan, tetapi kenyataannya pemandangan salju bergeser ke belakang, dan bingkai P direferensikan. Bingkai (bingkai I atau bingkai P lainnya) dapat dikodekan, ukurannya setelah pengkodean sangat kecil, dan rasio kompresinya sangat tinggi.
Tautan referensi tentang bingkai http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Beberapa siswa mungkin tertarik dengan bagaimana kedua gambar ini berasal. Berikut adalah dua baris perintah FFmpeg yang harus dicapai. Untuk detail lebih lanjut tentang FFmpeg, silakan lihat bab-bab berikut:
Baris pertama menghasilkan video dengan vektor bergerak
Baris kedua mengeluarkan setiap bingkai sebagai gambar
Gunakan perintah
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Selain redundansi spasial dan kompresi redundansi temporal, terdapat kompresi encoding dan kompresi visual. Berikut ini adalah diagram alir utama pembuat enkode:
Gambar 3 dan Gambar 4 adalah dua proses. Gambar 3 adalah pengkodean intra-frame, dan Gambar 4 adalah pengkodean antar-frame. Perbedaan utama yang terlihat dari gambar adalah bahwa langkah pertama berbeda. Padahal, kedua proses ini juga digabungkan. Secara umum, I frame dan frame P masing-masing menggunakan pengkodean intra-frame dan pengkodean antar-frame.
Pilihan pembuat enkode
Saya telah memilah-milah prinsip dan proses dasar pembuat enkode. Encoder telah mengalami pengembangan selama beberapa dekade. Ini telah berkembang dari hanya mendukung pengkodean intra-frame menjadi generasi baru pembuat enkode yang diwakili oleh H.265 dan VP9 saat ini. Saat ini, beberapa pembuat enkode umum dianalisis, dan kami akan membawa Anda menjelajahi dunia pembuat enkode.
H.264
Pengantar
Proyek H.264 / AVC bermaksud untuk membuat standar video. Dibandingkan dengan standar lama, ini dapat memberikan video berkualitas tinggi dengan bandwidth yang lebih rendah (dengan kata lain, hanya setengah bandwidth MPEG-2, H.263 atau MPEG-4 Bagian 2 atau kurang) tanpa menambahkan terlalu banyak kerumitan desain. tidak mungkin tercapai atau biaya implementasinya terlalu tinggi. Tujuan lainnya adalah untuk memberikan fleksibilitas yang cukup untuk digunakan dalam berbagai aplikasi, jaringan dan sistem, termasuk bandwidth tinggi dan rendah, resolusi video tinggi dan rendah, penyiaran, penyimpanan DVD, jaringan RTP / IP, dan sistem telepon multimedia ITU-T.
H.264 / AVC berisi serangkaian fitur baru, membuatnya tidak hanya lebih efisien dari codec sebelumnya, tetapi juga dapat digunakan dalam aplikasi di berbagai lingkungan jaringan. Landasan teknis ini membuat H.264 menjadi codec utama yang digunakan oleh perusahaan video online termasuk YouTube, tetapi menggunakannya bukanlah tugas yang sangat mudah. Secara teori, menggunakan H.264 membutuhkan biaya yang tidak sedikit. Biaya paten.
Lisensi paten
Seperti bagian pertama dan kedua dari MPEG-2 dan bagian kedua dari MPEG-4, produsen produk dan penyedia layanan yang menggunakan H.264 / AVC perlu membayar biaya lisensi paten kepada pemegang paten. Sumber utama dari lisensi paten ini adalah organisasi swasta bernama MPEG-LA LLC. Organisasi ini tidak ada hubungannya dengan Organisasi Standardisasi MPEG, tetapi organisasi ini juga mengelola Sistem MPEG-2 Bagian Satu, Video Bagian Kedua, dan MPEG-4 Bagian Satu. Video dua bagian dan lisensi paten teknologi lainnya.
Lisensi paten lainnya perlu diterapkan ke organisasi swasta lain yang disebut Lisensi VIA, yang juga mengelola lisensi paten untuk standar kompresi audio seperti MPEG-2 AAC dan MPEG-4 Audio.
Implementasi open source dari H.264
openh264 adalah program pengkodean H.264 open source yang diimplementasikan oleh Cisco. Meskipun H.264 membutuhkan biaya paten yang tinggi, ada batasan tahunan untuk biaya paten. Setelah Cisco membayar biaya paten tahunan untuk OpenH264, OpenH264 sebenarnya gratis. Gunakan dengan bebas.
x264 adalah perangkat lunak bebas pengkodean video yang dilisensikan di bawah GPL. Fungsi utama x264 adalah untuk melakukan encoding video AVC H.264 / MPEG-4, bukan sebagai decoder.
Tidak termasuk masalah biaya untuk perbandingan:
Penggunaan CPU openh264 jauh lebih rendah daripada x264
openh264 hanya mendukung profil dasar, x264 mendukung lebih banyak profil
HEVC / H.265
Pengantar
High Efficiency Video Coding (HEVC) adalah standar kompresi video (juga disebut H.265), yang dianggap sebagai penerus standar AVC ITU-T H.264 / MPEG-4. Pada tahun 2004, ISO / IEC Moving Picture Experts Group (MPEG) dan ITU-T Video Coding Experts Group (VCEG) mulai berkembang menjadi ISO / IEC 23008-2 MPEG-H Part 2 atau ITU-T H.265. Versi pertama dari standar kompresi video HEVC / H.265 diterima sebagai standar resmi International Telecommunication Union (ITU-T) pada 13 April 2013. HEVC dianggap tidak hanya untuk meningkatkan kualitas video, tetapi juga mencapai dua kali tingkat kompresi H.264 / MPEG-4 AVC (setara dengan pengurangan 50% dalam bit rate di bawah kualitas gambar yang sama), dan dapat mendukung resolusi 4K dan bahkan TV definisi tinggi (UHDTV), resolusi tertinggi dapat mencapai 8192 × 4320 (resolusi 8K).
Lisensi paten
HEVC mewajibkan semua produsen konten yang menggunakan teknologi H.265, termasuk Apple, YouTube, Netflix, Facebook, dan Amazon, untuk membayar 0.5% dari pendapatan konten mereka sebagai biaya penggunaan teknologi. Seluruh pasar media streaming mencapai sekitar 100 miliar dolar AS setiap tahun, dan terus berkembang, pungutan 0.5% jelas merupakan biaya yang sangat besar. Dan mereka belum melepaskan produsen peralatan, di antaranya produsen TV harus membayar 1.5 dolar AS per unit dan produsen perangkat seluler 0.8 dolar AS per unit untuk biaya paten. Mereka bahkan belum melepaskan produsen seperti pemutar perangkat Blu-ray, konsol game, dan perekam video, yang masing-masing harus membayar $ 1.1.
Implementasi open source H.265 / HEVC
libde265 HEVC disediakan oleh struktur perusahaan di bawah lisensi open source GNU Lesser General Public License (LGPL), dan pemirsa dapat menikmati gambar dengan kualitas terbaik dengan kecepatan internet yang lebih lambat. Dibandingkan dengan decoder sebelumnya yang berdasarkan standar H.264, decoder HEVC libde265 dapat menghadirkan konten full HD Anda hingga dua kali lipat dari penonton, atau mengurangi bandwidth yang diperlukan untuk streaming hingga 50%.
x265 dikembangkan oleh MulticoreWare dan bersumber terbuka di bawah perjanjian GPL.
VP8
Pengantar
VP8 adalah format kompresi video terbuka yang pertama kali dikembangkan oleh On2 Technologies dan kemudian dirilis oleh Google. Pada saat yang sama, Google juga merilis pustaka implementasi berkode VP8: libvpx, yang dirilis dalam bentuk persyaratan lisensi BSD, dan kemudian menambahkan hak untuk menggunakan paten tersebut. Setelah beberapa argumen, otorisasi VP8 akhirnya dikonfirmasi sebagai otorisasi open source.
Saat ini, browser web yang mendukung VP8 adalah Opera, Firefox, dan Chrome.
Lisensi paten
Pada bulan Maret 2013, Google mencapai kesepakatan dengan MPEG LA dan 11 pemegang paten untuk mengizinkan Google mendapatkan VP8 dan VPx sebelumnya serta pengkodean lainnya yang mungkin dilanggar pada paten. Pada saat yang sama, Google juga dapat memberikan otorisasi ulang paten terkait kepada pengguna VP8 secara gratis. , Perjanjian ini juga cocok untuk encoding VPx generasi berikutnya. Sejauh ini, MPEG LA telah menghentikan pembentukan aliansi lisensi terpusat paten VP8, dan pengguna VP8 akan dapat menentukan untuk menggunakan kode ini secara gratis tanpa khawatir tentang kemungkinan royalti pelanggaran paten.
Implementasi open source VP8
Libvpx adalah satu-satunya implementasi open source VP8. Ini dikembangkan oleh On2 Technologies. Setelah Google mendapatkannya, itu membuka kode sumbernya. Lisensi sangat longgar dan dapat digunakan dengan bebas.
VP9
Pengantar
Pengembangan VP9 dimulai pada kuartal ketiga tahun 2011. Tujuannya adalah untuk mengurangi ukuran file hingga 50% dibandingkan dengan pengkodean VP8 dengan kualitas gambar yang sama. Tujuan lainnya adalah untuk melampaui pengkodean HEVC dalam efisiensi pengkodean.
Pada 13 Desember 2012, browser Chromium menambahkan dukungan untuk pengkodean VP9. Browser Chrome mulai mendukung pemutaran video berenkode VP9 pada 21 Februari 2013.
Google mengumumkan bahwa mereka akan menyelesaikan pengembangan kode VP9 pada 17 Juni 2013, saat browser Chrome akan memandu kode VP9 secara default. Pada 18 Maret 2014, Mozilla menambahkan dukungan VP9 ke browser Firefox.
Pada tanggal 3 April 2015, Google merilis libvpx1.4.0, yang menambahkan dukungan untuk kedalaman 10-bit dan 12-bit, pengambilan sampel chroma 4: 2: 2 dan 4: 4: 4, dan pengkodean / dekode multi-inti VP9.
Lisensi paten
VP9 adalah format terbuka, format pengkodean video bebas royalti.
Implementasi open source VP9
libvpx adalah satu-satunya implementasi open source VP9, yang dikembangkan dan dikelola oleh Google. Beberapa kode digunakan bersama oleh VP8 dan VP9, dan sisanya masing-masing adalah implementasi codec dari VP8 dan VP9.
Perbandingan VP9 dan H.264 dan HEVC
Perbandingan HEVC dan H.264 pada resolusi yang berbeda
Dibandingkan dengan H.264 / MPEG-4, rata-rata pengurangan kecepatan bit HEVC adalah:
Dapat dilihat bahwa bit rate telah turun lebih dari 60%
HEVC (H.265) memiliki keuntungan lebih besar dalam penghematan bit rate untuk VP9 dan H.264, masing-masing menghemat 48.3% dan 75.8% di bawah PSNR yang sama
H.264 memiliki keunggulan besar dalam waktu encoding. Dibandingkan dengan VP9 dan HEVC (H.265), HEVC adalah 6 kali lipat dari VP9, dan VP9 hampir 40 kali lipat dari H.264.
