Pengembangan dan pembelajaran audio dan video

Pertama-tama kami berasumsi bahwa seseorang tidak memiliki dasar apa pun dalam audio dan video, dan tidak pernah mempelajari pengetahuan terkait pemrosesan sinyal digital. Dasar matematika pada dasarnya adalah tingkat sekolah menengah atas, tetapi dia akrab dengan pengembangan C / C ++, setidaknya akrab dengan kompilasi dan debugging IDE di bawah platform tertentu.

Fokus pada dua proyek open source ffmpeg dan webRTC, terutama melihat bagian video dari ffmpeg dan bagian audio webRTC.

Pertama-tama, mulai dengan decoding video. Ini adalah yang paling sederhana. Kode dasar untuk memanggil decoding video ffmpeg hanya sekitar 100 baris. Penguraian kode video hanya perlu memahami h.264, 80%+ adegan dalam format penyandian ini, memahami dasar H.264 sps pps NAL dan konsep format file lainnya, memahami prinsip format gambar YUV, dan memahami konversi YUV ke RGB , Jadi Anda dapat melakukan rendering gambar, Anda dapat mencapai pemutar video sederhana. (Pada dasarnya di tahap pertama)

Kemudian, untuk mempelajari tentang pengkodean video, disarankan untuk memulai dengan x264, panggilan sederhana ke kode pengkodean x264 kurang dari 100 baris. Encoding lebih rumit daripada decoding karena decoding tidak memerlukan parameter apa pun untuk dikonfigurasi, dan encoding memiliki banyak parameter yang perlu dikonfigurasi. Pada awalnya, cukup pahami beberapa konsep dasar, seperti frame rate, metode kontrol aliran umum ABR CRF, GOP, I / B Apa arti / P Frame masing-masing. (Akrab dengan pengkodean X264 lagi)

Codec bagian audio mirip dengan video. Pada tahap awal, Anda hanya perlu memahami dua encoder EAAC + dan Silk, memahami konsep sound channel, sampling rate, dll., Serta memahami format file Wave. Bisa menjadi pemutar audio sederhana. (Buat pemutar audio)

Bagian kompleks dari audio bukanlah codec, tetapi efek suaranya. Lihatlah modul Audio Processing di webRTC dan pahami konsep berikut: denoising NS, echo cancellation AEC, mute detection VAD, automatic gain control AGC, dan built-in webRTC. Meskipun algoritme ini bukan yang terbaik, algoritme ini dapat menyelesaikan 90% + masalah, dan itu layak untuk dipelajari. (Pelajari pemrosesan audio webrtc)

Setelah mempelajari ini, saya perlu memikirkan sebuah pertanyaan, apakah saya ingin mengambil rute teknik atau rute algoritmik. Jika ini adalah jalur algoritmik, maka saya harus belajar matematika. Di balik pemrosesan sinyal digital adalah sejumlah besar teori matematika dasar. Jika ini adalah rute teknik, maka Anda harus mempelajari pengembangan lintas platform, mempelajari pengumpulan, pemutaran, dan pemrosesan audio dan video di bawah berbagai platform, dan mempelajari pengoptimalan bahasa assembly di berbagai platform. (Terkait platform)

Audio dan video adalah bidang yang sangat dalam, dan Anda tidak akan pernah menyelesaikan pembelajaran seumur hidup, tetapi bidang ini memiliki keunggulan yaitu kecepatan update pengetahuan relatif lambat, hal-hal yang dipelajari tidak mudah dihilangkan, dan penumpukan pengalaman sangat penting