Di dalam startup AI yang menyempurnakan Hollywood — satu demi satu

Hollywood terkenal karena selebritinya yang berlebihan, tetapi Tinseltown dengan ketat mengontrol satu hal yang memalukan: sumpah serapah.

Sutradara Scott Mann menemui kendala ini setelah syuting film thriller tersebut Jatuh. Raksasa film Lionsgate — terkenal karena John Wick, GergajiDan Permainan Kelaparan waralaba — ingin merilis film tersebut di AS. Tapi studio punya masalah besar. Tiga puluh enam di antaranya, tepatnya.

“Mereka bilang terlalu banyak masalah,” kata Mann kepada TNW melalui panggilan video dari LA.

Semua bom itu mendorong Jatuh menuju peringkat R, yang akan memangkas calon penonton. Untuk mengamankan PG-13 perlu memperluas jangkauan, kata-kata kotor itu harus dihilangkan.

Lebih mudah diucapkan daripada dilakukan. Pemotretan ulang akan memakan biaya yang besar dan keajaiban pasca produksi tidak dapat menghapus kata-kata kotor. Untungnya, Mann punya trik lain. Diam-diam, pembuat film asal Inggris itu sedang membangun sebuah startup — bernama Flawless — yang mengembangkan alat pengeditan video AI. Jatuh memberikan uji lapangan baru: menukar bom-f dengan julukan yang lebih lembut.

Mann meminta para pemain untuk merekam kata-kata yang lebih bersih. Setelah audio siap, sistem Flawless mulai bekerja. Perangkat lunak ini pertama-tama mengubah wajah para aktor menjadi model 3D. Jaringan saraf kemudian menganalisis dan merekonstruksi pertunjukan tersebut. Ekspresi wajah dan gerakan bibir disinkronkan dengan dialog baru.

Eksperimen tersebut terbukti berhasil. Semua 36 f-bom diganti tanpa bekas. Ya, hampir semuanya. “Pada akhirnya saya melakukan satu hal,” kata Mann. “Rupanya aku diperbolehkan melakukan satu hal saja.”

Puas dengan pengekangannya, dewan pemeringkat memberi Jatuh PG-13 yang didambakan. Film ini menjadi hit, terlaris sebuah dilaporkan $21 juta dibandingkan anggaran hanya $3 juta. Sekuelnya sekarang sedang syuting di Thailand.

Didukung oleh kesuksesannya, Mann mulai mengkomersialkan perangkat lunak tersebut. Iterasi terbaru adalah DeepEditor, alat AI yang menyempurnakan dialog dan pertunjukan.

Sistem studio

DeepEditor dapat memangkas garis, menyisipkan jeda, atau mengatur ulang waktu pengiriman. Ia bahkan dapat menyalin dan menempelkan pertunjukan dari satu gambar ke gambar lainnya. Semua keluarannya menawarkan resolusi 4K tingkat Hollywood, kedalaman warna 16-bit, dan ruang warna ACES.

Aplikasi akses awal untuk alat ini sekarang telah terbuka. Rilis produk lengkap dijadwalkan pada paruh pertama tahun ini.

“Hal ini sudah mengubah tempat orang mengambil gambar,” kata Mann. “Dan seiring dengan perkembangannya, saya pikir ini akan mengubah cara kita membuat film.”

Ini juga bukan satu-satunya alat yang Mann ingin ubah dalam film. Sekitar satu dekade lalu, ia mulai mengembangkan sistem AI lain untuk pembuatan film. Seperti DeepEditor, ini dimulai di lokasi syuting Hollywood.

Terobosan besar

Setelah menempuh pendidikan di sekolah film, TV Inggris, dan film pendek, Mann mendapat terobosan besar di Hollywood pada tahun 2014. Lionsgate menawarinya kursi sutradara untuk film thriller kriminal tersebut. Perampokan. Pemeran all-star yang dipimpin oleh Robert De Niro juga ikut serta.

Mann menikmati pengalaman itu. “Itu adalah sebuah keistimewaan. Kami sangat dekat dengan filmnya dan sangat senang dengan versi bahasa Inggrisnya. Tapi kemudian saya melihat terjemahan film tersebut dalam bahasa asing.”

Mann merasa “ngeri” dengan sulih suara tersebut. Naskahnya telah ditulis ulang dan gerak tubuh para aktornya telah bermutasi. Pelakunya, dia temukan, menyebar ke seluruh industri.

Masalahnya berasal dari proses penerjemahan yang sudah mapan di Hollywood. Saat film di-dubbing, naskahnya biasanya ditulis ulang agar sesuai dengan gerakan mulut aslinya. Jika kalimat baru masih tidak cocok dengan isyarat lama, pengisi suara akan mencobanya menyinkronkan keduanya dengan memutar penyampaiannya ke arah yang tidak wajar. Hasilnya berkisar dari lucu hingga menyebalkan.

“Ini sangat buruk bagi pembuat film dan aktornya, karena itu bukan representasi otentik dari karya mereka,” kata Mann. “Dan sebagai sebuah pengalaman, Anda tidak akan tenggelam jika tidak sinkronis.”

Mann mulai menyelidiki teknik sulih suara baru. Dia menjelajahi pemindaian kepala, tetapi renderingnya kurang realisme. Sulih suara hanya berpindah dari satu lembah luar biasa ke lembah lainnya.

Kehilangan kepercayaan pada VFX yang sudah mapan, Mann mulai mencari di luar industri film. Dia segera menemukan alternatif yang menjanjikan: Potret Video Dalam.

Hollywood bertemu GenAI

Diluncurkan pada tahun 2018, Potret Video Dalam merupakan terobosan besar bagi sektor AI generatif yang baru lahir. Teknik ini memungkinkan penghidupan kembali foto-realistis pada wajah hanya dengan menggunakan input video. Setiap gestur wajah dan gerakan bibir kemudian dapat disinkronkan dengan ucapan.

Hasil yang nyata mengejutkan para pengamat – termasuk Mann. “Itu mengejutkan saya,” katanya.

Mann menghubungi tim peneliti. Mereka sepakat untuk berkolaborasi dalam tes teknis baru: membuat karakter De Niro berbicara bahasa Jerman.

Transformasi tersebut, kata Mann, “seperti sihir.”

“Itu benar-benar memahami bagaimana aktor tertentu mungkin mengatakan kalimat tertentu… Anda mempertahankan kinerjanya, tetapi Anda dapat mengubah sinkronisitasnya.”

Mann yakin teknik ini ideal untuk Hollywood. Untuk membangun idenya menjadi sebuah bisnis, dia meminta saran dari Nick Lynes, seorang veteran industri teknologi. Bersama-sama, keduanya mendirikan Flawless pada tahun 2018.

Produk pertama startup ini adalah TrueSync, alat sulih suara yang diterapkan studio pada film-film Hollywood. Diantaranya adalah Racun: Tarian Terakhirblockbuster Marvel yang dirilis tahun lalu.

Flawless juga memamerkan a gulungan mendesis trailer yang diterjemahkan AI di Festival Film Cannes tahun ini. Namun, tidak semua klien siap membual tentang hasilnya.

Tindakan yang mengancam

Saat pemutaran perdana Musim Gugur semakin dekat, Lionsgate menjadi cemas. GenAI masih merupakan istilah baru pada saat itu, namun serikat pekerja sudah mengkhawatirkan ancaman terhadap para artis. Studio khawatir sulih suara visual film tersebut akan memicu reaksi balik.

“Mereka akan menarik rilisnya jika masalah ini tidak diselesaikan dengan Screen Actors Guild dan timbul kegelisahan besar,” kenang Mann. “Tapi untungnya, kami telah merencanakan alur kerja persetujuan dan [rights protections] sejak dini.”

Flawless membangun rencana di atas beberapa pilar. Semua data akan diambil dari sumber yang sah — bukan diambil tanpa izin seperti yang dilakukan banyak perusahaan GenAI. Setiap output akan sepenuhnya bebas hak. Aktingnya akan tetap sesuai dengan penampilan aslinya. Perubahan signifikan apa pun memerlukan persetujuan tambahan.

Startup juga membatasi operasi sistem. “Kami sering menyebut model kami 'model sempit',” kata Mann. “Mereka besar, tapi fokus pada aspek tertentu dan dikurasi untuk tujuan tertentu. Mereka sangat tepat sasaran dan berdasarkan pada data bersih yang dapat digunakan untuk tujuan tersebut.”

Flawless mempresentasikan rencananya kepada Screen Actors Guild (SAG). “Mereka mengacungkannya,” kata Mann. Pada bulan Agustus 2022, Musim Gugur dirilis secara teatrikal di AS. Film ini — dan sulih suara — sukses besar.

Hanya beberapa bulan kemudian, GenAI menjadi populer. Pemicunya adalah peluncuran ChatGPT pada bulan November. Gelombang generator gambar, teks dan audio mengikuti jejaknya. Tiba-tiba, ancaman AI terhadap aktor, artis, dan hak cipta menjadi perhatian publik.

Pandangan lain

Pada bulan Juli 2023, serikat aktor SAG-AFTRA memulai pemogokan terpanjang dalam sejarahnya. Salah satu kekhawatiran utama guild adalah ancaman yang ditimbulkan oleh AI.

Setelah berbulan-bulan melakukan negosiasi yang intens, serikat pekerja tersebut mencapai kesepakatan dengan perusahaan-perusahaan terkemuka Hollywood. Di bawah perjanjianperubahan digital apa pun memerlukan persetujuan eksplisit — kecuali jika perubahan tersebut “secara substansial sesuai dengan naskah, dilakukan, dan/atau direkam”.

Mann menyambut baik persyaratan tersebut. Mereka tidak akan membatasi sinkronisasi bibir untuk sulih suara berbahasa asing, namun akan menerapkan persyaratan izin yang ketat untuk setiap perubahan berarti pada naskah atau pertunjukan.

Aturan baru ini memberikan peluang bisnis bagi Flawless. Dengan mendukung peraturan serikat pekerja, startup ini berharap dapat segera mendapatkan daya tarik di Hollywood.

Sebulan setelah pemogokan SAG-AFTRA dimulai, Flawless meluncurkan platform manajemen hak baru. Dinamakan Artistic Rights Treasury (ART), sistem ini membagikan hasil edit yang dihasilkan AI kepada para artis. Jika aktor menyetujui perubahan tersebut, mereka dapat menyetujuinya dalam aplikasi. Jika mereka tidak menyukai versi baru, mereka dapat mengirimkan pendapat mereka sendiri.

ART kini telah dimasukkan ke dalam DeepEditor. Mann yakin perpaduan antara pengeditan AI dan perlindungan menciptakan produk yang unik. “DeepEditor akan menjadi solusi AI perusahaan pertama yang sah di pasar,” katanya. “Semua hal lainnya penuh dengan kontroversi dan isu hak asasi manusia.”

Masa depan yang lebih baik untuk Hollywood?

Seiring berjalannya waktu, Mann berharap GenAI dapat memberikan peluang tanpa batas bagi para pembuat film. Dia membayangkan pengurangan biaya, pengurangan pekerjaan yang membosankan, dan penurunan hambatan masuk. Jika semua berjalan sesuai rencana, Hollywood akan kembali menyukai orisinalitas.

“Kunci agar industri ini berkembang adalah inovasi – dan menerima inovasi secara bertanggung jawab,” kata Mann.

Namun dia pun memiliki pelajaran untuk dipelajari tentang bekerja secara bertanggung jawab. Selama produksi untuk Jatuh sekuelnya, Mann mengalami masalah yang familiar.

“Aku tidak sengaja telah menulis terlalu banyak f*cks lagi,” desahnya. “Kami harus berbincang: kami diperbolehkan melakukan satu hal, jadi mari kita gunakan dengan bijak.”