OpenAI menambahkan watermark tak kasat mata pada teks chatbot ChatGPT dan output pemrograman Codex di seluruh Uni Eropa. Tapi, berdasarkan pengujian internalnya, mengganti seperempat kata dengan sinonim hanya membuat deteksi turun menjadi 17% saja.
Langkah ini menjawab EU AI Act, yaitu buku aturan AI dari Uni Eropa, yang mewajibkan label yang bisa dibaca mesin pada teks hasil AI. Meski begitu, OpenAI mengakui kalau teknologi ini masih belum matang, sehingga detektornya untuk sementara belum bisa diakses publik.
Seberapa Kuat Watermark ChatGPT Jika Teksnya Diedit?
Menurut pengumuman OpenAI, sistem bernama textGrain ini mengarahkan pilihan kata model AI untuk meninggalkan pola statistik tersembunyi. Detektor terpisah akan memindai tulisan untuk mencari pola tersebut.
Watermark ini tersembunyi di pilihan kata itu sendiri, terang OpenAI dalam FAQ mereka. Tidak ada karakter tersembunyi, spasi tak terlihat, atau tanda baca aneh apa pun yang disisipkan. Itu artinya, trik umum untuk membersihkan karakter tersembunyi tidak akan berguna di sini.
Panjang teks sangat berpengaruh. OpenAI mengukur teks dengan token, yakni potongan kata yang diproses oleh model AI. Satu token setara dengan sekitar tiga perempat kata dalam bahasa Inggris.
Pada pengujian OpenAI, detektor bisa mendeteksi sekitar 66% jawaban yang belum diedit dengan panjang sekitar 150 kata. Jika panjangnya sekitar 300 kata, tingkat deteksi naik menjadi sekitar 92%.
Editan ringan juga bisa melemahkan watermark ChatGPT. Dalam teks 300 kata, mengganti satu dari sepuluh kata dengan sinonim menurunkan deteksi dari 92% jadi 66%. Sementara, jika satu dari empat kata yang diganti, deteksi turun hingga 17% saja.
Watermark ini hampir tidak memengaruhi skor benchmark untuk GPT-6 Astra milik OpenAI, model frontier terbaru dari perusahaan tersebut.
Mengapa OpenAI Tidak Membuka Detektor untuk Publik?
Sebagai gantinya, OpenAI hanya menerima aplikasi dari peneliti yang disetujui dan organisasi ahli. OpenAI menyebut, hasil deteksi positif tidak mengungkap identitas pengguna, prompt, atau isi percakapan.
Hasil negatif juga tidak bisa membuktikan apapun. Teks yang pendek, sudah diedit, atau hasil terjemahan bisa lolos dari detektor — begitu juga konten dari alat AI pesaing.
Ketiadaan watermark yang terdeteksi tidak membuktikan penulisnya manusia.
Sumber: OpenAI
Untuk file gambar dan audio, sistemnya berbeda. Siapa saja bisa mengunggah file tersebut ke alat verifikasi publik OpenAI dan memeriksa keberadaan watermark SynthID-nya.
Di luar Eropa, watermark ChatGPT ini masih nonaktif secara default. Namun, pelanggan API dari seluruh dunia sekarang bisa mengaktifkannya untuk model-model terpilih melalui pengaturan project atau organisasi mereka.
Peluncuran ini mengikuti pemberlakuan penegakan transparansi AI Act oleh Uni Eropa sejak Agustus lalu. Untuk industri aset kripto, dampaknya terasa jelas, karena adopsi AI untuk kejahatan naik 40% dari tahun ke tahun, menurut TRM Labs.
Karenanya, kesenjangan antara permintaan regulator dan kemampuan alat deteksi kemungkinan besar akan menentukan bagaimana setiap laboratorium AI besar mematuhi aturan ke depannya.
