“Kita mungkin akan membutuhkan sesuatu seperti IAEA (Badan Energi Atom Internasional) untuk upaya superintelijen; setiap upaya di luar batas kemampuan tertentu (atau sumber daya seperti komputasi) perlu diperiksa oleh otoritas internasional, memerlukan audit, pengujian Kepatuhan terhadap standar keamanan, pembatasan tingkat penyebaran dan tingkat keamanan, dan seterusnya."
Pimpinan OpenAI menerbitkan "Governance of Superintelligence" di blog resminya.
Kemajuan dalam kecerdasan buatan cukup cepat, dan bahaya yang mungkin terjadi cukup jelas, sehingga kepemimpinan OpenAI, pengembang ChatGPT, telah mengajukan diri bahwa dunia membutuhkan badan internasional untuk superintelijen yang serupa dengan energi nuklir yang mengatur.
Pada 22 Mei waktu setempat, pendiri OpenAI Sam Altman (Sam Altman), presiden Greg Brockman (Greg Brockman) dan kepala ilmuwan Ilya Sutskever (Ilya Sutskever) bergabung di perusahaan Menulis di blog, mengatakan bahwa laju inovasi dalam kecerdasan buatan sangat cepat sehingga kita tidak dapat mengharapkan institusi yang ada untuk mengontrol teknologi secara memadai.
Artikel berjudul "Governance of Superintelligence," mengakui bahwa AI tidak akan mengelola dirinya sendiri, "Kita mungkin pada akhirnya membutuhkan sesuatu yang mirip dengan IAEA (Badan Energi Atom Internasional) untuk upaya superintelligence; upaya ambang batas apa pun atau sumber daya seperti komputasi) perlu diperiksa oleh otoritas internasional, memerlukan audit, menguji apakah mereka memenuhi standar keamanan, membatasi tingkat penyebaran dan tingkat keamanan, dan sebagainya.”
Peneliti dan kritikus AI terkemuka Timnit Gebru mengatakan hal serupa dalam wawancara dengan The Guardian hari itu: "Kecuali ada tekanan eksternal untuk melakukan sesuatu yang berbeda, perusahaan tidak mengatur sendiri. Kami membutuhkan regulasi, kami membutuhkan sesuatu yang lebih baik daripada motif keuntungan murni." ." Gebru dipecat dari Google karena berbicara tentang bahaya kecerdasan buatan.
Proposal OpenAI bisa menjadi pembuka percakapan industri, menunjukkan bahwa merek dan vendor AI terbesar di dunia mendukung regulasi dan sangat membutuhkan pengawasan publik, tetapi "belum tahu bagaimana merancang mekanisme seperti itu."
Pekan lalu, Altman bersaksi di depan Kongres AS bahwa OpenAI "sangat prihatin" tentang pemilihan yang dipengaruhi oleh konten buatan AI. Dia khawatir industri AI dapat "membahayakan dunia secara signifikan". "Saya pikir jika teknologi ini salah, itu bisa menjadi sangat salah, dan kami ingin terus terang tentang itu." "Kami ingin bekerja sama dengan pemerintah untuk mencegah hal itu terjadi." Altman menyarankan agar Kongres membuat Badan baru yang mengeluarkan lisensi untuk teknologi AI "melampaui skala kemampuan tertentu" harus menjalani audit independen oleh para ahli yang dapat menilai apakah model tersebut mematuhi peraturan tersebut sebelum merilis sistem AI ke publik.
Berikut ini adalah teks lengkap dari "Tata Kelola Superintelligence":
Mengingat gambaran yang kita lihat sekarang, dapat dibayangkan bahwa dalam dekade berikutnya, sistem AI akan melampaui tingkat keahlian para ahli di sebagian besar domain dan melakukan aktivitas produktif sebanyak salah satu perusahaan terbesar saat ini.
Dalam hal potensi keuntungan dan kerugian, kecerdasan super akan lebih kuat daripada teknologi lain yang harus dihadapi manusia di masa lalu. Kita dapat memiliki masa depan yang lebih sejahtera; tetapi kita harus mengelola risiko untuk mencapainya. Mengingat potensi risikonya, kita tidak bisa hanya bersikap reaktif. Energi nuklir adalah contoh sejarah umum dari teknologi alam ini; biologi sintetik adalah contoh lainnya.
Kita juga harus mengurangi risiko teknologi AI saat ini, tetapi kecerdasan super memerlukan penanganan dan koordinasi khusus.
Titik awal
Ada sejumlah ide yang penting untuk peluang bagus kita untuk berhasil menavigasi perkembangan ini; di sini kami memberikan pemikiran pertama kami tentang tiga di antaranya.
Pertama, kita memerlukan beberapa tingkat koordinasi di antara upaya pengembangan terkemuka untuk memastikan bahwa pengembangan superintelijen berlangsung dengan cara yang membuat kita tetap aman dan membantu sistem ini berintegrasi dengan lancar dengan masyarakat. Ada banyak cara untuk mencapai hal ini; pemerintah terkemuka dunia dapat membuat program di mana banyak dari upaya saat ini menjadi bagiannya, atau kita dapat bersama-sama menyetujui (dengan dukungan organisasi baru yang diusulkan di bawah) bahwa kemampuan AI mutakhir Tingkat pertumbuhan perusahaan harus dibatasi pada tingkat tertentu setiap tahun.
Tentu saja, masing-masing perusahaan juga diharapkan untuk bertindak secara bertanggung jawab dan dengan standar yang sangat tinggi.
Kedua, kita mungkin akhirnya membutuhkan sesuatu yang mirip dengan IAEA (Badan Energi Atom Internasional) untuk upaya superintelijen; setiap upaya di luar batas kemampuan tertentu (atau sumber daya komputasi, dll.) perlu diperiksa oleh otoritas internasional, membutuhkan audit , menguji kepatuhan terhadap standar keamanan, membatasi penyebaran dan tingkat keamanan, dan banyak lagi. Melacak komputasi dan penggunaan energi akan sangat membantu dan memberi kami harapan bahwa ide ini benar-benar dapat dicapai. Sebagai langkah pertama, perusahaan dapat secara sukarela setuju untuk mulai mengimplementasikan elemen-elemen yang suatu hari nanti mungkin diperlukan oleh lembaga tersebut, sementara sebagai langkah kedua, masing-masing negara dapat mengimplementasikannya. Penting agar lembaga semacam itu fokus pada pengurangan risiko yang ada, daripada masalah yang harus diserahkan kepada masing-masing negara, seperti menentukan apa yang boleh dikatakan oleh AI.
Ketiga, kita membutuhkan kemampuan teknologi untuk mengamankan superintelligence. Ini adalah masalah penelitian terbuka, dan banyak pekerjaan sedang dilakukan oleh kami dan orang lain.
apa yang tidak termasuk dalam ruang lingkup
Kami yakin penting untuk mengizinkan perusahaan dan proyek sumber terbuka mengembangkan model di bawah ambang batas kemampuan yang signifikan tanpa jenis regulasi yang kami jelaskan di sini (termasuk mekanisme berat seperti lisensi atau audit).
Sistem saat ini akan menciptakan nilai yang sangat besar di dunia, dan meskipun memiliki risiko, tingkat risiko tersebut tampaknya sepadan dengan teknologi Internet lainnya, dan apa yang mungkin dilakukan masyarakat tampaknya sesuai.
Sebaliknya, sistem yang kami fokuskan akan memiliki momentum untuk mengungguli teknologi apa pun yang belum dibuat, dan kami harus berhati-hati untuk tidak mengecilkan fokus pada teknologi yang jauh di bawahnya dengan menerapkan standar serupa padanya.
Masukan dan potensi publik
Tetapi tata kelola sistem yang paling kuat, dan keputusan tentang penerapannya, harus memiliki pengawasan publik yang kuat. Kami percaya bahwa orang-orang di seluruh dunia harus secara demokratis menentukan batasan dan standar sistem AI. Kami belum tahu bagaimana merancang mekanisme seperti itu, tetapi kami berencana untuk bereksperimen dengan perkembangannya. Kami masih percaya bahwa pada skala luas ini, pengguna individu harus memiliki kontrol yang besar atas perilaku AI yang mereka gunakan.
Mengingat risiko dan kesulitannya, ada baiknya mempertimbangkan mengapa kami membuat teknologi ini.
Di OpenAI, kami memiliki dua alasan mendasar. Pertama, kami percaya ini akan mengarah ke dunia yang lebih baik daripada yang kita bayangkan hari ini (kita telah melihat contoh awal dari hal ini di berbagai bidang seperti pendidikan, karya kreatif, dan produktivitas pribadi). Dunia menghadapi banyak masalah, dan kita membutuhkan lebih banyak bantuan untuk menyelesaikannya; teknologi ini dapat meningkatkan masyarakat kita, dan kemampuan kreatif setiap orang yang menggunakan alat baru ini pasti akan mengejutkan kita. Pertumbuhan ekonomi dan peningkatan kualitas hidup akan menjadi fenomenal.
Kedua, kami percaya bahwa mencegah kecerdasan super akan menimbulkan risiko dan kesulitan yang tidak disadari. Karena manfaatnya sangat besar, biaya pembangunannya turun setiap tahun, jumlah pemain yang membangunnya meningkat dengan cepat, dan pada dasarnya ini adalah bagian dari jalur teknologi yang kita jalani, menghentikannya membutuhkan sesuatu yang mirip dengan sistem pengawasan global. , Bahkan ini tidak dijamin berhasil. Jadi kita harus melakukannya dengan benar.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Trio kepemimpinan OpenAI bersama-sama menulis artikel yang menyerukan badan internasional untuk mengawasi superintelligence
Sumber: Makalah
Reporter Fang Xiao
“Kita mungkin akan membutuhkan sesuatu seperti IAEA (Badan Energi Atom Internasional) untuk upaya superintelijen; setiap upaya di luar batas kemampuan tertentu (atau sumber daya seperti komputasi) perlu diperiksa oleh otoritas internasional, memerlukan audit, pengujian Kepatuhan terhadap standar keamanan, pembatasan tingkat penyebaran dan tingkat keamanan, dan seterusnya."
Kemajuan dalam kecerdasan buatan cukup cepat, dan bahaya yang mungkin terjadi cukup jelas, sehingga kepemimpinan OpenAI, pengembang ChatGPT, telah mengajukan diri bahwa dunia membutuhkan badan internasional untuk superintelijen yang serupa dengan energi nuklir yang mengatur.
Pada 22 Mei waktu setempat, pendiri OpenAI Sam Altman (Sam Altman), presiden Greg Brockman (Greg Brockman) dan kepala ilmuwan Ilya Sutskever (Ilya Sutskever) bergabung di perusahaan Menulis di blog, mengatakan bahwa laju inovasi dalam kecerdasan buatan sangat cepat sehingga kita tidak dapat mengharapkan institusi yang ada untuk mengontrol teknologi secara memadai.
Artikel berjudul "Governance of Superintelligence," mengakui bahwa AI tidak akan mengelola dirinya sendiri, "Kita mungkin pada akhirnya membutuhkan sesuatu yang mirip dengan IAEA (Badan Energi Atom Internasional) untuk upaya superintelligence; upaya ambang batas apa pun atau sumber daya seperti komputasi) perlu diperiksa oleh otoritas internasional, memerlukan audit, menguji apakah mereka memenuhi standar keamanan, membatasi tingkat penyebaran dan tingkat keamanan, dan sebagainya.”
Peneliti dan kritikus AI terkemuka Timnit Gebru mengatakan hal serupa dalam wawancara dengan The Guardian hari itu: "Kecuali ada tekanan eksternal untuk melakukan sesuatu yang berbeda, perusahaan tidak mengatur sendiri. Kami membutuhkan regulasi, kami membutuhkan sesuatu yang lebih baik daripada motif keuntungan murni." ." Gebru dipecat dari Google karena berbicara tentang bahaya kecerdasan buatan.
Proposal OpenAI bisa menjadi pembuka percakapan industri, menunjukkan bahwa merek dan vendor AI terbesar di dunia mendukung regulasi dan sangat membutuhkan pengawasan publik, tetapi "belum tahu bagaimana merancang mekanisme seperti itu."
Pekan lalu, Altman bersaksi di depan Kongres AS bahwa OpenAI "sangat prihatin" tentang pemilihan yang dipengaruhi oleh konten buatan AI. Dia khawatir industri AI dapat "membahayakan dunia secara signifikan". "Saya pikir jika teknologi ini salah, itu bisa menjadi sangat salah, dan kami ingin terus terang tentang itu." "Kami ingin bekerja sama dengan pemerintah untuk mencegah hal itu terjadi." Altman menyarankan agar Kongres membuat Badan baru yang mengeluarkan lisensi untuk teknologi AI "melampaui skala kemampuan tertentu" harus menjalani audit independen oleh para ahli yang dapat menilai apakah model tersebut mematuhi peraturan tersebut sebelum merilis sistem AI ke publik.
Berikut ini adalah teks lengkap dari "Tata Kelola Superintelligence":
Mengingat gambaran yang kita lihat sekarang, dapat dibayangkan bahwa dalam dekade berikutnya, sistem AI akan melampaui tingkat keahlian para ahli di sebagian besar domain dan melakukan aktivitas produktif sebanyak salah satu perusahaan terbesar saat ini.
Dalam hal potensi keuntungan dan kerugian, kecerdasan super akan lebih kuat daripada teknologi lain yang harus dihadapi manusia di masa lalu. Kita dapat memiliki masa depan yang lebih sejahtera; tetapi kita harus mengelola risiko untuk mencapainya. Mengingat potensi risikonya, kita tidak bisa hanya bersikap reaktif. Energi nuklir adalah contoh sejarah umum dari teknologi alam ini; biologi sintetik adalah contoh lainnya.
Kita juga harus mengurangi risiko teknologi AI saat ini, tetapi kecerdasan super memerlukan penanganan dan koordinasi khusus.
Titik awal
Ada sejumlah ide yang penting untuk peluang bagus kita untuk berhasil menavigasi perkembangan ini; di sini kami memberikan pemikiran pertama kami tentang tiga di antaranya.
Pertama, kita memerlukan beberapa tingkat koordinasi di antara upaya pengembangan terkemuka untuk memastikan bahwa pengembangan superintelijen berlangsung dengan cara yang membuat kita tetap aman dan membantu sistem ini berintegrasi dengan lancar dengan masyarakat. Ada banyak cara untuk mencapai hal ini; pemerintah terkemuka dunia dapat membuat program di mana banyak dari upaya saat ini menjadi bagiannya, atau kita dapat bersama-sama menyetujui (dengan dukungan organisasi baru yang diusulkan di bawah) bahwa kemampuan AI mutakhir Tingkat pertumbuhan perusahaan harus dibatasi pada tingkat tertentu setiap tahun.
Tentu saja, masing-masing perusahaan juga diharapkan untuk bertindak secara bertanggung jawab dan dengan standar yang sangat tinggi.
Kedua, kita mungkin akhirnya membutuhkan sesuatu yang mirip dengan IAEA (Badan Energi Atom Internasional) untuk upaya superintelijen; setiap upaya di luar batas kemampuan tertentu (atau sumber daya komputasi, dll.) perlu diperiksa oleh otoritas internasional, membutuhkan audit , menguji kepatuhan terhadap standar keamanan, membatasi penyebaran dan tingkat keamanan, dan banyak lagi. Melacak komputasi dan penggunaan energi akan sangat membantu dan memberi kami harapan bahwa ide ini benar-benar dapat dicapai. Sebagai langkah pertama, perusahaan dapat secara sukarela setuju untuk mulai mengimplementasikan elemen-elemen yang suatu hari nanti mungkin diperlukan oleh lembaga tersebut, sementara sebagai langkah kedua, masing-masing negara dapat mengimplementasikannya. Penting agar lembaga semacam itu fokus pada pengurangan risiko yang ada, daripada masalah yang harus diserahkan kepada masing-masing negara, seperti menentukan apa yang boleh dikatakan oleh AI.
Ketiga, kita membutuhkan kemampuan teknologi untuk mengamankan superintelligence. Ini adalah masalah penelitian terbuka, dan banyak pekerjaan sedang dilakukan oleh kami dan orang lain.
apa yang tidak termasuk dalam ruang lingkup
Kami yakin penting untuk mengizinkan perusahaan dan proyek sumber terbuka mengembangkan model di bawah ambang batas kemampuan yang signifikan tanpa jenis regulasi yang kami jelaskan di sini (termasuk mekanisme berat seperti lisensi atau audit).
Sistem saat ini akan menciptakan nilai yang sangat besar di dunia, dan meskipun memiliki risiko, tingkat risiko tersebut tampaknya sepadan dengan teknologi Internet lainnya, dan apa yang mungkin dilakukan masyarakat tampaknya sesuai.
Sebaliknya, sistem yang kami fokuskan akan memiliki momentum untuk mengungguli teknologi apa pun yang belum dibuat, dan kami harus berhati-hati untuk tidak mengecilkan fokus pada teknologi yang jauh di bawahnya dengan menerapkan standar serupa padanya.
Masukan dan potensi publik
Tetapi tata kelola sistem yang paling kuat, dan keputusan tentang penerapannya, harus memiliki pengawasan publik yang kuat. Kami percaya bahwa orang-orang di seluruh dunia harus secara demokratis menentukan batasan dan standar sistem AI. Kami belum tahu bagaimana merancang mekanisme seperti itu, tetapi kami berencana untuk bereksperimen dengan perkembangannya. Kami masih percaya bahwa pada skala luas ini, pengguna individu harus memiliki kontrol yang besar atas perilaku AI yang mereka gunakan.
Mengingat risiko dan kesulitannya, ada baiknya mempertimbangkan mengapa kami membuat teknologi ini.
Di OpenAI, kami memiliki dua alasan mendasar. Pertama, kami percaya ini akan mengarah ke dunia yang lebih baik daripada yang kita bayangkan hari ini (kita telah melihat contoh awal dari hal ini di berbagai bidang seperti pendidikan, karya kreatif, dan produktivitas pribadi). Dunia menghadapi banyak masalah, dan kita membutuhkan lebih banyak bantuan untuk menyelesaikannya; teknologi ini dapat meningkatkan masyarakat kita, dan kemampuan kreatif setiap orang yang menggunakan alat baru ini pasti akan mengejutkan kita. Pertumbuhan ekonomi dan peningkatan kualitas hidup akan menjadi fenomenal.
Kedua, kami percaya bahwa mencegah kecerdasan super akan menimbulkan risiko dan kesulitan yang tidak disadari. Karena manfaatnya sangat besar, biaya pembangunannya turun setiap tahun, jumlah pemain yang membangunnya meningkat dengan cepat, dan pada dasarnya ini adalah bagian dari jalur teknologi yang kita jalani, menghentikannya membutuhkan sesuatu yang mirip dengan sistem pengawasan global. , Bahkan ini tidak dijamin berhasil. Jadi kita harus melakukannya dengan benar.