Sebagai teknologi high-tech yang paling berkembang pesat dalam sejarah manusia, model besar telah menarik perhatian semua orang. Web3, yang baru saja menjadi hal kemarin, semakin banyak diuji secara hukum. Namun sebagai teknologi yang benar-benar berbeda, tidak ada substitusi di antara keduanya. Orang yang bertanggung jawab atas 'AI+Crypto Studio' di Pulau Semua Hal - Bapak Tian Hongfei, akan membahas dengan Anda masalah-masalah yang dihadapi dalam pengembangan model besar dan bagaimana perusahaan di bidang web3 berkomitmen untuk menyelesaikan masalah-masalah ini.

Masalah Industri Model Besar dan Bagaimana Menggabungkan Web3 untuk Memecahkannya

Seperti yang kita semua ketahui, industri Internet memasuki tahap oligopoli setelah 2015, dan negara-negara di seluruh dunia telah melakukan tinjauan antitrust terhadap perusahaan platform. Kemunculan model-model besar lebih memperkuat posisi monopoli dari oligopoli. Model-model besar termasuk algoritma, daya komputasi, dan data:

• Dalam bidang algoritma, meskipun ada sejumlah monopoli, algoritma dapat tetap terbuka karena kekuatan sumber terbuka dan persaingan universitas riset, serta ketidakpercayaan masyarakat terhadap oligarki;
• Dalam hal daya komputasi, karena biaya sangat tinggi untuk melatih model besar, daya komputasi hanya bisa diperoleh oleh perusahaan besar, sehingga pada dasarnya ini mengakibatkan produksi algoritma sepenuhnya dikendalikan oleh perusahaan besar;
• Dalam hal data, sementara pelatihan model-model besar bergantung pada data publik, data publik akan segera habis berdasarkan pertumbuhan parameter-parameter model besar, dan oleh karena itu pertumbuhan terus menerus dari model-model besar bergantung pada data pribadi. Sementara jumlah data mutlak yang dimiliki oleh sejumlah besar bisnis kecil sangat besar, sulit untuk dimanfaatkan secara terisolasi, sehingga bisnis besar masih memiliki monopoli atas data.

Sebagai hasilnya, era Model Besar lebih terpusat daripada sebelumnya, dan dunia masa depan kemungkinan akan dikendalikan oleh sekelompok tangan atau bahkan satu komputer saja. (Bahkan di dunia Web3 terdesentralisasi, End Game yang diusulkan oleh Vitalik untuk Ethereum akan dijalankan oleh mesin besar di luar blok.)

Selain itu, perusahaan OpenAI yang mengembangkan ChatGPT hanya memiliki lebih dari 20 personel inti. Karena berbagai alasan, algoritma ChatGPT belum dibuka secara open source sampai saat ini. Sifat asli lembaga nirlaba telah berubah menjadi laba terbatas. Karena berbagai aplikasi yang bergantung pada ChatGPT telah mengubah kehidupan manusia, beberapa modifikasi pada model ChatGPT akan memiliki dampak besar pada manusia. Dibandingkan dengan prinsip jangan lakukan kejahatan milik Google, ChatGPT memiliki dampak yang lebih dalam pada orang.

Oleh karena itu, kredibilitas komputasional model akan menjadi isu penting. Meskipun OpenAI dapat dioperasikan sebagai organisasi nirlaba, kontrol kekuasaan oleh beberapa orang masih akan memiliki banyak konsekuensi buruk. (Sebaliknya, meskipun Ethereum End Game yang diusulkan oleh Vitalik dihasilkan oleh mesin, akan tetap menjaga transparansi melalui verifikasi yang sangat mudah oleh publik.)

Pada saat yang sama, masih ada masalah dalam industri model besar: kekurangan daya komputasi, data pelatihan yang tersedia hampir habis, dan berbagi model. Menurut statistik, sebelum tahun 2021, masalah dalam industri kecerdasan buatan adalah kurangnya data, dan semua perusahaan pembelajaran mendalam mencari data dalam industri vertikal; dan setelah model besar, kekurangan daya komputasi menjadi hambatan.

Pengembangan model besar dibagi menjadi beberapa tahap: pengumpulan data, pra-pemrosesan data, pelatihan model, penyetelan model, dan inferensi kueri penyebaran. Dari tahap-tahap ini, mari kita singkat menggambarkan kontribusi blockchain untuk model besar dan bagaimana mengatasi kerugian konsentrasi berlebihan dari model besar.

• Dalam hal data, karena data publik akan habis pada tahun 2030, jumlah data pribadi yang lebih berharga dan lebih besar perlu dimanfaatkan sambil melindungi privasi melalui teknologi blockchain;
• Dalam hal anotasi data, token dapat digunakan untuk mendorong anotasi dan verifikasi data dalam skala yang lebih besar;
• Pada tahap pelatihan model, pembagian daya komputasi dicapai melalui pertukaran model dan pelatihan kolaboratif;
• Selama fase penyempurnaan model, partisipasi komunitas dapat didorong melalui token;
• Dalam fase kueri pengguna dan perhitungan penalaran, blockchain dapat melindungi privasi data pengguna.

Secara khusus:

1) Kekuatan komputasi yang langka

Kekuatan komputasi adalah faktor produksi yang diperlukan untuk model-model besar, dan saat ini merupakan faktor produksi termahal, bahkan begitu mahalnya sehingga startup yang baru saja mengumpulkan dana harus mentransfer 80% dana mereka ke NVIDIA untuk membeli GPU. Perusahaan yang memproduksi model besar sendiri harus menghabiskan setidaknya $50 juta untuk membangun pusat data mereka sendiri, sementara startup kecil harus membeli layanan komputasi awan yang mahal.

Namun, popularitas jangka pendek dari model-model besar dan konsumsi sumber daya komputasi yang besar oleh model-model besar itu sendiri telah jauh melebihi kapasitas pasokan NVIDIA. Menurut statistik, permintaan daya komputasi dari model-model besar melonjak dua kali lipat setiap beberapa bulan. Antara tahun 2012 dan 2018, permintaan daya komputasi meningkat 300.000 kali lipat, dan biaya perhitungan model besar meningkat 31 kali setiap tahun.

Bagi perusahaan Internet China, mereka juga harus menghadapi embargo AS terhadap GPU high-end. Bisa dikatakan bahwa biaya pelatihan yang besar adalah alasan inti mengapa teknologi model besar dikendalikan oleh beberapa orang.

Jadi bagaimana cara menyelesaikan masalah daya komputasi dari model-model besar melalui blockchain?

Mempertimbangkan produksi model-model besar, itu terutama dibagi menjadi pelatihan model besar, penyetelan halus, dan perhitungan inferensi kueri pengguna. Meskipun pelatihan model besar terkenal mahal, versi model besar hanya perlu dihasilkan sekali. Sebagian besar waktu, bagi pengguna layanan model besar, hanya diperlukan perhitungan inferensial. Menurut statistik AWS, ini juga dikonfirmasi, 80% dari daya komputasi sebenarnya dikonsumsi dalam perhitungan inferensi.

Meskipun pelatihan model besar memerlukan kemampuan komunikasi berkecepatan tinggi antara GPU, itu tidak dapat diselesaikan di jaringan (kecuali Anda memilih untuk menukar perpanjangan waktu dengan biaya rendah). Tetapi perhitungan inferensi dapat dilakukan pada satu GPU. Penyetelan halus didasarkan pada model besar yang telah dihasilkan dan diberikan data profesional, sehingga memerlukan sumber daya komputasi yang jauh lebih sedikit daripada pelatihan model besar.

Ketika membahas rendering grafis, jelas bahwa GPU konsumen performa lebih baik daripada GPU enterprise dan sering tidak digunakan. Sejak University of California, Berkeley meluncurkan SETI untuk mencari alien pada tahun 1999, dan Grid Computing menjadi populer pada tahun 2000, ada beberapa arsitektur teknis yang menggunakan sumber daya komputasi yang tidak digunakan untuk bekerja sama menyelesaikan beberapa tugas komputasi besar. Sebelum munculnya blockchain, kolaborasi ini biasanya difokuskan pada tugas-tugas ilmiah dan bergantung pada antusiasme serta partisipasi kesejahteraan publik dari peserta, yang membatasi dampaknya. Sekarang dengan menggunakan teknologi blockchain, berbagai aplikasinya dapat didorong melalui token.

Sama seperti proyek komputasi awan terdesentralisasi Akash, jaringan komputasi umum telah dibentuk, dan pengguna dapat mendeploy model pembelajaran mesin untuk perhitungan penalaran dan rendering gambar. Ada juga proyek AI berbasis blockchain seperti Bittensor, Modulus Lab, Giza, dan ChainML, semua yang ditujukan untuk perhitungan inferensi query.

Protokol komputasi AI blockchain Gensyn dan platform AI generatif sumber terbuka Together bertekad untuk membangun jaringan komputasi terdesentralisasi yang melayani pelatihan model besar.

Tantangan: Bagi jaringan komputasi terdesentralisasi, kesulitan bukan hanya terletak pada jaringan komunikasi yang lambat dan tidak dapat diandalkan, ketidakmampuan untuk menyinkronkan status komputasi, penanganan berbagai jenis lingkungan komputasi tipe GPU, tetapi juga penanganan insentif ekonomi, kecurangan peserta, bukti beban kerja, keamanan, perlindungan privasi, dan serangan anti-spam.

2) Data langka dan koreksi data

Algoritma inti dari model besar, Reinforcement Learning from Human Feedback (RLHF), memerlukan partisipasi manusia dalam pelatihan penyesuaian halus untuk memperbaiki kesalahan dan menghilangkan bias serta informasi berbahaya. OpenAI menggunakan RLHF untuk menyesuaikan GPT3 untuk menghasilkan ChatGPT. Dalam prosesnya, OpenAI menemukan ahli dari Grup Facebook dan membayar buruh Kenya $2 per jam. Pelatihan optimisasi seringkali memerlukan partisipasi ahli manusia pada data dari bidang-bidang khusus, dan implementasinya dapat sepenuhnya dikombinasikan dengan cara-cara untuk mendorong partisipasi komunitas melalui token.

Industri Jaringan Infrastruktur Fisik Terdesentralisasi (DePINs) menggunakan token untuk mendorong orang berbagi data nyata, real-time dari dunia fisik sesuai sensor untuk berbagai pelatihan model. Termasuk: React mengumpulkan data penggunaan energi, DIMO mengumpulkan data mengemudi kendaraan, WeatherXM mengumpulkan data cuaca, dan Hivemapper mengumpulkan data peta melalui insentif token untuk mendorong orang menandai rambu lalu lintas dan membantu algoritma pembelajaran mesin RLHF-nya meningkatkan akurasi.

Pada saat yang sama, ketika parameter-model besar meningkat, data publik yang ada akan habis pada tahun 2030, dan kemajuan terus-menerus dari model-model besar akan harus mengandalkan data pribadi. Jumlah data pribadi 10 kali lipat dari data publik, tetapi tersebar di tangan perusahaan dan individu, serta bersifat pribadi dan rahasia, sehingga sulit untuk dieksploitasi. Dilema ganda muncul. Di satu sisi, model besar memerlukan data, tetapi meskipun pihak yang memiliki data memerlukan model besar, mereka tidak ingin menyerahkan data kepada model besar. Masalah ganda ini juga dapat diselesaikan melalui teknologi di bidang blockchain.

Untuk model inferensi sumber terbuka, karena membutuhkan sumber daya komputasi yang lebih sedikit, model dapat diunduh ke segmen data untuk dieksekusi; untuk model non-publik atau model besar, data perlu di-desensitisasi dan diunggah ke ujung model. Metode desensitisasi meliputi data sintetis dan bukti pengetahuan nol.

Apakah model diunduh ke sisi data atau data diunggah ke sisi model, masalah otoritas perlu dipecahkan untuk mencegah kecurangan model atau data.

Tantangan: Meskipun insentif token Web3 dapat membantu menyelesaikan masalah ini, masalah kecurangan perlu dipecahkan.

3) Kerjasama model

Di komunitas Civitai, platform berbagi model lukisan AI terbesar di dunia, orang membagikan model dan dapat dengan mudah menyalin model dan memodifikasinya untuk menghasilkan model yang memenuhi kebutuhan mereka sendiri.

Bittensor, seorang pemula kecerdasan buatan sumber terbuka dan proyek blockchain konsensus ganda, telah merancang serangkaian model terdesentralisasi yang mendorong token. Berdasarkan mekanisme kolaborasi dari berbagai ahli, proyek ini bersama-sama menghasilkan model pemecahan masalah dan mendukung distilasi pengetahuan, yang dapat dibagikan di antara model-model. Informasi, pelatihan yang dipercepat, yang memberikan banyak startup kesempatan untuk berpartisipasi dalam model-model besar.

Sebagai jaringan yang terpadu untuk layanan di luar rantai seperti otomatisasi, orakel, dan kecerdasan buatan bersama, Autonolas telah merancang kerangka kerja kolaborasi untuk agen mencapai konsensus melalui Tendermint.

Tantangan: Pelatihan banyak model masih memerlukan banyak komunikasi, dan keandalan serta efisiensi waktu dari pelatihan terdistribusi masih merupakan hambatan besar;

Model-model besar dan inovasi dalam Web3

Bersama dengan yang di atas dibahas bagaimana Web3 dapat dimanfaatkan untuk memecahkan beberapa masalah di industri pemodelan besar. Kombinasi dua kekuatan penting akan menghasilkan beberapa aplikasi inovatif.

1) Gunakan ChatGPT untuk menulis kontrak pintar

Baru-baru ini, seorang seniman NFT menggunakan prompt untuk mengoperasikan ChatGPT tanpa pengetahuan pemrograman apa pun untuk merilis kontrak pintar sendiri dan menerbitkan token Turboner. Seniman tersebut menggunakan YouTube untuk merekam proses kreasi selama seminggu, menginspirasi semua orang untuk menggunakan ChatGPT. Berpartisipasi dalam pembuatan kontrak pintar.

2) Pembayaran Kripto memberdayakan manajemen cerdas

Pengembangan model-model besar telah sangat meningkatkan kecerdasan asisten pintar, dan dikombinasikan dengan pembayaran terenkripsi, asisten pintar akan dapat mengkoordinasikan lebih banyak sumber daya dan berkolaborasi dalam lebih banyak tugas di pasar asisten pintar. AutoGPT menunjukkan ketergantungan pada kartu kredit yang disediakan pengguna, dan ia dapat membantu pengguna untuk mengotomatisasi pembelian sumber daya komputasi awan dan pemesanan penerbangan, tetapi dibatasi oleh login otomatis atau otentikasi keamanan lainnya, dan kemampuan AutoGPT sangat dibatasi oleh login otomatis atau otentikasi keamanan lainnya. Desain Sistem Agen Multi (MAS), termasuk Protokol Jaringan Kontrak, melibatkan kolaborasi beberapa asisten cerdas dalam pasar terbuka, dan jika didukung oleh token, kolaborasi tersebut akan menembus kolaborasi terbatas berdasarkan kepercayaan dan menjadi kolaborasi berskala lebih besar berdasarkan ekonomi pasar, sama seperti masyarakat manusia bergerak dari masyarakat primitif ke masyarakat moneter.

3) zkML（Zero Knowledge Machine Learning）

Penerapan teknologi zkp (Zero Knowledge Proof) dalam blockchain dibagi menjadi dua kategori. Salah satunya adalah untuk memecahkan kinerja blockchain dengan memindahkan persyaratan komputasi ke luar rantai, dan kemudian melakukan sertifikasi melalui zkp; kategori kedua digunakan untuk melindungi privasi transaksi. Aplikasi zkp dalam model besar meliputi perhitungan tepercaya model (untuk membuktikan konsistensi dan otentisitas perhitungan model) dan perhitungan privasi data pelatihan. Di lingkungan terdesentralisasi, penyedia layanan model perlu membuktikan kepada pelanggan bahwa model yang dijual adalah model yang dijanjikan kepada pelanggan, tanpa melakukan pelanggaran; bagi mitra data pelatihan, mereka perlu berpartisipasi dalam pelatihan atau menggunakan model dengan asumsi melindungi privasi mereka sendiri. Meskipun zkp menawarkan beberapa kemungkinan, masih ada banyak tantangan, dan solusi seperti komputasi homomorfik dan komputasi privasi terfederasi masih belum matang.

Solusi berdasarkan arsitektur BEC (Blockchain Edge Client)

Selain dari sekolah-sekolah di atas, ada sekolah lain yang tidak mendapatkan perhatian luas karena kurangnya insentif token dan penggunaan aplikasi blockchain minimalist.

Arsitektur berbasis BEC memiliki banyak kesamaan dengan konsep Web5 yang disebutkan oleh Jack Dorsey dan Solid oleh Tim Berners-Lee dalam banyak aspek.

Mereka semua berpikir:

• Setiap orang memiliki simpul ujung kontrol yang sesuai;
• Komputasi dan penyimpanan dalam sebagian besar skenario aplikasi harus ditangani di node tepi;
• Kolaborasi antara node individu diselesaikan melalui blockchain;
• Komunikasi antara node dilakukan melalui P2P;
• Individu dapat sepenuhnya mengendalikan node mereka sendiri atau mempercayakan orang yang dipercayai untuk menyerahkan pengelolaan node (disebut server relay dalam beberapa skenario);
• Mencapai desentralisasi yang paling besar yang memungkinkan;

Ketika node ini sesuai dengan setiap orang dan dikendalikan oleh individu, menyimpan data pribadi dan memuat model besar, agen cerdas pribadi yang sepenuhnya dipersonalisasi dan dilindungi privasinya (Agen) sebesar 100% dapat dilatih. Mitra pendiri Tiongkok SIG Dr. Gong Ting secara romantis membandingkan node pribadi masa depan dengan awan pribadi di atas kepala Olaf dalam film 'Frozen' yang selalu mengikutinya.

Dengan cara ini, Avatar di Metaverse tidak lagi menjadi gambar yang dikendalikan oleh keyboard, tetapi menjadi agen dengan jiwa. Dia dapat mempelajari berita online, memproses email, dan bahkan secara otomatis membalas pesan obrolan sosial Anda atas nama kami 24 jam sehari. (Perhatian, pacar yang suka mengomel, Anda mungkin perlu cara untuk mendeteksi apakah pacar Anda menggunakan agen untuk berurusan dengan Anda di masa depan). Ketika agen Anda membutuhkan keterampilan baru, sama seperti menginstal aplikasi di ponsel, Anda dapat menginstal aplikasi baru di node Anda.

Ringkasan

Secara historis, dengan platformisasi yang terus-menerus dari pengembangan Internet, meskipun waktu untuk kelahiran perusahaan unicorn menjadi lebih pendek, hal ini semakin merugikan bagi pengembangan startup.

Dengan platform distribusi konten yang efisien yang disediakan oleh Google dan Facebook, Youtube, yang lahir pada tahun 2005, diakuisisi oleh Google hanya setahun kemudian dengan harga US$1,6 miliar.

Bersama dengan platform distribusi aplikasi efisien dari Apple App Store, Instagram didirikan pada tahun 2012 oleh sedikit lebih dari 10 orang dan diakuisisi oleh Facebook seharga US$1 miliar pada tahun 2012.

Dengan dukungan model besar ChatGPT, Midjourney, yang hanya memiliki 11 orang, menghasilkan US$100 juta setiap tahun. Dan OpenAI, yang tidak memiliki lebih dari 100 orang, dinilai lebih dari 20 miliar dolar AS.

Perusahaan platform internet semakin kuat, dan munculnya model-model besar tidak mengubah pola eksisting internet yang dimonopoli oleh perusahaan besar. Tiga elemen dari model-model besar, algoritma, data, dan kekuatan komputasi masih dimonopoli oleh perusahaan besar. Perusahaan rintisan tidak memiliki kemampuan untuk berevolusi menjadi model-model besar dan tidak memiliki kekuatan finansial untuk melatih model-model besar. Mereka hanya bisa fokus pada penerapan model-model besar di bidang vertikal. Meskipun model-model besar tampaknya mempromosikan penyebaran pengetahuan, kekuatan sebenarnya dikendalikan oleh tidak lebih dari 100 orang di dunia yang memiliki kemampuan untuk menghasilkan model.

Jika model-model besar menembus ke semua aspek kehidupan masyarakat di masa depan, dan Anda bertanya kepada ChatGPT tentang pola makan harian Anda, kesehatan Anda, email pekerjaan Anda, dan surat-surat pengacara Anda, maka dalam teori, mereka yang menguasai model-model besar hanya perlu diam-diam mengubah beberapa parameter. Hal itu dapat sangat memengaruhi kehidupan banyak orang. Beberapa pengangguran yang disebabkan oleh model besar mungkin dapat diatasi melalui UBI atau Worldcoin, tetapi konsekuensi dari kemungkinan kejahatan yang disebabkan oleh model besar yang dikontrol oleh beberapa orang lebih serius. Itulah niat asli OpenAI. Meskipun OpenAI memecahkan masalah yang didorong oleh keuntungan melalui metode nirlaba, bagaimana cara mereka menyelesaikan masalah yang didorong oleh kekuasaan? Jelas, model-model besar dengan cepat melatih model-model pengetahuan menggunakan pengetahuan yang terakumulasi oleh manusia selama beberapa dekade dan dibagikan secara bebas di Internet, namun model ini dikendalikan oleh sejumlah kecil orang.

1. Oleh karena itu, ada konflik nilai yang besar antara model besar dan blockchain. Praktisi blockchain perlu berpartisipasi dalam kewirausahaan model besar dan menggunakan teknologi blockchain untuk memecahkan masalah model besar. Jika jumlah data yang sangat besar yang tersedia secara bebas di Internet adalah pengetahuan umum umat manusia, maka model besar yang dihasilkan berdasarkan data-data ini seharusnya dimiliki oleh seluruh umat manusia. Sama seperti OpenAI baru-baru ini mulai membayar basis data literatur, OpenAI perlu membayar untuk blog pribadi yang Anda dan saya dedikasikan.

Penolakan：

1. Artikel ini dicetak ulang dari [ ThreeDAO, Pulau Semua Hal]. Semua hak cipta dimiliki oleh penulis asli [36C]. Jika ada keberatan terhadap pencetakan ulang ini, harap hubungi Gate Belajartim, dan mereka akan menanganinya dengan cepat.
2. Penolakan Tanggung Jawab: Pandangan dan opini yang terdapat dalam artikel ini semata-mata milik penulis dan tidak merupakan nasihat investasi apa pun.
3. Terjemahan artikel ke dalam bahasa lain dilakukan oleh tim Gate Learn. Kecuali disebutkan, menyalin, mendistribusikan, atau menjiplak artikel yang telah diterjemahkan dilarang.