Nói bạn muốn chạy một mô hình ngôn ngữ lớn như Llama2-70B. Một mô hình khổng lồ như vậy yêu cầu hơn 140GB bộ nhớ, điều này có nghĩa là bạn không thể chạy mô hình gốc trên máy tính nhà của bạn. Lựa chọn của bạn là gì? Bạn có thể chuyển sang một nhà cung cấp đám mây, nhưng bạn có thể không quá hào hứng với việc tin tưởng một công ty tập trung duy nhất để xử lý công việc này cho bạn và thu thập tất cả dữ liệu sử dụng của bạn. Sau đó, điều bạn cần là suy luận phi tập trung, cho phép bạn chạy các mô hình ML mà không phụ thuộc vào bất kỳ nhà cung cấp nào.

Vấn đề Tin cậy

Trong mạng phi tập trung, việc chỉ chạy một mô hình và tin tưởng vào kết quả không đủ. Hãy nói rằng tôi yêu cầu mạng phân tích một vấn đề quản trị bằng cách sử dụng Llama2–70B. Làm thế nào tôi biết rằng nó thực sự không sử dụng Llama2–13B, đưa ra cho tôi phân tích tồi hơn và giữ lại sự khác biệt?

Trong thế giới tập trung, bạn có thể tin rằng các công ty như OpenAI đang làm điều này một cách trung thực vì danh tiếng của họ đang bị đe dọa (và đến một mức độ nào đó, chất lượng LLM là rõ ràng). Nhưng trong thế giới phi tập trung, sự trung thực không được giả định - nó được xác minh.

Đây là nơi mà suy luận có thể xác minh đến trò chơi. Ngoài việc cung cấp một phản hồi cho một truy vấn, bạn cũng chứng minh rằng nó đã chạy đúng trên mô hình bạn yêu cầu. Nhưng làm thế nào?

Cách tiếp cận ngây thơ sẽ là chạy mô hình như một hợp đồng thông minh trên chuỗi. Điều này nhất định sẽ đảm bảo rằng kết quả được xác minh, nhưng điều này hoàn toàn không thực tế. GPT-3 đại diện cho các từ với một chiều nhúng là 12.288. Nếu bạn thực hiện một phép nhân ma trận duy nhất của kích thước này trên chuỗi, đó sẽ tốn khoảng 10 tỷ đô la với giá gas hiện tại - phép tính sẽ làm đầy mỗi khối trong khoảng một tháng liền.

Vậy không. Chúng ta sẽ cần một cách tiếp cận khác.

Sau khi quan sát cảnh quan, tôi nhận thấy rằng có ba phương pháp chính đã nổi lên để giải quyết suy luận có thể xác minh: bằng chứng không biết, bằng chứng gian lận lạc quan, và cryptoeconomics. Mỗi phương pháp đều có đặc tính bảo mật và ảnh hưởng chi phí riêng.

1. Chứng minh không mở (ZK ML)

Hãy tưởng tượng bạn có thể chứng minh rằng bạn đã chạy một mô hình khổng lồ, nhưng bằng chứng đó thực sự có kích thước cố định bất kể mô hình lớn như thế nào. Đó chính là điều mà ZK ML hứa hẹn, thông qua phép màu của ZK-SNARKs.

Mặc dù nghe có vẻ thanh lịch về nguyên lý, biên soạn mạng nơ-ron sâu thành mạch kiến thức không tưởng sau đó có thể được chứng minh là vô cùng khó khăn. Điều này cũng rất đắt đỏ - ít nhất, bạn có thể sẽ phải mất một khoản chi phí lớn@ModulusLabs/chapter-5-the-cost-of-intelligence-da26dbf93307">1000x chi phí cho việc suy luận và 1000x độ trễ (thời gian tạo ra bằng chứng), để không nói đến việc biên dịch mô hình chính nó thành mạch trước khi điều này có thể xảy ra. Cuối cùng, chi phí đó phải được chuyển xuống người dùng, vì vậy điều này sẽ trở nên rất đắt đỏ cho người dùng cuối.

Tuy nhiên, đây là cách duy nhất đảm bảo tính chính xác mật mã hóa. Với ZK, nhà cung cấp mô hình không thể gian lận dù họ cố gắng ra sao. Nhưng điều này lại tốn kém lớn, làm cho việc này không thực tế cho các mô hình lớn trong tương lai.

Ví dụ: EZKL, Modulus Labs, Giza

2. Chứng minh gian lận lạc quan (ML lạc quan)

Cách tiếp cận lạc quan là tin tưởng, nhưng phải xác minh. Chúng ta giả định rằng suy luận là đúng trừ khi có bằng chứng ngược lại. Nếu một node cố gắng gian lận, các "người xem" trong mạng có thể gọi nó ra và thách thức họ bằng chứng gian lận. Những người xem này phải luôn luôn theo dõi chuỗi và chạy lại các suy luận trên các mô hình của họ để đảm bảo các đầu ra là chính xác.

Các bằng chứng gian lận này là Truebit-styletrò chơi thách thức phản ứng tương tác, trong đó bạn lặp đi lặp lại chia đôi dấu vết thực thi mô hình trên chuỗi cho đến khi bạn tìm thấy lỗi.

Nếu điều này thực sự xảy ra, điều này rất đắt đỏ, vì những chương trình này rất lớn và có trạng thái nội bộ lớn - một lần suy luận GPT-3 tốn khoảng 1 petaflop(10¹⁵ phép tính dấu chấm động). Nhưng lý thuyết trò chơi ngụ ý rằng điều này hầu như không bao giờ xảy ra (bằng chứng gian lận cũng rất khó để viết mã một cách chính xác, vì mã hiếm khi được thực hiện trong sản xuất).

Khía cạnh tích cực là ML lạc quan là an toàn miễn là có một người xem trung thực duy nhất đang chú ý. Chi phí rẻ hơn so với ZK ML, nhưng hãy nhớ rằng mỗi người xem trong mạng đang chạy lại mỗi truy vấn của họ. Ở trạng thái cân bằng, điều này có nghĩa là nếu có 10 người xem, chi phí bảo mật đó phải được chuyển cho người dùng, vì vậy họ sẽ phải trả nhiều hơn 10 lần chi phí suy luận (hoặc bất kỳ người xem nào).

Bên cạnh đó, nhược điểm của optimistic rollups nói chung là bạn phải đợi đến khi kỳ thách thức kết thúc trước khi bạn chắc chắn rằng phản hồi đã được xác minh. Tuy nhiên, tùy thuộc vào cách mà mạng đó được tham số hóa, bạn có thể phải chờ đợi trong vài phút thay vì vài ngày.

Ví dụ: Ora, Gensyn(mặc dù hiện tại chưa được chỉ định đầy đủ)

3. Kinh tế tiền điện tử (Kinh tế tiền điện tử ML)

Ở đây, chúng tôi bỏ tất cả các kỹ thuật phức tạp và thực hiện điều đơn giản: bỏ phiếu theo trọng số cọc. Người dùng quyết định bao nhiêu nút nên chạy truy vấn của họ, họ mỗi người tiết lộ câu trả lời của mình, và nếu có sự không nhất quán giữa các câu trả lời, người không giống ai được cắt giảm. Điều này là điều bình thường với bảng câu trả lời chuẩn - đó là một phương pháp đơn giản hơn cho phép người dùng thiết lập mức độ bảo mật mong muốn của họ, cân bằng giữa chi phí và sự tin cậy. Nếu Chainlink đang thực hiện ML, họ sẽ làm như thế này.

Độ trễ ở đây rất nhanh — bạn chỉ cần một commit-revealtừ mỗi nút. Nếu điều này đang được viết vào một chuỗi khối, về mặt kỹ thuật điều này có thể xảy ra trong hai khối.

Tuy nhiên, vấn đề an ninh là yếu nhất. Đa số các nút có thể hợp tác một cách hợp lý nếu chúng thông minh đủ. Như một người dùng, bạn phải suy luận về việc các nút này đặt cược bao nhiêu và chi phí mà việc gian lận sẽ tốn cho họ. Đó là lý do, sử dụng một cái gì đó như việc tái cầm cố như Eigenlayer và bảo mật có thể quy attribuable, mạng có thể cung cấp bảo hiểm một cách hiệu quả trong trường hợp xảy ra sự cố về bảo mật.

Nhưng phần tốt của hệ thống này là người dùng có thể chỉ định mức độ bảo mật mà họ mong muốn. Họ có thể chọn có 3 nút hoặc 5 nút trong quorum của mình, hoặc mỗi nút trong mạng lưới — hoặc, nếu họ muốn YOLO, họ thậm chí có thể chọn n=1. Hàm chi phí ở đây rất đơn giản: người dùng trả tiền cho bất kỳ số nút nào mà họ muốn trong quorum của mình. Nếu bạn chọn 3, bạn trả 3 lần chi phí suy luận.

Câu hỏi khó ở đây: liệu bạn có thể làm cho n=1 an toàn không? Trong một cài đặt ngây thơ, một nút đơn độc lập nên lừa dối mọi lúc nếu không ai kiểm tra. Nhưng tôi nghi ngờ nếu bạn mã hóa các truy vấn và thực hiện thanh toán thông qua ý định, bạn có thể làm cho nút không hiểu rằng họ thực sự là người duy nhất phản ứng với nhiệm vụ này. Trong trường hợp đó, bạn có thể tính phí cho người dùng trung bình ít hơn 2 lần chi phí suy luận.

Cuối cùng, phương pháp kinh tế tiền điện tử là phương pháp đơn giản nhất, dễ dàng nhất và có lẽ là rẻ nhất, nhưng nó là phương pháp ít hấp dẫn nhất và về nguyên tắc là ít an toàn nhất. Nhưng như thường lệ, quỷ đều ẩn ở chi tiết.

Ví dụ: Nghi lễ(mặc dù hiện tại chưa được chỉ định đầy đủ),Mạng Atoma

Tại sao Machine Learning có thể được xác minh là khó

Bạn có thể tự hỏi tại sao chúng ta không có tất cả điều này sẵn rồi? Sau tất cả, ở cơ bản, các mô hình học máy chỉ là các chương trình máy tính rất lớn. Chứng minh rằng các chương trình được thực thi đúng cách đã lâu đã trở thành cốt lõi của các chuỗi khối.

Đó là lý do tại sao ba phương pháp xác minh này phản ánh cách mà các chuỗi khối bảo vệ không gian khối của họ - ZK rollups sử dụng chứng minh ZK, optimistic rollups sử dụng chứng minh gian lận, và hầu hết các chuỗi khối L1 sử dụng cryptoeconomics. Không có gì ngạc nhiên khi chúng ta đến với các giải pháp gần như giống nhau. Vậy làm thế nào khi áp dụng vào ML?

ML là duy nhất vì tính toán ML thường được biểu diễn dưới dạng đồ thị tính toán dày đặc được thiết kế để chạy một cách hiệu quả trên GPU. Chúng không được thiết kế để được chứng minh. Vì vậy, nếu bạn muốn chứng minh tính toán ML trong môi trường ZK hoặc lạc quan, chúng phải được biên dịch lại thành một định dạng làm cho điều này trở thành khả thi — điều này rất phức tạp và tốn kém.

Vấn đề cơ bản thứ hai với ML là sự phi-deterministic. Xác minh chương trình giả định rằng các đầu ra của các chương trình là xác định. Nhưng nếu bạn chạy cùng một mô hình trên các kiến trúc GPU khác nhau hoặc phiên bản CUDA khác nhau, bạn sẽ nhận được các đầu ra khác nhau. Ngay cả khi bạn phải buộc mỗi nút sử dụng cùng một kiến trúc, bạn vẫn phải đối mặt với vấn đề về sự ngẫu nhiên được sử dụng trong các thuật toán (sự nhiễu trong các mô hình diffusion, hoặc mẫu mã token trong LLMs). Bạn có thể sửa chữa sự ngẫu nhiên đó bằng cách kiểm soát RNG seed. Nhưng ngay cả với tất cả những điều đó, bạn vẫn còn phải đối mặt với vấn đề đe dọa cuối cùng: sự không xác định bẩm sinh trong các phép tính dấu chấm động.

Hầu hết các hoạt động trên GPU đều được thực hiện trên số dấu chấm động. Số dấu chấm động rất khó chịu vì chúngkhông liên kết— nghĩa là, không phải lúc nào (a + b) + c cũng giống như a + (b + c) cho các điểm phẩy động. Bởi vì GPU được song song hóa mạnh mẽ, thứ tự cộng hoặc nhân có thể khác nhau trên mỗi lần thực thi, điều này có thể lan rộng thành sự khác biệt nhỏ trong đầu ra. Điều này không có khả năng ảnh hưởng đến đầu ra của một LLM với bản chất rời rạc của từ, nhưng đối với mô hình hình ảnh, nó có thể dẫn đến giá trị pixel khác nhau một cách tinh subtile, dẫn đến hai hình ảnh không khớp hoàn toàn.

Điều này có nghĩa là bạn cần tránh sử dụng số thập phân, điều này có nghĩa là một đòn đau lớn đối với hiệu suất, hoặc bạn cần cho phép một chút linh hoạt trong việc so sánh đầu ra. Dù sao, các chi tiết rối rắm, và bạn không thể hoàn toàn trừu tượng hóa chúng đi. (Đây là lý do tại sao, cuối cùng, EVM không hỗ trợsố dấu chấm động, mặc dù một số chuỗi khối như NEAR do.)

Nói ngắn gọn, các mạng suy luận phi tập trung khó vì tất cả các chi tiết đều quan trọng, và thực tế có một lượng chi tiết đáng ngạc nhiên.

Kết luận

Hiện tại, blockchain và ML rõ ràng có rất nhiều điều để trao đổi với nhau. Một cái là công nghệ tạo niềm tin, và cái kia là công nghệ cần thiết cần thiết. Mặc dù mỗi phương pháp tiên đoán phi tập trung có những sự đánh đổi riêng, tôi rất quan tâm đến việc xem các doanh nhân sử dụng những công cụ này để xây dựng mạng lưới tốt nhất có thể.

Nhưng tôi không viết bài này để là lời cuối cùng - Tôi đang nghĩ về những ý tưởng này rất nhiều vào thời gian thực và có rất nhiều tranh luận sôi nổi với mọi người. Tôi luôn thấy viết là cách tốt nhất để kiểm tra ý tưởng của mình. Nếu bạn đang xây dựng một cái gì đó trong lĩnh vực này, hãy liên hệ! Tôi luôn muốn biết bạn đang làm gì - và nếu bạn có thể chứng minh tôi sai, càng tốt.

Disclaimer：

1. Bài viết này được tái bản từ [Nghiên cứu Dragonfly], Tất cả bản quyền thuộc về tác giả gốc [Haseeb Qureshi]. Nếu có bất kỳ ý kiến phản đối nào đối với việc tái bản này, vui lòng liên hệ Học cửađội ngũ, và họ sẽ xử lý nhanh chóng.
2. Bản Điều Khoản Trách Nhiệm: Các quan điểm và ý kiến được thể hiện trong bài viết này hoàn toàn thuộc về tác giả và không đại diện cho bất kỳ lời khuyên đầu tư nào.
3. Các bản dịch của bài viết sang các ngôn ngữ khác được thực hiện bởi nhóm Gate Learn. Trừ khi được nêu, việc sao chép, phân phối hoặc đạo văn các bài viết dịch là không được phép.