Trải nghiệm các mô hình 'Lý luận' DeepSeek R1 trên AMD Ryzen AI và Radeon

Các mô hình lý luận là một lớp mới của các mô hình ngôn ngữ lớn (LLM) được thiết kế để giải quyết các nhiệm vụ rất phức tạp bằng cách sử dụng lý luận của chuỗi (COT) với sự đánh đổi mất nhiều thời gian hơn để đáp ứng. Deepseek R1 là một mô hình Frontier Lý do được phát hành gần đây đã được chưng cất thành các mô hình nhỏ hơn có khả năng cao. Triển khai các mô hình chưng cất DeepSeek R1 này trên bộ xử lý AMD Ryzen AI và card đồ họa Radeon là cực kỳ dễ dàng và hiện có sẵn thông qua LM Studio.

Các mô hình lý luận thêm một giai đoạn suy nghĩ của người Viking trước đầu ra cuối cùng – mà bạn có thể thấy bằng cách mở rộng cửa sổ tư duy của người Hồi giáo trước khi mô hình đưa ra câu trả lời cuối cùng. Không giống như các LLM thông thường, trong đó có một lần phản ứng, COT LLM thực hiện lý do rộng rãi trước khi trả lời. Các giả định và sự tự phản ánh mà LLM thực hiện có thể hiển thị cho người dùng và điều này cải thiện khả năng lý luận và phân tích của mô hình-mặc dù với chi phí của mã thông báo thời gian đầu tiên dài hơn đáng kể (đầu ra cuối cùng).

Một mô hình lý do trước tiên có thể chi tiêu hàng ngàn mã thông báo (và bạn có thể xem chuỗi suy nghĩ này!) Để phân tích vấn đề trước khi đưa ra phản hồi cuối cùng. Điều này cho phép mô hình trở nên xuất sắc trong các nhiệm vụ giải quyết vấn đề phức tạp liên quan đến toán học và khoa học và tấn công một vấn đề phức tạp từ mọi góc độ trước khi quyết định phản hồi. Tùy thuộc vào phần cứng AMD của bạn, mỗi mô hình này sẽ cung cấp khả năng lý luận tiên tiến trên bộ xử lý AMD Ryzen AI hoặc card đồ họa Radeon của bạn.

Cách chạy Deepseek R1 Đo hóa các mô hình Lý luận trên các mô hình AMD Ryzen AI và Radeon

Thực hiện theo các bước đơn giản này để đứng dậy và chạy với các chưng cất DeepSeek R1 chỉ trong vài phút (phụ thuộc vào tốc độ tải xuống).

Vui lòng đảm bảo rằng bạn đang sử dụng trình điều khiển tùy chọn Adrenalin 25.1.1, có thể được tải xuống trực tiếp bằng cách nhấp vào liên kết này.

Bước 1: Hãy chắc chắn rằng bạn đang ở trên trình điều khiển adrenalin tùy chọn hoặc cao hơn hoặc cao hơn.

Bước 2: Tải xuống LM Studio 0.3.8 trở lên từ lmstudio.ai/ryzenai

Bước 3: Cài đặt LM Studio và bỏ qua màn hình trên tàu.

Bước 4: Nhấp vào tab Khám phá.

Bước 5: Chọn chưng cất DeepSeek R1 của bạn. Các chất chưng cất nhỏ hơn như Qwen 1.5B cung cấp hiệu suất nhanh chóng (và là điểm bắt đầu được khuyến nghị), trong khi các chất chưng cất lớn hơn sẽ cung cấp khả năng lý luận vượt trội. Tất cả chúng đều cực kỳ có khả năng. Bảng dưới đây chi tiết kích thước chưng cất DeepSeek R1 được đề xuất tối đa:

*= AMD khuyên bạn nên chạy tất cả các chất chưng cất trong lượng tử hóa Q4 km.
¹= Yêu cầu bộ nhớ đồ họa biến được đặt thành tùy chỉnh: 24GB.

²= Yêu cầu bộ nhớ đồ họa biến được đặt thành cao.

Card đồ họa	DeepSeek R1 Distill* (Hỗ trợ tối đa1)
AMD Radeon RX 7900 XTX	Deepseek-R1-Distill-Qwen-32b
AMD Radeon RX 7900 XT	Deepseek-R1-Distill-Qwen-14b
AMD Radeon RX 7900 GRE	Deepseek-R1-Distill-Qwen-14b
AMD Radeon RX 7800 XT	Deepseek-R1-Distill-Qwen-14b
AMD Radeon RX 7700 XT	Deepseek-R1-Distill-Qwen-14b
AMD Radeon RX 7600 XT	Deepseek-R1-Distill-Qwen-14b
AMD Radeon RX 7600	Deepseek-R1-Distill-llama-8b

*= AMD khuyên bạn nên chạy tất cả các chất chưng cất trong lượng tử hóa Q4 km.

¹= Liệt kê các chưng cất được hỗ trợ tối đa mà không cần giảm tải GPU một phần.

Bước 6: Ở phía bên phải, đảm bảo lượng tử hóa của Q4 KM được chọn và nhấp vào Tải xuống.

Bước 7: Sau khi tải xuống, quay trở lại tab trò chuyện và chọn chưng cất DeepSeek R1 từ menu thả xuống và đảm bảo chọn các tham số chọn thủ công theo cách thủ công.

Bước 8: Trong các lớp giảm tải GPU – di chuyển thanh trượt đến mức tối đa.

Bước 9: Nhấp vào tải mô hình.

Bước 10: Tương tác với một mô hình lý do chạy hoàn toàn trên phần cứng AMD cục bộ của bạn!

Kết thúc:

GD-97-Liên kết đến các trang web của bên thứ ba được cung cấp để thuận tiện và trừ khi được nêu rõ ràng, AMD không chịu trách nhiệm về nội dung của các trang web được liên kết đó và không có chứng thực nào được ngụ ý.

GD-220E-Ryzen AI được định nghĩa là sự kết hợp của động cơ AI chuyên dụng, động cơ đồ họa AMD Radeon và lõi bộ xử lý Ryzen cho phép khả năng AI. Cần có sự hỗ trợ của OEM và ISV và một số tính năng AI nhất định có thể chưa được tối ưu hóa cho bộ xử lý AI Ryzen.

Vui lòng kiểm tra với nhà sản xuất hệ thống của bạn để biết tính năng sẵn có trước khi mua. Ryzen AI tương thích với:

• AMD Ryzen 7040 và 8040 bộ xử lý series và bộ xử lý Ryzen Pro 7040/8040 ngoại trừ Ryzen 5 7540U, Ryzen 5 8540U, Ryzen 3 7440U và Ryzen 3 8440U
• AMD RYZEN AI 300 Bộ xử lý sê -ri và bộ xử lý AMD Ryzen AI Pro 300
• Tất cả các bộ xử lý máy tính để bàn AMD Ryzen 8000G ngoại trừ Ryzen 5 8500G/GE và Ryzen 3 8300G/GE
• Bộ xử lý AMD Ryzen 200 và bộ xử lý Ryzen Pro 200, ngoại trừ Ryzen 5 220 và Ryzen 3 210
• Bộ xử lý AMD Ryzen AI Max Series và bộ xử lý Ryzen AI Pro Max Series

Có liên quan