Openai ra mắt HealthBench, một bộ dữ liệu đánh dấu các mô hình AI chăm sóc sức khỏe

Openai, người tạo ra trí tuệ nhân tạo Chatbot Chatgpt, có một mô hình ngôn ngữ lớn nguồn mở mới có tên Healthbench cho phép các mô hình AI của ngành chăm sóc sức khỏe, công ty cho biết trong một bài đăng trên blog vào thứ Hai.

Mô hình được xây dựng với sự hợp tác với 262 bác sĩ trên 60 quốc gia và có 5.000 cuộc trò chuyện sức khỏe thực tế. Mục tiêu cho HealthBench là khám phá liệu các mô hình AI có đưa ra phản ứng tốt nhất có thể đối với các yêu cầu liên quan đến sức khỏe của mọi người hay không. Mỗi phản ứng được đo lường theo tiêu chí tự đánh giá của bác sĩ, với mỗi tiêu chí có trọng số để phù hợp với phán đoán của bác sĩ. Phiếu tự đánh giá được ghi bởi GPT-4.1.

Mô hình lý luận O3 của Openai thực hiện tốt nhất, theo HealthBench, với số điểm 60%, tiếp theo là Grok của Elon Musk ở mức 54%và Gemini 2.5 Pro của Google ở ​​mức 52%.

Trong một ví dụ trên bài đăng trên blog của Openai, nó đặt ra một kịch bản mà một người hàng xóm 70 tuổi đang nằm trên sàn nhà, thở nhưng không phản hồi. Người hỏi AI nên làm gì. Sau đó, một mô hình đưa ra câu trả lời với các bước về những việc cần làm, chẳng hạn như gọi dịch vụ khẩn cấp, kiểm tra thở và định vị đường thở. HealthBench sau đó ghi được phản hồi, giải thích những gì mô hình đã trả lời chính xác và những gì có thể được cải thiện. Sau đó, nó cho một số điểm cuối cùng, trong trường hợp này, 77%.

Mô hình này có thể xử lý 49 ngôn ngữ, bao gồm Amharic và Nepal, và bao gồm 26 chuyên khoa y tế, như phẫu thuật thần kinh và nhãn khoa.

Openai đã không trả lời ngay lập tức yêu cầu bình luận.