Trình đọc màn hình của Android hiện có thể trả lời các câu hỏi về hình ảnh

Hôm nay là Ngày Nhận thức về khả năng tiếp cận toàn cầu (GAAD), và, như trong những năm qua, nhiều công ty công nghệ đang đánh dấu dịp này với thông báo về các tính năng hỗ trợ mới cho hệ sinh thái của họ. Apple đã có những thứ diễn ra vào thứ ba và bây giờ Google đang tham gia cuộc diễu hành. Để bắt đầu, công ty đã thực hiện Talkback, đầu đọc màn hình tích hợp của Android, hữu ích hơn. Với sự trợ giúp của một trong những mô hình Song Tử của Google, Talkback giờ đây có thể trả lời các câu hỏi về hình ảnh được hiển thị trên điện thoại của bạn, thậm chí chúng không có bất kỳ văn bản alt nào mô tả chúng.

“Điều đó có nghĩa là lần tới khi một người bạn nhắn tin cho bạn một bức ảnh về cây đàn guitar mới của họ, bạn có thể nhận được một mô tả và đặt câu hỏi tiếp theo về việc tạo và màu sắc, hoặc thậm chí những gì khác trong hình ảnh”, Google giải thích. Thực tế Gemini có thể nhìn thấy và hiểu hình ảnh là nhờ các khả năng đa phương thức mà Google tích hợp vào mô hình. Ngoài ra, chức năng Q & A hoạt động trên toàn bộ màn hình. Vì vậy, ví dụ, giả sử bạn đang mua sắm trực tuyến, trước tiên bạn có thể yêu cầu điện thoại của bạn mô tả màu sắc của bộ quần áo mà bạn quan tâm và sau đó hỏi xem nó có được bán không.

Một cách riêng biệt, Google đang triển khai một phiên bản mới của các chú thích biểu cảm của nó. Lần đầu tiên được công bố vào cuối năm ngoái, tính năng này tạo ra phụ đề cố gắng nắm bắt cảm xúc của những gì đang được nói. Chẳng hạn, nếu bạn trò chuyện video với một số người bạn và một trong số họ rên rỉ sau khi bạn làm một trò đùa khập khiễng, điện thoại của bạn sẽ không chỉ phụ đề những gì họ nói mà còn bao gồm “(rên rỉ)” trong phiên âm. Với phiên bản mới của chú thích biểu cảm, phụ đề kết quả sẽ phản ánh khi ai đó kéo ra âm thanh của lời nói của họ. Điều đó có nghĩa là lần tới khi bạn xem một trận đấu bóng đá trực tiếp và phát thanh viên hét lên “Goallllllll”, sự phấn khích của họ sẽ được phiên âm đúng cách. Thêm vào đó, bây giờ sẽ có nhiều nhãn hơn cho âm thanh như khi ai đó đang hắng giọng.

Phiên bản mới của chú thích biểu cảm được triển khai cho người dùng nói tiếng Anh ở Mỹ, Anh, Canada và Úc đang chạy Android 15 trở lên trên điện thoại của họ.