Thuật toán theo dõi bàn tay trong thời gian thực của Google sử dụng điện thoại thông minh để cải thiện khả năng nhận dạng ngôn ngữ ký hiệu

Ngôn ngữ ký hiệu được sử dụng bởi hàng triệu người trên thế giới. Các nhà nghiên cứu đã và đang làm việc để xây dựng các công nghệ có thể hiểu các cử chỉ và tự động chuyển đổi chúng thành ngôn ngữ mà con người có thể hiểu được. Tuy nhiên, những dự án như vậy đã không thu được thành công lớn về độ chính xác.

Google gần đây đã phát triển một thuật toán có thể được sử dụng để theo dõi bàn tay trong thời gian thực. Hệ thống thông minh sử dụng máy học để tạo ra một bản đồ của bàn tay. Bản đồ được tạo với sự trợ giúp của máy ảnh hoặc điện thoại thông minh. Chúng ta không thể phủ nhận một thực tế là hầu hết các hệ thống không thể nắm bắt chính xác các chuyển động nhanh của tay. Google đã giải quyết cụ thể vấn đề này trong nghiên cứu này. Điều thú vị là chúng đã giới hạn lượng dữ liệu đã được các thuật toán xử lý trước đó.

Theo dõi bàn tay thời gian thực hoạt động như thế nào?

Hầu hết các dự án hiện tại đều dịch ngôn ngữ ký hiệu bằng cách phát hiện kích thước và vị trí của bàn tay hoàn chỉnh. Với nghiên cứu này. các nhà nghiên cứu đã loại bỏ sự cần thiết phải xử lý các hình chữ nhật với các kích thước khác nhau. Hệ thống của Google chỉ nhận dạng được lòng bàn tay có hình vuông. Thứ hai, một quá trình phân tích riêng biệt được thực hiện cho các ngón tay.

Các nhà nghiên cứu đã sử dụng khoảng 30.000 hình ảnh bàn tay để đào tạo thuật toán học máy. Những hình ảnh này được chụp trong các điều kiện ánh sáng và tư thế khác nhau. Sau đó, hệ thống sẽ phát hiện cử chỉ bằng cách so sánh giữa tư thế tay và danh sách các thực thể đã biết như quả bóng hoặc hạnh phúc. Google mô tả nhận dạng cử chỉ trong một bài đăng trên blog.

Thuật toán theo dõi bàn tay cuối cùng tạo ra kết quả hiện đại về tốc độ và độ chính xác của nó. Thuật toán sử dụng khung MediaPipe để chạy. Kỹ thuật này có vẻ như là một tiến bộ lớn trong lĩnh vực ngôn ngữ ký hiệu. Mặc dù vẫn còn rất nhiều chỗ để cải thiện. để hiểu rõ hơn về ngôn ngữ ký hiệu. Bất cứ ai cũng có thể mở rộng công việc này để sử dụng các biểu hiện trên khuôn mặt và cả hai tay để đạt được kết quả tốt hơn.

Mặc dù không có thông tin gì từ Google, nhưng có khả năng Google có thể cải tiến công nghệ theo dõi bàn tay thời gian thực này để sử dụng nó trong các sản phẩm của mình. Trong khi đó, nếu bạn muốn chơi với mã, nó có sẵn công khai trên GitHub.