NVIDIA AR SDK ra mắt trong plugin OBS phổ biến StreamFX cho phép nhận diện khuôn mặt thông qua Webcam tiêu chuẩn

NVIDIA đã chính thức ra mắt Bộ phát triển phần mềm thực tế tăng cường (AR) (SDK) được chờ đợi rất nhiều, được tối ưu hóa cho các nền tảng Phát trực tiếp, Trò chơi cũng như Hội nghị truyền hình. Công nghệ này đã ra mắt trong StreamFX, một Plugin OBS rất phổ biến. Công nghệ này hứa hẹn một số khả năng tuyệt vời bao gồm phát hiện và khóa khuôn mặt cũng như tạo lưới 3D của khuôn mặt, tất cả đều sử dụng camera web tiêu chuẩn.

NVIDIA hiện đã giới thiệu AR SDK cho Phát trực tiếp, mang tính năng Trí tuệ nhân tạo (AI) vào các công cụ hội nghị, giao tiếp và cộng tác trên web từ xa ngày càng phổ biến và được sử dụng rộng rãi. Công nghệ này cũng được cho là sẽ hỗ trợ các game thủ. Đáng ngạc nhiên là người dùng có thể được hưởng lợi từ việc bổ sung AI với một webcam tiêu chuẩn, NVIDIA tuyên bố.

NVIDIA AI AR SDK để phát trực tiếp hoạt động như thế nào?

Như mong đợi, NVIDIA AR SDK, còn được gọi là NVIDIA RTX Broadcast Engine, sử dụng các lõi Tensor mạnh mẽ và linh hoạt trên GPU NVIDIA RTX. SDK có thể cho phép theo dõi nhanh chóng và được báo cáo là chất lượng cao thông qua mạng AI dựa trên đám mây, phụ trợ độc quyền đã ra mắt vào năm ngoái. NVIDIA tuyên bố công nghệ và mạng có thể cung cấp tính năng theo dõi khuôn mặt chính xác; theo dõi mốc khuôn mặt về hình dạng khuôn mặt, môi, mắt, lông mày và mũi với 3 bậc tự do; và lưới mặt tiên tiến (tái tạo 3D của khuôn mặt người và tư thế đầu) với 6 bậc tự do.

NVIDIA AI AR SDK cho Phát trực tiếp đã ra mắt thông qua StreamFX, một plugin phổ biến cho OBS (Open Broadcaster Software). AR SDK hiện đã có trên GitHub. Các nhà phát triển quan tâm cũng có thể sử dụng nó bằng cách tải xuống từ trang web của NVIDIA.

Phiên bản mới của StreamFX sử dụng SDK để tạo một máy ảnh thông minh tự động cắt và phóng to người dùng, giữ họ ở giữa khung hình bất cứ khi nào họ di chuyển. Phát biểu về sự phát triển mới thú vị, Michael Fabian ‘Xaymar’ Dirks, Tác giả StreamFX cho biết,

“Bộ lọc Theo dõi khuôn mặt mới trong StreamFX yêu cầu toán học và máy học phức tạp, có thể mất hàng tháng nếu không muốn nói là nhiều năm để điều chỉnh để chạy trên nhiều máy. Tuy nhiên, nhờ vào AR SDK của NVIDIA, nó đã được thực hiện nhanh chóng và chạy trên bất kỳ phần cứng NVIDIA RTX nào đang ngày càng trở nên phổ biến hơn nhờ bộ mã hóa NVENC H.264 trên đó. Điều này đã làm giảm đáng kể thời gian phát triển cần thiết từ nhiều năm xuống chỉ còn hai tuần và cũng không mất thêm chi phí ”.

Điều Fabian ngụ ý rõ ràng là các nhà phát triển hiện có một SDK mạnh mẽ mà NVIDIA đã giới thiệu để tăng cường đáng kể các khả năng và tính năng của nhiều nền tảng với AR dựa trên AI. Không cần phải nói thêm, các nhà phát triển trò chơi, hội nghị trực tiếp cũng như các nền tảng phát trực tiếp được thiết lập để đạt được lợi ích to lớn từ nền tảng NVIDIA. Nói một cách đơn giản, NVIDIA AR SDK, mang sức mạnh của AI vào Phát trực tiếp, mở rộng các tính năng sau thông qua một webcam tiêu chuẩn:

• Theo dõi khuôn mặt trên máy ảnh để xác định một hoặc một số đối tượng trên ảnh,
• Phủ các nội dung lên người để tạo trang phục hoặc hiệu ứng trên người,
• Điều khiển một nhân vật hoạt hình hoặc trò chơi bằng chuyển động khuôn mặt và đầu của bạn.

Điều quan trọng cần lưu ý là NVIDIA đã cung cấp AR SDK của mình dưới dạng nền tảng beta mở. Điều này rõ ràng có nghĩa là các nhà phát triển nên mong đợi một vài lỗi và được khuyến khích báo cáo điều tương tự cho NVIDIA để hoàn thiện thêm nền tảng này.