Microsoft Lumos hiện là mã nguồn mở cho phép giám sát các chỉ số ứng dụng web và phát hiện nhanh các điểm bất thường bằng cách loại bỏ các khẳng định sai

Microsoft đã mở quyền truy cập vào ‘Lumos’, một thư viện Python mạnh mẽ để tự động phát hiện và chẩn đoán hồi quy số liệu trong các ứng dụng “quy mô web”. Thư viện được cho là hoạt động rất tích cực bên trong Microsoft Teams và Skype. Về cơ bản, một 'máy phát hiện bất thường' mạnh mẽ và thông minh hiện có nguồn mở và có sẵn cho các nhà phát triển web để phát hiện và giải quyết các sự thụt lùi trong các chỉ số hiệu suất chính trong khi gần như loại bỏ phần lớn các kết quả dương tính giả.

Microsoft Lumos hiện là mã nguồn mở. Nó đang được tích cực sử dụng trong một số sản phẩm của Microsoft và hiện sẽ có sẵn cho cộng đồng phát triển ứng dụng và web nói chung. Thư viện được cho là đã cho phép các kỹ sư phát hiện hàng trăm thay đổi trong số liệu và từ chối hàng nghìn cảnh báo sai do các thiết bị phát hiện bất thường xuất hiện.

Lumos giảm tỷ lệ cảnh báo dương tính giả xuống hơn 90%, Microsoft tuyên bố:

Lumos là một phương pháp luận mới bao gồm các thiết bị phát hiện bất thường theo miền cụ thể hiện có. Tuy nhiên, Microsoft đảm bảo thư viện Python có thể giảm hơn 90% tỷ lệ cảnh báo dương tính giả. Nói cách khác, các nhà phát triển giờ đây có thể tự tin giải quyết các vấn đề dai dẳng thay vì những vấn đề liên tục không gây bất lợi lâu dài.

Tình trạng của các dịch vụ trực tuyến thường được theo dõi bằng cách theo dõi các chỉ số Chỉ báo Hiệu suất Chính (KPI) theo thời gian. Các kỹ sư tiến hành 'Phân tích hồi quy' đòi hỏi nhiều thời gian và nguồn lực để loại bỏ các vấn đề có thể là dấu hiệu của các vấn đề lớn. Những vấn đề này có thể dẫn đến chi phí hoạt động leo thang và thậm chí mất người dùng nếu không được giải quyết.

Không cần phải nói thêm, việc theo dõi nguyên nhân gốc rễ của mọi hồi quy KPI rất tốn thời gian. Hơn nữa, các nhóm thường dành rất nhiều thời gian để phân tích các vấn đề chỉ để nhận thấy chúng chỉ là một sự bất thường đơn thuần. Đây là nơi Microsoft Lumos có ích. Thư viện Python loại bỏ quá trình thiết lập xem thay đổi là do thay đổi dân số hay do cập nhật sản phẩm bằng cách cung cấp danh sách ưu tiên các biến quan trọng nhất trong việc giải thích các thay đổi trong giá trị số liệu.

Microsoft Lumos cũng phục vụ mục đích rộng lớn hơn là hiểu sự khác biệt về số liệu giữa hai tập dữ liệu bất kỳ, Điều thú vị là nền tảng này bao gồm 'độ lệch' và bằng cách so sánh tập dữ liệu kiểm soát và xử lý trong khi vẫn không xác định được thành phần chuỗi thời gian, Lumos có thể điều tra dị thường.

Microsoft Lumos hoạt động như thế nào?

Microsoft Lumos hoạt động với các nguyên tắc của thử nghiệm A / B để so sánh các cặp tập dữ liệu. Thư viện Python bắt đầu bằng cách xác minh xem liệu hồi quy trong chỉ số giữa các tập dữ liệu có ý nghĩa thống kê hay không. Sau đó, nó sẽ theo sau với kiểm tra thiên vị dân số và chuẩn hóa thiên vị để giải thích bất kỳ thay đổi dân số nào giữa hai tập dữ liệu. Lumos quyết định vấn đề không đáng theo đuổi nếu không có hồi quy có ý nghĩa thống kê trong chỉ số. Tuy nhiên, nếu vùng đồng bằng trong chỉ số có ý nghĩa thống kê, Lumos sẽ đánh dấu các đối tượng địa lý và xếp hạng chúng theo đóng góp của chúng cho vùng đồng bằng trong chỉ số mục tiêu.

Thư viện Python của Lumos đóng vai trò là công cụ chính để theo dõi kịch bản của hàng trăm chỉ số. Các nhà phát triển và nhóm thực hiện phân tích hiệu suất có thể giám sát và làm việc dựa trên độ tin cậy của các dịch vụ gọi điện, họp và mạng điện thoại chuyển mạch công cộng (PSTN) tại Microsoft. Thư viện hoạt động trên Azure Databricks, dịch vụ phân tích dữ liệu lớn dựa trên Apache-spark của công ty. Nó đã được cấu hình để chạy với nhiều công việc được sắp xếp theo mức độ ưu tiên, độ phức tạp và loại số liệu. Các công việc hoàn thành không đồng bộ. Nó có nghĩa là nếu hệ thống phát hiện ra điều bất thường, quy trình làm việc của Lumos sẽ được kích hoạt và sau đó thư viện sẽ phân tích và kiểm tra một cách thông minh xem sự bất thường có đáng để theo đuổi và giải quyết hay không.

Microsoft đã lưu ý rằng Lumos không được đảm bảo bắt tất cả các hồi quy trong các dịch vụ. Ngoài ra, dịch vụ sẽ yêu cầu một số lượng lớn bộ dữ liệu để cung cấp thông tin chi tiết đáng tin cậy. Công ty đang có kế hoạch bao gồm phân tích số liệu liên tục, thực hiện xếp hạng tính năng tốt hơn và đưa tính năng phân nhóm vào. Các bước này sẽ giải quyết thách thức chính về đa cộng tuyến trong xếp hạng đối tượng địa lý.