Microsoft
Microsoft ha abierto el acceso a 'Lumos', una poderosa biblioteca de Python para detectar y diagnosticar automáticamente regresiones métricas en aplicaciones de 'escala web'. Según los informes, la biblioteca ha estado muy activa dentro de Microsoft Teams y Skype. Esencialmente, un 'detector de anomalías' muy potente e inteligente ahora es de código abierto y está disponible para que los desarrolladores web detecten y aborden las regresiones en las métricas clave de rendimiento, al tiempo que casi eliminan la mayoría de los falsos positivos.
Microsoft Lumos ahora es de código abierto. Se estaba utilizando activamente en productos selectos de Microsoft y ahora estará disponible para la comunidad general de desarrollo web y de aplicaciones. Según los informes, la biblioteca permitió a los ingenieros detectar cientos de cambios en las métricas y rechazar miles de falsas alarmas surgidas por los detectores de anomalías.
Lumos reduce la tasa de alertas falsas positivas en más del 90 por ciento, afirma Microsoft:
Lumos es una nueva metodología que incluye detectores de anomalías específicos de dominio existentes. Sin embargo, Microsoft asegura que la biblioteca Python puede reducir la tasa de alerta de falsos positivos en más del 90 por ciento. En otras palabras, los desarrolladores ahora pueden buscar con confianza problemas persistentes en lugar de problemas intermitentes que no estaban teniendo un efecto perjudicial a largo plazo.
El estado de los servicios en línea generalmente se monitorea mediante el seguimiento de las métricas de los indicadores clave de rendimiento (KPI) a lo largo del tiempo. Los ingenieros que realizan 'Análisis de regresión' requieren mucho tiempo y recursos para eliminar los problemas que pueden ser indicativos de problemas importantes. Estos problemas pueden provocar un aumento de los costos operativos e incluso la pérdida de usuarios si no se abordan.
Presentamos: Lumos 365 #bigdata #analítica #Ciencia de los datos #datos #datawareghana #río arriba #petróleo y gas #energía #Ghana #África occidental #microsoft #businesscentral # lumos365 #erp #Finanzas #cadena de suministro pic.twitter.com/xTYE3yLhaP
- Tecnología de software de datos de Ghana (@datawareghana) 1 de abril de 2020
No hace falta agregar que rastrear la causa raíz de cada regresión de KPI requiere mucho tiempo. Además, los equipos a menudo pasan mucho tiempo analizando los problemas solo para descubrir que eran una mera anomalía. Aquí es donde Microsoft Lumos resulta útil. La biblioteca de Python elimina el proceso de establecer si un cambio se debe a un cambio en la población o una actualización del producto al proporcionar una lista priorizada de las variables más importantes para explicar los cambios en el valor de la métrica.
Microsoft Lumos también cumple el propósito más amplio de comprender la diferencia en una métrica entre dos conjuntos de datos. Curiosamente, la plataforma incluye 'sesgo', y al comparar un conjunto de datos de control y tratamiento sin dejar de ser independiente del componente de serie temporal, Lumos puede investigar el anomalías.
Presentamos a nuestros nuevos socios: Lumos 365 Ltd. #bigdata #analítica #Ciencia de los datos #datos #datawareghana #río arriba #petróleo y gas #energía #Ghana #África occidental #microsoft #businesscentral # lumos365 #erp #Finanzas #Cadena de suministro pic.twitter.com/UdYh8aYdvn
- Tecnología de software de datos de Ghana (@datawareghana) 2 de marzo de 2020
¿Cómo funciona Microsoft Lumos?
Microsoft Lumos trabaja con los principios de las pruebas A / B para comparar pares de conjuntos de datos. La biblioteca de Python comienza verificando si la regresión en la métrica entre conjuntos de datos es estadísticamente significativa. Luego sigue con una verificación de sesgo de población y una normalización de sesgo para tener en cuenta cualquier cambio de población entre los dos conjuntos de datos. Lumos decide que no vale la pena tratar el problema si no hay una regresión estadísticamente significativa en la métrica. Sin embargo, si el delta en la métrica es estadísticamente significativo, Lumos marca las características y las clasifica según su contribución al delta en la métrica de destino.
'Los investigadores de Microsoft advierten que no se garantiza que Lumos capture todas las regresiones en un servicio y que no puede proporcionar información sin una cantidad suficientemente grande de datos'. Lumos de código abierto de Microsoft, https://t.co/IXmMqGjrN8 vía @VentureBeat
- Lisa Wood Shapiro (@LisaWShapiro) 29 de junio de 2020
La biblioteca de Lumos Python sirve como la herramienta principal para el monitoreo de escenarios de cientos de métricas. Los desarrolladores y equipos que realizan análisis de rendimiento pueden monitorear y trabajar en la confiabilidad de los servicios de llamadas, reuniones y redes telefónicas públicas conmutadas (PSTN) en Microsoft. La biblioteca está operativa en Azure Databricks, el servicio de análisis de big data basado en Apache-Spark de la empresa. Se ha configurado para ejecutarse con varios trabajos que se organizan según la prioridad, la complejidad y el tipo de métrica. Los trabajos se completan de forma asincrónica. Significa que si el sistema detecta una anomalía, se activa un flujo de trabajo de Lumos y, a continuación, la biblioteca analiza y comprueba inteligentemente si vale la pena perseguir y abordar la anomalía.
Microsoft ha señalado que no se garantiza que Lumos capture todas las regresiones en los servicios. Además, el servicio requerirá una gran cantidad de conjuntos de datos para ofrecer información confiable. La compañía planea incluir análisis de métricas continuas, realizar una mejor clasificación de funciones y también incorporar la agrupación de funciones. Estos pasos deben abordar el desafío principal de la multicolinealidad en la clasificación de características.
Etiquetas Microsoft
