Introducción: qué es la caída de servicios de Microsoft y cómo estudiarla con un bandido multibrazo
La caída de servicios de Microsoft que recoge La Vanguardia, con informes técnicos previstos para esta semana, es un caso de estudio útil para una pregunta clásica del aprendizaje automático: cuando varias opciones están disponibles y no sabemos cuál funciona mejor, ¿cómo decidimos mientras seguimos aprendiendo? Esta lección utiliza el incidente como pretexto para explicar, desde cero, el bandido multibrazo, uno de los modelos más sencillos del aprendizaje por refuerzo.
El planteamiento es este. Durante una interrupción de la nube, un equipo de operaciones dispone de varias estrategias para mantener vivo el servicio de sus usuarios: reintentar, conmutar a otra región, servir contenido desde caché o pasar a un modo local. Ninguna está garantizada. Cada vez que elige una, observa si la petición se resolvió o no. Ese bucle de elegir, observar y actualizar es exactamente lo que formaliza un bandido. 🎯
Índice de la lección 📚
- Contexto de la noticia: qué se sabe del incidente y qué falta por conocer.
- Relevancia para el análisis de datos: por qué un incidente es un problema de decisión y no solo de medición.
- Variables y KPIs: brazos, recompensas, tasa de éxito, regret.
- Tabla didáctica (Figura 1): una simulación de 1.000 peticiones repartidas entre cuatro estrategias.
- Análisis y modelo (Figura 2): la estimación de cada brazo con su incertidumbre.
- Visualización e interpretación: cómo leer las figuras y qué no se puede concluir de ellas.
- Aplicación didáctica y preguntas para el aula.
Definiciones básicas. Un brazo es cada una de las acciones posibles. La recompensa es el resultado numérico que se obtiene tras tirar de un brazo (aquí, 1 si la petición se sirve dentro del acuerdo de nivel de servicio y 0 si no). El valor de un brazo es su recompensa esperada, desconocida a priori. Explotar es elegir el brazo que hoy parece mejor; explorar es elegir otro para reducir la incertidumbre sobre él.
Contexto de la noticia
Según la información publicada, los sistemas en la nube de Microsoft (entre ellos Azure, Office 365 y Teams) sufrieron una interrupción generalizada de varias horas. La compañía reconoció problemas de conectividad en varios centros de datos y anunció que trabajaba en restaurar el servicio. Los informes detallados sobre la causa se esperan para esta semana; hasta que se publiquen, cualquier explicación del origen es especulativa, y este artículo no aventura ninguna.
Los efectos descritos en la noticia original son de cuatro tipos:
- Interrupción de la colaboración en tiempo real (Teams, SharePoint).
- Fallos en la disponibilidad de aplicaciones críticas (Dynamics 365, Power BI).
- Posibles pérdidas económicas por paralización de procesos.
- Más incertidumbre sobre la fiabilidad de los servicios en la nube.
La noticia no ofrece cifras de usuarios afectados por región ni tiempos de recuperación por servicio. Por eso los datos que usaremos son ilustrativos para uso docente: reproducen el tipo de situación que vive un equipo técnico durante una caída de servicios de Microsoft, no los números reales del incidente.
Relevancia para el análisis de datos
La propuesta habitual ante un incidente así es retrospectiva: comparar indicadores antes y después con una serie temporal o un contraste de hipótesis. Es un análisis valioso, pero llega tarde para quien está gestionando el problema en directo. Durante la caída de servicios de Microsoft, el responsable de una empresa cliente no se pregunta «¿cuánto bajó la disponibilidad?», sino «¿qué hago con la próxima petición?».
Esa segunda pregunta es secuencial y se responde con información incompleta. El problema del bandido multibrazo recibe su nombre de las máquinas tragaperras («bandidos de un brazo»): un jugador ante varias máquinas, cada una con una probabilidad de premio desconocida, debe decidir en cada tirada a cuál juega. Si solo juega a la que mejor ha ido hasta ahora, puede quedarse con una máquina mediocre por haber tenido suerte al principio. Si explora demasiado, desperdicia tiradas en máquinas malas. 🧠
Tres razones hacen del bandido un buen marco para este caso:
- No hay estado que cambie con nuestras acciones. Elegir caché en una petición no altera, en principio, la probabilidad de éxito de la siguiente. Si la alterase (por ejemplo, saturando la región secundaria), el modelo adecuado sería un proceso de decisión de Markov.
- La retroalimentación es inmediata. Cada petición se resuelve o falla en segundos.
- El coste de equivocarse es acumulativo. Cada petición enviada a una estrategia mala es un usuario que no puede trabajar.
Hay una limitación seria que conviene dejar dicha desde el principio: el bandido clásico supone que la probabilidad de éxito de cada brazo es estacionaria, es decir, constante en el tiempo. En una caída real no lo es; la región principal se va recuperando. Volveremos sobre esto en la interpretación.
La referencia de cabecera para estudiar esta materia es el capítulo 2 de Sutton y Barto, Reinforcement Learning: An Introduction (2.ª ed., 2018), disponible en abierto en la web de los autores. 📖
Variables y KPIs en juego
Para modelar la caída de servicios de Microsoft como bandido hay que fijar cuatro elementos: brazos, recompensa, política y métrica de evaluación.
Los cuatro brazos (A, B, C, D)
- Brazo A: reintentar en la región principal. Se espera que el servicio vuelva; mientras no vuelva, la mayoría de intentos fallan.
- Brazo B: conmutar a una región secundaria. Depende de que esa región no esté también afectada y de que tenga capacidad.
- Brazo C: servir desde caché o CDN. Funciona para lectura de documentos ya sincronizados, no para edición colaborativa.
- Brazo D: modo sin conexión en el equipo local. El usuario trabaja con copias locales y sincroniza después; parte de las tareas no son posibles.
La recompensa
Definimos la recompensa R como binaria: R = 1 si la petición se atiende dentro del tiempo pactado en el SLA y R = 0 en caso contrario. Con recompensas binarias, el valor de cada brazo es una probabilidad de éxito, y su estimación es la proporción observada.
Los KPIs
- Veces elegido (nk): cuántas peticiones se enviaron al brazo k.
- Éxitos (sk): cuántas de ellas devolvieron
R = 1. - Tasa de éxito estimada (Qk = sk / nk): el valor estimado del brazo.
- Margen de incertidumbre: aproximación al 95 % con el error estándar de una proporción,
±1,96·√(Q(1−Q)/n). Cuantas menos veces se ha probado un brazo, más ancho es. - Regret (arrepentimiento): diferencia entre la recompensa que habríamos obtenido eligiendo siempre el mejor brazo y la que obtuvimos. Es la métrica natural para comparar estrategias de bandido.
- KPIs de negocio relacionados: tiempo medio de recuperación (MTTR) y tasa de incumplimiento del SLA, que la noticia original menciona como indicadores de reporte.
Tabla didáctica (Figura 1)
La tabla siguiente es la pieza central de la lección. Simula 1.000 peticiones de una empresa cliente durante la caída de servicios de Microsoft, repartidas por una política ε-greedy con ε = 0,1: en el 90 % de los casos se elige el brazo con mejor estimación y en el 10 % se elige uno al azar. 📊
| Brazo | Estrategia | Veces elegido (n) | Éxitos (s) | Tasa estimada Q = s/n | Margen ±95 % | Papel en la política |
|---|---|---|---|---|---|---|
| A | Reintentar región principal | 60 | 21 | 0,35 | ±0,12 | Exploración |
| B | Conmutar a región secundaria | 720 | 590 | 0,82 | ±0,03 | Explotación |
| C | Servir desde caché / CDN | 150 | 108 | 0,72 | ±0,07 | Exploración (fue líder al inicio) |
| D | Modo sin conexión local | 70 | 42 | 0,60 | ±0,11 | Exploración |
| Total | 1.000 | 761 | 0,76 | — | — | |
Datos ilustrativos para uso docente. No proceden de Microsoft ni de los informes del incidente.
Tres detalles de la tabla merecen atención antes de pasar a las figuras:
- El brazo C se eligió 150 veces, más que A y D juntos casi. En la simulación, la caché tuvo una racha buena en las primeras peticiones y fue el líder provisional hasta que B la superó. Esto ilustra el riesgo de explotar demasiado pronto.
- El margen de A (±0,12) cuadruplica el de B (±0,03). Sabemos mucho de B y poco de A porque hemos probado poco A.
- La tasa global (0,76) queda por debajo de la de B (0,82). La diferencia es el precio de explorar, y se puede medir: si las 1.000 peticiones hubieran ido a B con su tasa estimada, se esperarían unos 819 éxitos; hemos obtenido 761. Ese hueco de unos 58 éxitos es una estimación del regret.
Análisis estadístico y modelo (Figura 2)
Paso 1. Formalizar el problema
Tenemos K = 4 brazos. Cada brazo k tiene una probabilidad de éxito desconocida μk. En cada instante t = 1, 2, …, 1.000 elegimos un brazo At y recibimos Rt ∈ {0, 1}. El objetivo es maximizar la suma de recompensas, o, lo que es equivalente, minimizar el regret acumulado:
Regret(T) = T · μ* − Σt=1..T Rt, donde μ* es la probabilidad del mejor brazo.
Paso 2. Estimar el valor de cada brazo
La estimación más sencilla es la media muestral. No hace falta guardar todas las observaciones: se actualiza de forma incremental cada vez que llega una recompensa nueva 🧮
Qk ← Qk + (1 / nk) · (R − Qk)
La expresión se lee así: la nueva estimación es la anterior corregida por el «error de predicción» (R − Q), con un peso que se reduce a medida que acumulamos datos. Esta misma estructura (estimación + paso × error) reaparece en Q-learning y en SARSA, por lo que entenderla aquí ahorra trabajo después.
Ejemplo numérico con el brazo B. Supongamos que tras 719 peticiones llevaba 589 éxitos, de modo que QB = 589/719 ≈ 0,8192. Llega la petición 720 y tiene éxito (R = 1): QB ← 0,8192 + (1/720)·(1 − 0,8192) ≈ 0,8194, que coincide con 590/720.
Paso 3. Elegir con una política
Las tres políticas de referencia son:
- ε-greedy: con probabilidad 1 − ε se elige el brazo de mayor Q; con probabilidad ε, uno al azar. Es la que se ha usado en la tabla.
- UCB (límite superior de confianza): se elige el brazo que maximiza
Qk + c·√(ln t / nk). El segundo término es un bono por incertidumbre que favorece a los brazos poco probados. El análisis clásico es el de Auer, Cesa-Bianchi y Fischer (2002), Machine Learning, 47, 235–256. - Muestreo de Thompson: se mantiene una distribución Beta(1 + sk, 1 + nk − sk) para cada brazo, se extrae un valor de cada una y se elige el mayor. Explora en proporción a la duda que queda.
Paso 4. Aplicarlo a los datos
Con los números de la tabla, el brazo con mayor estimación es B (0,82), y la política lo explota en la mayor parte de las peticiones. Pero el margen de C llega hasta 0,79, prácticamente el límite inferior de B (0,79). Con 150 observaciones de C no podemos descartar del todo que su rendimiento real esté cerca del de B. Una política UCB, a diferencia de ε-greedy, seguiría dando algunas peticiones a C precisamente por eso.
Si calculamos el índice UCB con c = 1 en t = 1.000 (ln 1.000 ≈ 6,91):
- A: 0,35 + √(6,91/60) ≈ 0,35 + 0,34 = 0,69
- B: 0,82 + √(6,91/720) ≈ 0,82 + 0,10 = 0,92
- C: 0,72 + √(6,91/150) ≈ 0,72 + 0,21 = 0,93
- D: 0,60 + √(6,91/70) ≈ 0,60 + 0,31 = 0,91
UCB elegiría C en la siguiente petición, por un margen mínimo, y D quedaría muy cerca. ε-greedy elegiría B. Las dos políticas no discrepan sobre cuál parece el mejor brazo, sino sobre cuánto vale seguir aprendiendo.
Visualización e interpretación
Las dos figuras responden a preguntas distintas y conviene leerlas por separado.
Cómo leer la Figura 1
Muestra dónde ha puesto la política sus fichas. Eje horizontal: los cuatro brazos. Eje vertical: número de peticiones. Cada par de barras compara peticiones enviadas (azul) y éxitos (verde). La altura de la barra azul de B domina el gráfico: es la huella de la explotación. Las barras de A, C y D son bajas, y eso no significa que sean malas estrategias, sino que la política les ha dado pocas oportunidades.
Cómo leer la Figura 2
Muestra lo que la política cree sobre cada brazo y con cuánta seguridad. La barra es la tasa estimada Q; el segmento vertical, el margen al 95 %. La lectura correcta combina ambos elementos 🔎
- B tiene la barra más alta y el margen más estrecho: estimación alta y bien conocida.
- A tiene la barra más baja; incluso su límite superior (0,47) queda lejos del límite inferior de B (0,79). Con estos datos, reintentar en la región principal es la peor opción con bastante claridad.
- C y B se tocan en torno a 0,79. La diferencia entre ambas puede no ser real.
- D tiene un margen ancho (±0,11): sabemos poco de ella.
Lo que el gráfico no dice
Aquí está la parte que suele quedar fuera de los apuntes. El modelo trata cada brazo como si su probabilidad de éxito fuera fija durante las 1.000 peticiones. En una caída de servicios de Microsoft real eso es falso por partida doble. La región principal (A) se recupera con el tiempo, así que su tasa de las primeras peticiones subestima la de las últimas. La región secundaria (B) puede saturarse si muchas empresas conmutan a la vez, y su tasa puede bajar justo cuando más se la usa. Ninguno de los dos efectos aparece en la Figura 2, porque la media muestral pondera igual una observación de la primera hora que una de la cuarta.
Existen remedios conocidos, con costes propios. Sustituir 1/n por un paso constante α (por ejemplo, 0,1) hace que la estimación olvide el pasado y siga los cambios, a cambio de ser más ruidosa. Usar una ventana deslizante con las últimas m observaciones tiene el mismo efecto. La elección de α o de m no tiene una respuesta única: depende de lo rápido que se crea que cambia el sistema, y eso es justo lo que no se sabe durante un incidente.
Hay una segunda limitación. La recompensa binaria trata igual un éxito servido desde caché (el usuario lee un documento de ayer) que uno servido por la región secundaria (el usuario edita en tiempo real). Si el negocio valora más el segundo, la recompensa debería ponderarse, y las conclusiones podrían cambiar.
Aplicación didáctica
La caída de servicios de Microsoft permite construir una sesión de 2 a 3 horas para Bachillerato (Matemáticas aplicadas, con enfoque intuitivo) o para los primeros cursos de grados de Informática, Estadística o ADE. Proponemos esta secuencia 💡
- Simulación con papel (20 min). Se preparan cuatro sobres con fichas verdes y rojas en proporciones ocultas (por ejemplo, 35 %, 82 %, 72 % y 60 % de verdes). Cada grupo dispone de 40 extracciones y debe maximizar las fichas verdes. Al acabar, se comparan las estrategias de los grupos: quién exploró, quién se casó pronto con un sobre.
- Formalización (30 min). Se introduce la notación de esta lección: brazo, recompensa, Q, regret. Se calcula a mano la actualización incremental con los datos de cada grupo.
- Programación (45 min). En Python con NumPy, un bucle de 1.000 iteraciones basta para comparar ε-greedy (ε = 0,01; 0,1; 0,3), UCB y Thompson. El esqueleto mínimo de ε-greedy cabe en pocas líneas:
if rng.random() < eps: k = rng.integers(4)
else: k = np.argmax(Q)
r = rng.random() < mu[k]
n[k] += 1; Q[k] += (r - Q[k]) / n[k] - Variante no estacionaria (30 min). Se hace que
mu[0](brazo A) suba linealmente de 0,2 a 0,9 a lo largo de la simulación, imitando la recuperación de la región principal. El alumnado comprueba que la media muestral reacciona tarde y prueba un paso constante α. - Debate final (15 min). ¿Qué decisiones reales de una empresa durante un incidente encajan en un bandido y cuáles requieren un modelo con estados?
El profesorado encontrará material complementario en la sección de recursos para profesores de Canal Docente, y el alumnado puede practicar con simulaciones en los recursos interactivos. ✅
Para evaluar, propongo un criterio sencillo: el alumno o la alumna debe ser capaz de explicar con sus palabras por qué la tasa global (0,76) es menor que la del mejor brazo (0,82), y de estimar cuánto regret ha costado la exploración en su propia simulación.
Preguntas para el aula
- Con los datos de la tabla, calcula el regret aproximado de la política si el verdadero valor de B fuera 0,82. ¿Cambia mucho si el valor real de B fuera 0,79?
- El brazo C se eligió 150 veces, bastante más que A o D. Propón una secuencia de resultados en las primeras 20 peticiones que explique por qué ε-greedy explotó C al principio.
- Recalcula los índices UCB con
c = 0,5y conc = 2. ¿Qué brazo se elige en cada caso? ¿Qué representa el parámetroc? - Si la región secundaria (B) se satura cuando recibe más del 70 % del tráfico, ¿sigue siendo válido modelar el problema como bandido? ¿Qué modelo usarías y qué sería el «estado»?
- Diseña una recompensa no binaria que distinga entre edición en tiempo real, lectura desde caché y trabajo sin conexión. Justifica los pesos.
- Cuando se publiquen los informes de esta semana sobre la caída de servicios de Microsoft, ¿qué tres datos necesitarías de ellos para calibrar las probabilidades
mude una simulación más realista? - Compara ε-greedy con ε = 0,01 y ε = 0,3 en tu simulación de 1.000 pasos. ¿Cuál acumula menos regret? ¿Cambia la respuesta con 10.000 pasos?
Conclusión
La lección ha recorrido el bandido multibrazo completo: la definición de brazos y recompensas, la estimación incremental de Q, tres políticas de elección (ε-greedy, UCB y Thompson) y el regret como forma de medir el coste de aprender mientras se decide. Sobre los datos ilustrativos de la caída de servicios de Microsoft, la región secundaria aparece como la estrategia más fiable (0,82 ± 0,03), reintentar en la región principal como la peor (0,35 ± 0,12) y la caché como una alternativa que los datos aún no permiten descartar.
Quedan tres cuestiones abiertas. La primera es empírica: los informes técnicos del incidente aún no se han publicado, y sin ellos no hay forma de saber qué estrategias funcionaron en la práctica ni con qué tasas. La segunda es de modelo: el bandido estacionario ignora la recuperación progresiva del servicio y la saturación de las regiones de respaldo, dos fenómenos que probablemente pesaron en el incidente real; las versiones con paso constante o ventana deslizante los atenúan, pero introducen un parámetro que nadie sabe fijar a priori. La tercera es de medida: una recompensa binaria no captura que no todos los éxitos valen lo mismo para el negocio. Para profundizar en estas extensiones, el capítulo 2 de Sutton y Barto y el resto de artículos del blog de Canal Docente son los siguientes pasos naturales. 📚