José Enrique González Cornejo
Diciembre 2015
Versión 2.0

Indice CONTENIDO Abstract ~ Resumen Aplicación Diagrama Arbol Según Parámetros Naive Bayes - Video- Tutorial Algoritmo Naive Bayes Explicado con Tablas Dinámicas Excel I. Concepto a través de dos Buzones ¿Cuál es la probabilidad que sea roja? ¿Cuál es la probabilidad de sacar bolita roja si la primera fue negra? Respuesta Bayes PB(R/N) Formalizando el Experimento 1 II. Experimento Dado el Arbol y Cantidades III. Asociando Datos Estadísticos Experimento 3 IV. Formalización Matemática del Teorema de Bayes V. Conclusión Video Síntesis Regla de Bayes Artículos Relacionados Artículos del Autor Canal Videos DocIRS

 Ver Video

Experimento

Diagrama de árbol según el experimento

 

$$ P(R_{\text{Final}})=\\ \frac{P(N)\cdot P(R \mid N)}{P(N) \cdot P(R \mid N) + P(R)\cdot P(R \mid R)} \quad [2] $$

Respuesta Expresión [2]


 

 N $\longrightarrow$ R 

Descripción del Resultado

Se aplicó el Teorema de Bayes, para obtener la respuesta dada en la expresión [2]. En efecto, obsérvese el diagrama de árbol asociado y desarrollemos:

• Nótese que el numerador de la expresión [2] sólo estima la probabilidad partiendo de negra para llegar a extraer una roja del segundo buzón.(Cuando se va por ramas consecutivas se multiplica la probabilidad [Conjunción $\land$]. Ver Teorema de la Multiplicación).
   
• Nótese que el denominador de la expresión [2] es la probabilidad total, - que la bolita extraída del segundo buzón sea roja. Es decir, es la estimación de llegar por los diferentes carriles a sacar un bolita roja del segundo buzón. (Cuando se bifurca por carriles diferentes se suma [Disyunción $\lor$]. Ver Regla de la Adición).

Ver detalle ejemplo en capítulo I

Ver otro ejemplo aplicado "Naïve Bayes ~ Simple Algoritmo de Clasificación Modelo de Variables Discretas" 

---

Para empezar, seleccione usted mismo parámetros de la siguiente aplicación y genere un diagrama de árbol, dado que serán la base de los experimentos que haremos para desarrollar el concepto.

Introducción  

I. Concepto a través de dos Buzones

Experimento 1

Se tienen dos buzones. El Buzón 1 con 3 bolitas negras y 2 rojas. El Buzón 2, con 4 negras y 3 rojas.

Dibujo 1

El experimento aleatorio que utilizaremos, consiste en sacar una bolita del primer buzón e introducirla en el segundo, para después extraer una bolita de este último buzón y ahí preguntar probabilidades de ocurrencia. El hecho de sacar una bolita lo llamaremos evento, cuya probabilidad es siempre diferente de cero. (El experimento tiene como condición, siempre sacar una bolita)

Dibujo 2

· Primer evento: Sacar una bolita del Buzón 1, esta acción puede seguir dos carriles: Comenzar sacando una bolita de color Negro o sacar una de color Rojo. Inmediatamente introducirla en el Buzón 2. En ambas situaciones, se aumenta en una bolita el espacio muestral o número total de bolitas del segundo buzón.

· Segundo evento: Sacar una bolita del Buzón 2,- después de haber introducido la bolita que proviene del Buzón 1, - la cual también sigue los dos mismos carriles (N o R)-,

Pregunta: ¿Cuál es la probabilidad que sea roja?

Para responder esta pregunta, se  construye un diagrama en árbol, donde se definen dos carriles, y  se asocia la probabilidad cada a cada rama. Nótese que Cada carril cuenta con dos ramas. (Utilizar Aplicación Generadora de Arboles con parámetros (2,2,0) para dibujarlo).

Diagrama 1

En el diagrama de árbol a continuación, asociamos las probabilidades a cada rama.

Diagrama 2

Primero se definen los eventos o sucesos con una notación clara:

Evento 1

i) Suceso N: Sacar una bolita negra, probabilidad 3/5
ii) Suceso R: Sacar una bolita roja, probabilidad 2/5

De ahí, utilizaremos la notación convencional, sobre el segundo evento condicionado:
 

Evento 2 (i)
• Sacar una bolita negra cuando la primera fue negra, N/N
• Sacar una bolita roja cuando la primera fue negra, N/R
 

Evento 2 (ii)
• Sacar una bolita negra cuando la primera fue roja, R/N
• Sacar una bolita roja cuando la primera fue roja, R/R
 

 Después marcamos con un circulo rojo cada uno de los rojos posibles de sacar del Buzón 2.

A partir del diagrama, calculamos la probabilidad de sacar una bolita roja del Buzón 2, dado el experimento en cuestión. Respondiendo la pregunta formulada:  ¿Cuál es la probabilidad que sea roja?

(Nótese que esto significa que primero calcularemos la Probabilidad Total del sacar una bolita roja)

La regla de ir calculando la probabilidad total de un experimento condicionado, basado en el diagrama de árbol es simple y ordenado. Cuando vamos por un carril (ramas consecutivas), se van multiplicando las probabilidades asociadas a las ramas. (conectiva booleana conjunción y).

Diagrama3 (Ver Teorema de la Multiplicación)

Enseguida en el diagrama ,  nos movemos por el Carril Rojo y usamos la regla de la suma. Es decir, cuando bifurcan los carriles, entonces se debe sumar las probabilidades (conectiva booleana v, disyunción o) . De ese modo llegamos al suceso bolita Roja, usando regla de la multiplicación y la regla de la suma.

Diagrama 4 (Regla de la Adición)

Nótese que la suma de las probabilidades de las ramas bifurcadas siempre debe sumar 1.

Ahora, veamos qué se preguntaría el reverendo Thomas Bayes, autor del Teorema que analizaremos más adelante:

¿Cuál es la probabilidad de sacar una bolita roja del segundo buzón, dado que la primera bolita fue negra?
 

Llamemos P_B(N/R) a esta probabilidad formulada por Bayes, para tener una notación coherente.

La respuesta es fácil, y sin mayor análisis mostramos la operación. En efecto, ahora que tenemos diagramado el árbol y las probabilidades asociadas a cada rama en el Diagrama 2. De modo que tenemos la probabilidad de sacar una bolita roja del segundo evento cuando partimos por el carril de las negras, P(N/R) y también tenemos la probabilidad total de Roja [1]. Por tanto,

Es decir, tomamos la probabilidad de sacar una bolita roja, cuando partimos por el carril de las negras y lo dividimos por la probabilidad total de sacar una roja calculada en [1] y ahí tenemos una aplicación concreta del Teorema de Bayes.

Formalizando el Experimento 1

Observamos que el Evento2 está condicionado por el Evento1, por eso son eventos llamados mutuamente excluyentes (o independientes). Es decir, para que ocurra el segundo evento debe ocurrir el primero. Otra propiedad de estos eventos, es que su probabilidad siempre es diferente de cero.

• p(A B) = p(A) • p(B). Es la probabilidad del suceso consecutivo de A y B. Se aplica el llamado "Principio de Dualidad"
Si se sigue una de los dos carriles del árbol, en la medida que avancemos por cada rama iremos aplicando la multiplicación de las probabilidades que están asociada a la conectiva (conjunción) del Algebra de Boole, o equivalentemente a la intersección de la Teoría de Conjuntos. Se dice p(A B) = p(A) • p(B) si los sucesos A y B son independientes.

• p(A B) = p(A) + p(B). Es la probabilidad que ocurra el procesa A o el procesos B. (Ver axioma de la probabilidad, Regla de la Adición)
Si se bifurca por uno de los carriles, se aplica la suma de la probabilidades que siguen por la rama, dado que se asocia la conectiva v (disyunción) del Algebra Booleana, o equivalentemente la unión de la Teoría de conjuntos. Nótese que siempre estamos aplicando esta regla a conjuntos disjuntos (A B = Φ).

Entonces, el proceso estocástico se dará sobre los buzones 1 y 2, los cuales están cargados inicialmente con bolitas negras y rojas. Al poner en movimiento el experimento, observamos que cada uno de los eventos que lo constituyen, son sucesos probabilísticas y parte del espacio muestral (número total de posibilidades del experimento).

Por tanto, la expresión con notación formal del calculo de la probabilidad en [1] es:

P_c(R) = P(N)·P(R/N)+P(R)·P(R/R)

Y la expresión con notación formal, calculada en [2] de acuerdo al Teorema de Bayes  es:

Es decir, P_B(N/R) en el marco del Experimento1, responde la pregunta ¿Cuál es la probabilidad de sacar una bolita roja del segundo buzón, dado que la primera bolita fue negra?

II. Experimento Dado el Árbol y Cantidades

Experimento 2

Realicemos un experimento al revés, donde está dado un diagrama de árbol con cinco fuentes de entregables, los cuales - en un segundo evento-, pueden ser rechazados o aprobados. Los valores de cada carril y rama son absolutos y nos preguntan:

 ¿Cuál es la probabilidad de que un entregable Aprobado provenga de D?.

Transcribamos el árbol en tablas para determinar sus distribuciones probabilísticas. Al tener las cantidades de entregables A, B, C , D y E , con sus respectivas distribuciones en el segundo evento de Rechazados o Aprobados, entonces podemos asumir y asignar sus probabilidades. En efecto, la suma de los entregables es el espacio muestral del primer evento, los cuales suman 200 entregables:

A continuación la distribución por ramas del segundo evento E2:

Por tanto la Probabilidad Total de ser un Entregable Aprobado es:

$$ P(Aprobado)=0.2\times 0.75 + 0.125 \times 0.53 + 0.15\times 0.53 + 0.275 \times 0.55 + 0.75 \times 0.84 $$

y la probabilidad de que un entregable Aprobado que proviene de D, la obtenemos aplicando Bayes. Por tanto,  siguiendo el carril E hasta Aprobado y diviendo ese valor por la Probabilidad Total de Los Aprobados:

Formalmente con la notación que estamos usando, la expresión queda así:

III. Asociando Datos Estadísticos

A continuación ilustraremos como se asocia la frecuencia relativa, capturada como dato,  a la la probabilidad del evento. En efecto, el uso práctico en el transporte, medicina, finanzas,  usabilidad de determinadas navegaciones o rutinas de los usuarios en un sistema, o en todas las actividades y disciplinas donde se recaban datos en forma sistemática y bien clasificada, se utiliza como probabilidad la proporción del espacio muestral que ocupa. Estas observaciones, pueden ir creciendo en el tiempo. Es decir, la proporcionalidad de lo coeficientes y del tamaño del espacio muestral son dinámicos.

En efecto, se asume que cuando las repeticiones son  grandes y su número de observaciones crece en forma indefinida, entonces  la frecuencia relativa converge hacia la probabilidad del evento, y  se considera que las frecuencias relativas tienden a estabilizarse. La noción de frecuencia o de "a posteriori" es entonces de tipo empírico.

Es necesario comprender que cuando la escala en ordenes de magnitud aumenta, seguramente variables discretas hay que intentar tratarlas como continuas e incorporar la estadística y modelos estadísticos bayesianos computacionalmente.

Experimento 3

En un sector de la ciudad, se contabilizaron 220.000 pasajeros que viajan en un período determinado, - entre las 12:00 y las 13:00 horas -, las cifras señalan que el 20% de esta población se transporta en la línea E1, un 35% se moviliza en la línea E2 y el restante en otras líneas (Llamemos E3).

La estadística muestra además que el 25% que ocupa la línea E1 son hombres, el 15% de los hombres la línea E2 y el 60% de las mujeres viaja en las otras líneas de transporte.

Las distribuciones discretas de probabilidad se muestran, es las siguientes tablas a continuación:

¿Cuál es la probabilidad que un hombre haya utilizado la línea de transporte E2?

Diagrama 5

Es claro que se definen tres carriles en el Diagrama 5 de árbol, E1, E2 y E3. Donde cada uno de ellos cuenta con dos ramas binarias de género. Por tanto los eventos son:  Pasajeros que pueden utilizar una de las tres líneas y desde ahí, el evento que el Pasajero pueda ser hombre.

La Probabilidad Total de ser Hombre se calcula como:

 P_c(H) = P(E1) · P(H/E1) + P(E2) · P(H/E2) + P(E3)·P(H/E3)

Es decir, en términos numéricos:

Aplicando el Teorema de Bayes:

IV. Formalización Matemática del Teorema de Bayes

Sea E un evento de un espacio muestral S, y sean A₁,A₂,A₃,...,A_n , eventos disjuntos, cuya unión es S.  (Ver concepto de Partición en Conjuntos)

Entonces para i = 1,2,3,....n,  se tiene la siguiente fórmula:

Se considera que los eventos A = {A₁,A₂,A₃,...,A_n} son causas posibles del evento E, de ahí que el Teorema de Bayes nos permite estimar la probabilidad de que un elemento particular de  A ocurra siempre que el suceso E haya ocurrido.

Nótese que una sucesión de observaciones A₁,A₂,A₃,...,A_n se denomina Proceso Estocástico, cuando los valores de los A_i no son predecibles exactamente, pero si es posible tener sus probabilidades y responden a una relación de orden (generalmente en el tiempo).

V. Conclusión

La importancia que tiene para empresas como DocIRS, donde uno de sus focos es el tratamiento documental de datos, análisis estadístico de contenidos, desarrollo y gestión de plataformas tecnológicas, para el control y seguimiento de proyectos y contratos, es entender que el Teorema de Bayes nos ayuda y nos induce a abrir conocimiento permanentemente, mejorar los algoritmos y la gestión de calidad.

La experiencia directa y sorprendente en DocIRS e inimaginable para cualquier pedagogo de la matemática, nos demuestra que un joven programador de computadoras, puede ir haciendo y desarrollando complejos algoritmos, sin tener el más mínimo conocimiento formal, ni teórico de la matemática. Tengo evidencias fehacientes de programadores, que en varias ocasiones han construido complicadas funciones  en un lenguaje de alta programación-, respondiendo a un requerimiento determinado de un sistema.

En efecto, al analizar los códigos de lo desarrollado, siempre encuentro relaciones complejas y múltiples, recurrencia, condicionales anidados con lógica de Boole, aplicación de series, espacios de probabilidades y clases de intervalos. Todas la rutinas las han construido intuitivamente, sin saber siquiera que existen esos conceptos, teoremas, propiedades y definiciones. Ni siquiera conocen su notación matemática y menos Teoría de la Medida. El logro es sólo por su oficio con el computador, en su lenguaje de programación y manejo que tienen sobre Internet.

Por esa razón, dada una exigencia en una de nuestras plataformas, desarrollé una simple rutina a modo de ejemplo, donde apliqué el Teorema de Bayes, - sin mencionar el teorema, ni nada por el estilo -, solo utilizando un diagrama de árbol para la estimación de los resultados. La expliqué y traspasé al equipo de desarrollo asignándoles una serie de tareas  análogas, pero más complejas. La experiencia me demostró una vez más, que es posible transmitir un conocimiento en forma "mecánica" o por recetas de cocina, como dirían los académicos.

En efecto, una acertada aplicación del Teorema de Bayes nos fue señalando cómo debemos ir adaptando nuestros procesos, en función de las probabilidades, estimadas desde los datos almacenados en las bases de datos, requerimientos y accesos de usuarios, incidentes, fallas, reclamos, funcionamiento de nuestro networking, seguridad de la información, evolución del negocio del cliente, elementos que se están generando permanentemente.

La estadística bayesiana de las transacciones en nuestras plataformas, las iniciamos con un conjunto de supuestos, que nos han permitido ir ajustándolos y mejorándolos en función de la evidencia empírica que recolectamos diariamente. Colección de datos que permiten estar creando posibles escenarios, probando y analizando, a fin de determinar resultados  y su posible variabilidad, con eventos independientes, o dependientes,  variables aleatorias, distribuciones de probabilidad, regresión lineales y proyecciones futuras.

Anexos del Artículo

Un problema para el lector

Experimento 3

Continuemos diseñando un experimento  que es una variante más compleja del experimento anterior, pero con magnitudes mayores, a fin de ir comprendiendo que la aplicación del Teorema de Bayes, - (que formalizaremos matemáticamente al final del articulo)-, requiere necesariamente la utilización del computador. Aún más, principalmente la combinatoria de muchos eventos exige el tratamiento computacional. Así mismo la graficación del correspondiente diagrama de árbol.

Supóngase   en forma limitada un problema de probabilidades de transporte público.  Haremos abstracción de estaciones del año, días, horarios -, así mismo, inventaremos las distribuciones probabilísticas de datos. En efecto,  trabajaremos con cifras de pasajeros que van utilizar la Línea 1 del Metro de Santiago de Chile, ingresando en la vecindad del barrio Estación Central.

Nótese que sabemos que, - para cualquier empresa de transporte metropolitano-, contar los ingresos en las estaciones, son datos capturables mediante la tarjeta BIP (o torniquetes). No obstante, también sabemos que la estimación de las afluencias de salida, se emplean otras técnicas estadísticas para obtener mediciones. La variables género son aun más difíciles de medir, sólo las introduje para hacer más complicado el experimento.

Los pasajeros que analizaremos ficticiamente, realizan sus ingresos por una de las tres siguiente estaciones: Universidad de Santiago (E7); Estación Central (E8) o Unión Latinoamericana (E9). La Línea 1 del Metro de Santiago de Chile tiene 27 estaciones. Es decir, no consideraremos las otras líneas existentes.
 

Esto implica que se bajarán en una estación del metro de la Línea 1, diferente a donde se subieron. (No consideramos transbordos a las otras líneas existentes de Metro de Santiago).

Los pasajeros que analizaremos pueden ser estudiantes (ES) o no estudiantes (NE), de género Femenino o Masculino.
 

Ahora asignaremos probabilidades en porcentajes estadísticos ficticios. La tabla con la probabilidad de salida de las 27 estaciones se hizo con una distribución aleatoria (Ver Algoritmo en Acción ~ Herramienta de Distribución Aleatoria de Suma 1), a fin de seguir aproximándonos al Teorema de Bayes de una más compleja, pero siempre heurística.

Diagrama Agregado del Experimento 3

El numero de combinaciones son 3 · 26 · 2 · 2 = 312, dado que se pueden elegir 3 carriles; después se pueden elegir 26 estaciones diferentes (una de las 27 fue ocupada por el carril inicial); dos posibilidades de ser estudiante o no;  y finalmente 2 posibilidades (hombre o mujer)

A fin de no tener que mostrar por extensión cada uno de los senderos, hemos agregado las estaciones en un conjunto E, de ese modo la rutina en javascript  sólo ilustrará con 12 carriles las combinaciones, asumiendo que cada sendero se configura con un elemento del conjunto E. Por ejemplo: E7E11-ES-HO, que significa que salió de la estación E7, se bajó en E11 que era un estudiante hombre.

Javascript que genera combinaciones

<!DOCTYPE html>
<html>
  <head>
    <meta charset="utf-8">

    <title>Diagramación de Arbol para Bayes</title>
    <style>
	.node circle {
	  fill: #fff;
	  stroke: steelblue;
	  stroke-width: 1px;
	}
	.node text {font: 11px Arial Narrow; }
	.link {
	  fill: none;
	  stroke: #ccc;
	  stroke-width: 1px;
	}
    </style>
  </head>
  <body>
<!-- load the d3.js library -->	
<script src="http://d3js.org/d3.v3.min.js"></script>
	

<script>
var treeData = [
  {
    "name": "Partida",
    "parent": "null",
    "children": [

{
        'name': 'E7',
        'parent': 'Partida',
        'children': [
          {
            'name': 'E7E1, ',
            'parent': 'E7',
			'children': [
{
			'name': 'S',
            'parent': 'E7',
			'children': [
			{
			'name': 'MU',
            'parent': 'E7'
            },
			{
			'name': 'HO',
            'parent': 'E7'
            }
			]
},
{
			'name': 'N',
            'parent': 'E7',
			'children': [
			{
			'name': 'MU',
            'parent': 'E7'
            },
			{
			'name': 'HO',
            'parent': 'E7'
            }
			]
},
            ]
          },

///////////////////////////////////////
          {
            'name': 'E7E2, ',
            'parent': 'E7',
			'children': [
{
			'name': 'S',
            'parent': 'E7',
			'children': [
			{
			'name': 'MU',
            'parent': 'E7'
            },
			{
			'name': 'HO',
            'parent': 'E7'
            }
			]
},
{
			'name': 'N',
            'parent': 'E7',
			'children': [
			{
			'name': 'MU',
            'parent': 'E7'
            },
			{
			'name': 'HO',
            'parent': 'E7'
            }
			]
},
            ]
          },
		  

///////////////////////////////////////
          {
            'name': 'E7E3, ',
            'parent': 'E7',
			'children': [
{
			'name': 'S',
            'parent': 'E7',
			'children': [
			{
			'name': 'MU',
            'parent': 'E7'
            },
			{
			'name': 'HO',
            'parent': 'E7'
            }
			]
},
{
			'name': 'N',
            'parent': 'E7',
			'children': [
			{
			'name': 'MU',
            'parent': 'E7'
            },
			{
			'name': 'HO',
            'parent': 'E7'
            }
			]
},
            ]
          },
////////////////////////////////
		  ]
      }
    ]
 }
];

// ************** Generar diagrama	 *****************
var margin = {top: 40, right: 120, bottom: 20, left: 120},
	width = 960 - margin.right - margin.left,
	height = 500 - margin.top - margin.bottom;
	

var i = 0;
var tree = d3.layout.tree()
	.size([height, width]);
var diagonal = d3.svg.diagonal()
	.projection(function(d) { return [d.x, d.y]; });
var svg = d3.select("body").append("svg")
	.attr("width", width + margin.right + margin.left)
	.attr("height", height + margin.top + margin.bottom)
  .append("g")
	.attr("transform", "translate(" + margin.left + "," + margin.top + ")");
root = treeData[0];
  

update(root);
function update(source) {
  // Compute the new tree layout.
  var nodes = tree.nodes(root).reverse(),
	  links = tree.links(nodes);
  // Normalize for fixed-depth.
  nodes.forEach(function(d) { d.y = d.depth * 100; });
  // Declare the nodes;
  var node = svg.selectAll("g.node")
	  .data(nodes, function(d) { return d.id || (d.id = ++i); });
  // Enter the nodes.
  var nodeEnter = node.enter().append("g")
	  .attr("class", "node")
	  .attr("transform", function(d) { 
		  return "translate(" + d.x + "," + d.y + ")"; });
  nodeEnter.append("circle")
	  .attr("r", 10)
	  .style("fill", "#fff");
  nodeEnter.append("text")
	  .attr("y", function(d) { 
		  return d.children || d._children ? -18 : 18; })
	  .attr("dy", ".35em")
	  .attr("text-anchor", "middle")
	  .text(function(d) { return d.name; })
	  .style("fill-opacity", 1);
  // Declare the links;
  var link = svg.selectAll("path.link")
	  .data(links, function(d) { return d.target.id; });
  // Enter the links.
  link.enter().insert("path", "g")
	  .attr("class", "link")
	  .attr("d", diagonal);
}
</script>
 </body>
</html>