Storytelling con datos: no solo muestres tus datos, cuenta una historia. Parte I: contexto y visualización.

En la escuela aprendemos bastante acerca de lenguaje y matemática: en lenguaje, aprendemos cómo poner palabras en oraciones e historias, y en matemática, aprendemos a encontrarle el sentido a los números, sin embargo es bastante raro que estos dos campos se combinen: nadie nos enseña a contar historias con números. Actualmente, la tecnología nos brinda cada vez más grandes cantidades de datos y, junto con esto, nos plantea la exigencia de comunicar los descubrimientos que realizamos en estos datos para poder entenderlos, por ello, la capacidad de encontrar la más adecuada visualización para estos datos es vital para convertirlos en información y usarlos para tomar decisiones.

Muchas veces, los profesionales mencionan en su hoja de vida, su proficiencia en herramientas de ofimática, sin embargo, esto es lo mínimo deseable para cualquier empleador y ya no es diferencial para competir. De la misma manera, poner unos cuantos -o muchos- datos en una hoja de cálculo o en una presentación, implica para algunos que la visualización termina allí, cuando lo que muchas veces ocasiona es que la historia detrás de los datos sea difícil o imposible de entender. Y sí, efectivamente, hay una historia detrás de los datos pero las herramientas no la conocen, pues aquí es donde se distingue la capacidad de un profesional de traer la historia a contexto con la visualización adecuada. Esta, es la capacidad de contar historias con datos, o storytelling con datos.

La importancia del contexto:

Para empezar a entender la importancia del contexto, es necesario diferenciar entre el análisis exploratorio de los datos y el análisis explicativo de los datos. El análisis exploratorio es lo que hacemos para familiarizarnos con los datos, para esto podemos empezar con una pregunta o hipótesis para lograr entender qué puede ser interesante acerca de estos. En resumen, es la capacidad de convertir una gran cantidad de datos en uno o unos cuantos descubrimientos. Por otro lado, el análisis explicativo es lo que hacemos cuando ya hemos decidido qué descubrimientos vamos mostrar a nuestra audiencia, es decir centrarnos en el qué datos vamos a mostrar, a quién se los vamos a mostrar y cómo los vamos a mostrar. Esta parte es donde específicamente se centra la capacidad de contar historias con datos.

Para esto, empezaremos con un ejemplo: el jefe de un área de mesa de ayuda, ha tenido muchos problemas durante toda la mitad del año 2016, debido a que en el mes de mayo de 2016, dos miembros de su equipo renunciaron y desde ese momento su área no ha podido satisfacer la demanda de atención y, por ende, su calidad de servicio ha disminuido de manera crítica. Este jefe tiene los datos de atención de todo el año y va a mostrarlo al comité de productividad de su empresa, que son los encargados de aprobar las contrataciones de personal necesarias para cada departamento, pues necesita que el comité apruebe la contratación de dos nuevos miembros para su equipo. Finalmente, los datos a disposición son muchos pero únicamente necesita mostrar aquellos que ilustran la diferencia entre la demanda de atención y la poca capacidad de satisfacer dicha demanda partir de mayo de 2016. En este punto es importante recalcar un error muy común: decidir qué datos mostrar y, más aún, qué enfatizar.

Así como un museo es valioso no por las obras que muestra sino por las obras que no muestra -de lo contrario sería un almacén y no un museo-, una presentación debe ser valiosa por la selección de datos que incluye y, sobre todo, por lo tuvo que dejar de lado para armar dicha selección. En resumen, el contexto de este caso sería el siguiente:

  • ¿QUIÉN?:
    El comité de productividad de la empresa encargado de aprobar las contrataciones de personal para cada departamento.
  • ¿QUÉ?:
    Enfatizar la necesidad de aprobación por parte del comité para la contratación de dos nuevos integrantes para su equipo.
  • ¿CÓMO?:
    Mostrando los datos que ilustran la diferencia desde mayo de 2016 entre los tickets presentados y los tickets atendidos debido a la renuncia de dos integrantes de su equipo, poniendo énfasis tanto en el punto de quiebre en la diferencia desde dicha fecha.

Escoger una visualización adecuada:

Otro de los mayores errores que los profesionales cometen, es la mala elección de la visualización de datos. En la siguiente imagen, si pidiera buscar la cantidad de veces que aparece el número 3, probablemente me tardaría 15 a 20 segundos explorando la imagen.

 

Captura de pantalla 2017-09-13 a la(s) 18.28.13

Sin embargo, en la siguiente imagen, la misma búsqueda puede tomar 3 segundos como máximo y, probablemente, la mitad de esfuerzo. La razón es simple: hemos enfatizado la parte a la que quiero que mi audiencia preste mi atención, mediante el uso de negritas. De la misma manera, también hubiera sido válido el uso de color y elementos visuales adicionales.

Captura de pantalla 2017-09-13 a la(s) 18.28.33

En la siguiente imagen, podemos ver un típico gráfico de barras, donde se muestra la información descrita en el caso anterior que presenta los tickets recibidos y los tickets atendidos cada mes por el departamento de mesa de ayuda durante el año 2016. A primera vista, no es fácil reconocer el objetivo del gráfico, aunque después de unos segundos, es posible ver que la diferencia entre los tickets atendidos y los tickets recibidos se incrementa a partir de la mitad del año. Si bien se requiere observar bien el gráfico para descubrir esto, la razón de esta diferencia se desconoce por completo.

Captura de pantalla 2017-09-13 a la(s) 18.21.38

En esta imagen, usando los mismos datos pero con una visualización distinta, se muestra en un gráfico de líneas, la diferencia entre los tickets de atención recibidos y los tickets atendidos durante todo el año 2016, con una ayuda visual –barra vertical– que enfatiza la diferencia desde mayo de 2016 y añade una pequeña leyenda para indicar que dicha diferencia se debe a la renuncia de dos integrantes y, adicionalmente con mayor énfasis, una llamada a la acción; la necesidad de contratar a dos nuevos miembros para el departamento de mesa de ayuda.

Captura de pantalla 2017-09-13 a la(s) 18.24.53.png

 

Como conclusión, los dos puntos iniciales a tener en cuenta para empezar a contar una historia es empezar definiendo el contexto: tanto con el análisis exploratorio –qué quiero encontrar– como con el análisis explicativo –contar la historia–, que, a su vez, requiere definir tres aspectos importantes: quién es mi audiencia, qué les quiero decir y cómo lo voy a hacer. Posteriormente, es necesario elegir la correcta visualización para los datos así como enfatizar las partes del mensaje que deseo comunicar a mi audiencia. En siguientes artículos abordaré los factores adicionales que también son importantes para contar historias con datos. Asimismo, no puedo dejar de recomendar el excelente libro ¨Storytelling with Data¨ de Cole Nussbaumer, del cual aprendí y obtuve las imágenes para elaborar el tema sobre el cual trata este artículo.

 

What unlearning really is

To understand what unlearning is, first we need to explore the definition of learning:

  • The act or experience of one that learns.
  • Knowledge or skill acquired by instruction or study.
  • Modification of a behavioral tendency by experience (such as exposure to conditioning)

From the very definition, the act of learning requires not only obtaining new knowledge, either by studying or by experiencing, but also modifying our future behaviour according to the belief that an specific set of actions will allow us to solve an specific problem or successfully deal with a situation. 

We, humans, do not really learn, instead what we do is to look for a pattern, through trial and error, that can be deemed a good enough solution for a given scenario under our appreciation, which is also called experience. Then, in subsequent situations, we just basically apply the same pattern over and over until we stumble upon a, slightly or completely, different scenario that force us to start looking again for a new pattern to deal with this situation. Here is where the problem comes with what we have previously learned: the approach we take is commonly making the most of our own experience dealing with similar problems we solved in the past. From that knowledge on is where we start looking for a solution, since it would be less efficient to start over from a completely fresh and new approach to a problem that might be solved with a little tweak to our previous experience, because come on, we need optimal times and results, and doing it all over again is not a realistic possibility.

For example, if we are given a challenge to come up with a solution to find a cure to a disease, we might start considering several distinct components for an existing drug or maybe a completely new drug, but maybe the correct approach is not a drug to fight the disease but in preventing that an specific gene in humans reacts to a certain body condition which really causes the disease is manifested. That would represent a totally different schema for fighting diseases that would require to focus not in looking for a cure but rather in data to predict a possible scenario and, consequently, not using physicians to cure diseases but data scientists to predict possible situations and probabilities where the disease is manifested.  

If the example sounds totally out of logic is because our prior learning (physician cure existing disease in human using drug) prevent us from adopting a new frame of mind (data scientist find pattern in data to prevent future disease in human) to deal with a known situation. Today, usage of human data to find patterns to alert us of possible future diseases is more common everyday but without a mindset to leave behind the old -even the current and working- and to make way for the new then there is no possibility yo unlearn.

Unlearning is not about forgetting what we know -because sooner or later we unconsciuosly go back to our old ways- but having the capacity to freely choose a totally different mental model to replace our current one, is being able to look at the things we have known all our life from a totally different perspective to find them different or less logical purposes or reasons, that might even surprise us later.

Finally, both individuals and organizations need to be learning entities but innovation demand unlearning first so that -as stated previously- we can make way for the new.

How does Netflix know what movies I like?

What does Statistics have to do with Netflix knowing what movies you will like? A lot. Specifically with something called correlation. In Statistics, correlation allows us to measure the degree in which two different phenomena are related to one another. It is certainly possible to find correlations everywhere, for example:

  • Temperatures in the summer and sales of ice cream.
  • Completed years of education, the higher your potential to earn.

When one of them goes up, so does the other one. These types of relationships, for example the one of the temperature and ice cream sales, can be represented by a graphic called scatter plot, like the one below:

But then, how does Netflix know me so well to know what movies I will like?  The answers is that it does not know you but it can predict what you will like through the usage of complex statistics using the data of the films you have liked in the past based on how you —and other customers— have rated them.

Netflix estimates that 75% of user activity is driven by automated recommendations that the service provides to its users. Back in 2006, Netflix launched a contest called Netflix Prize in which any person was invited to came up with a new algorithm that improved the existing Netflix recommendation system by at least 10 percent (that is 10 percent more accurate in predicting how a customer would rate a film after watching it). The individual or team that accomplished this feat would obtain one million dollars.

Using what they called “training data” —more than 100 million ratings given to 18,000 films by 480,000 Netflix customers— thousands of teams from 180 countries developed improvements to the existing algorithm to accurately predict the actual rating these customer will give to a selected group of films. After three years of perfecting the algorithm and thousands of attempts by the participants, Netflix declared a winner: a team of seven people conformed by statisticians and computer scientists from several countries.

What this algorithm does is an automated version of what we have been doing for several years to pick a movie to watch: find somebody with a taste in movies that matches yours and ask for a personalized recommendation, knowing that if that person’s likes and dislikes closely approach yours then that person’s choice will be similar to yours. In Statistics this is called correlation.

We can say that two specific variables are positively correlated if a change in one is directly associated to a change in the other one, always in the same direction, this could be the case for the relationship between height and weight. This is because people who is taller generally weigh more (on average); and people who is shorter tend to weigh less (also, on average).

The reason why I emphasize that these associations are not exact but average is because not every observation fits exactly an specific pattern. In some cases, short people weigh more —much more— than tall people,  and in other cases, people who don’t exercise at all are slender than people who frequently exercise. 

One interesting characteristic about correlation as a statistical tool is that it is perfectly possible to express an association among two specific variables in a simple but very descriptive statistic called the correlation coefficient, which features two interesting points to notice. Firstly, that coefficient is just a simple number whose range goes from –1 to 1. When a correlation coefficient is 1, also known as perfect correlation, it implies that an alteration in one of the variables is directly linked to an equivalent change in the other variable in the same direction, and when the correlation coefficient is –1, also known as perfect negative correlation, it implies that an alteration in one of the variables is directly linked to an equivalent change in the other variable, but this time, in the opposite direction. When the correlation coefficient gets closer to either 1 or –1, then it is said that the correlation is stronger. Plus, when the correlation coefficient is 0 or close to 0, then it is said that there is no correlation between the two variables, to make this point clear, we can use the example of the —ridiculous and non existent— correlation between the number of shoes a person owns and the weight of that person. Secondly, when the correlation coefficient is expressed no units are involved, no matter what the nature of and how different each of the variables is, such is the case of the correlation between a variable expressed in units (number of shoes) and a variable expressed in kilograms (weight of a person).

Finally, the most important feat that, in Statistics, a correlation coefficient allows us to do is to simplify what could be very complex relationships among tons of pieces of data —which would require several different charts and tables to express— using an extremely simple descriptive statistic, the same one that Netflix uses to give us an extremely accurate recommendation of the next movie we will watch.