Del Big Data al Data Quality. La gestión de la calidad de los datos

El uso de datos está presente en casi todas las actividades o tareas de cualquier organización o compañía y se ha convertido en el gran recurso o activo en todos los ámbitos de la vida. Cada decisión a nivel operativo, táctico y estratégico se basa en grandes volúmenes de datos que son procesados y analizados desde diversas fuentes y con usos muy variados.

Foto: Pankaj Patel

La explosión de datos es imparable y todos estamos ya familiarizados con el concepto Big Data, el cual ha venido acompañado de cientos de tecnologías, herramientas o procesos que han permitido, entre otras cosas, la organización, administración o manipulación de enormes repositorios para ponerlos al servicio del negocio.

En esta línea, algunos de los beneficios que se pueden obtener al organizar y gestionar los datos también están claros.Comprender mejor las necesidades de los clientes, mejorar la calidad de los servicios ofrecidos, mejorar la planificación y la previsión o incluso predecir y prevenir riesgos. Estos son algunos de esos beneficios que, a su vez, llevan implícitos la propia evolución que estamos viviendo de disciplinas orientadas a la Inteligencia Artificial.

Sin embargo, para alcanzarlos y generar valor a partir de las soluciones basadas en Big Data y AI, es imprescindible tener en cuenta el significado y calidad de los datos, así como comprender su contexto de uso.

Nuevos retos en la era del Big Data

Hubo un tiempo que las organizaciones y grandes compañías utilizaban los datos generados única y exclusivamente a partir de sus propios entornos y sistemas. Los productores de datos eran, en su mayor parte, los mismos que los consumían y su calidad no representaba un problema.

Descubrir información que fuera relevante, y que permitiera tomar decisiones a partir de una gran cantidad y variedad de datos, puede que llevara tiempo pero no dejaba de ser una tarea más a conseguir para lograr la ansiada ventaja competitiva.

Ahora, los datos recogidos y analizados, provienen de una mayor diversidad de fuentes con tipologías muy variadas y estructuras más complejas. A su vez, el número de productores y consumidores de datos ha crecido y la diferenciación entre estos y otros perfiles de usuario puede ser mayor. En consecuencia, determinar la calidad en orden a la necesidad de cada uno de ellos implica más esfuerzo y recursos.

Añadimos más variables a este planteamiento. ¿Cuáles son las características que definen la calidad para un usuario determinado?. Si un data scientist está trabajando sobre un modelo predictivo con los datos de los clientes, puede que la precisión le parezca más importante que el volumen o la máxima actualidad de esos datos. Si por el contrario, es el departamento comercial el que está lanzando una oferta y requiere de esos mismos datos, no será tan importante la precisión o exactitud como la accesibilidad o la pertinencia de los mismos.

Para el departamento de contabilidad, la fecha de nacimiento del cliente no es un campo obligatorio. Ante su ausencia, ellos consideran que los datos de ese cliente no son de mala calidad. Pero marketing considera ese campo clave, así que dicho departamento puede valorar que los datos de contabilidad no tienen calidad.

Aun más, el trabajo de un equipo médico puede verse seriamente comprometido si los datos que utiliza son imprecisos, inaccesibles, irrelevante o incompletos.

Por tanto, la calidad de los datos puede ser definida por su valor de negocio, por objetivos concretos o por las prioridades que marque la propia organización. Pero en todo este planteamiento se demuestra también que los usuarios son un componente clave en la definición que se haga de esa calidad.

Alcanzar una calidad de datos óptima, hacerlo en un plazo de tiempo razonable y con un volumen de datos en continuo crecimiento se convierte en un desafío difícil de afrontar.

Ahora bien, definir y mejorar de forma continua la calidad de los datos tampoco es un objetivo que pueda quedar aislado ni relegado a un grupo de personas, departamento/s o tecnología.

Como señala Gartner, este desafío afecta a organizaciones de todos los tamaños y puede destruir el valor del negocio o producir perdidas pocas veces valoradas en los resultados de las compañías.

Data Quality

La calidad de los datos o Data Quality es un area de trabajo e investigación que comenzó en la década de los 90, con el rápido crecimiento de las tecnologías de la información y la comunicación.

En la década anterior la preocupación había estado centrada en la calidad misma de los productos y en el grado en el que sus características y funcionalidades cumplían con los requisitos. Fue una época en la que se consolidó la definición ampliamente aceptada de calidad como conformidad con los requisitos.

El trabajo de Joseph M. Juran da buena cuenta de esa búsqueda constante de la calidad y satisfacción del producto e incorpora una nueva y sencilla definición: adecuación al uso (fitness for use). Esta definición ha sido ampliamente utilizada en la literatura sobre Data Quality y constituye un buen punto de partida para evaluar hasta qué punto los datos sirven para los fines o necesidades de los usuarios.

El grupo Total Data Quality Management del MIT University, liderados por el profesor Richard Y. Wang, dio continuidad al trabajo de Juran y llegó a definir un conjunto de atributos o dimensiones para medir y gestionar la calidad de los datos. Categorías útiles cuya evaluación puede ser automatizada para valorar la idoneidad y adecuación de los datos en orden a objetivos de negocio o necesidades de los usuarios.

Dimensiones de la calidad del dato

Wang y Strong (1996) en su artículo Beyond Accuracy: What Data Quality Means to Data Consumers (PDF) proponen una división en 4 categorías con un total de 15 dimensiones:
Intrínseca: Los valores de los datos se ajustan a los valores reales o actuales.
Dimensiones: Credibilidad, exactitud, objetividad, reputación.
Contextual: Los datos son aplicables (pertinentes) a la tarea del usuario del dato.
Dimensiones: Valor añadido, relevancia, pertinencia temporal, completitud, cantidad de datos.
Representativa: Los datos son presentados de forma inteligible y clara.
Dimensiones: Interpretabilidad, facil de comprender, consistencia representacional, representación concisa.
Accesibilidad: Los datos están disponibles o es posible acceder a ellos.
Dimensiones: Accesibilidad, seguridad de acceso.

Dimensions of Data Quality

Estudios posteriores han ido modificando esta clasificación y el listado de dimensiones que engloba. En 2013 Dan Myers hizo un estudio comparativo y propuso una nueva lista (Conformed Dimensions of Data Quality) evitando conflictos terminológicos y buscando la comprensión y la estandarización.

Algunas organizaciones como la Data Administration Management Association (DAMA) o Data Warehousing Institute (TDWI) han aportado sus propias clasificaciones y definiciones, llegando a un total de 6 dimensiones fundamentales para la gestión de la calidad del dato (PDF). Serían las siguientes:

  • Exactitud (Accuracy): Se mide el grado en el que los datos representan correctamente el objeto del mundo real o un evento que se describe.
    Ejemplo: La dirección de envío de pedidos a un cliente en la base de datos de clientes es la dirección real.
  • Completitud (Completeness): El grado en el que el dato tiene el valor esperado y cumple con los requerimientos marcados. Si un dato es opcional no debe considerarse para lograr el 100% de completitud.
    Ejemplo: Podemos establecer que los clientes tendrán sus datos completos si hemos registrado su nombre, primer apellido, segundo apellido, número de identificación, e-mail, dirección, código postal, ciudad y país. El segundo nombre será opcional.
  • Consistencia (Consistency): Mide si los datos están libres de contradicción y tienen coherencia lógica, de formato o temporal.
    Ejemplo: Para un cliente determinado tenemos ventas registradas pero no nos consta ninguna orden de pedido.
  • Pertinencia temporal (Timeliness): Mide el grado en que los datos están disponibles cuando se requieren.
    Ejemplo: Para la asignación de habitaciones en un hotel, la recepción debe contar con el número actualizado de habitaciones disponibles en el momento de registrar la llegada del cliente.
  • Unicidad (Uniqueness): Cada dato es único. Con esta dimensión se busca corregir la duplicidad inesperada en nuestros dataset.
    Ejemplo: En nuestra base de datos podemos tener dos clientes que se registraron como «Fran García» y «Francisco Juan García», siendo la misma persona pero sólo el último contiene todos los datos completos.
  • Validez (Validity): Medir si un valor se ajusta a una regla de negocio o a un estándar preestablecido en cuanto a formato, tipo de dato, valores posibles o rangos especificados.
    Ejemplo: En el seguimiento de entrega de un pedido, la última actualización es posterior a la hora actual. Dan Myers expone este caso en su blog explicando que si existiera una regla de negocio que indique que las actualizaciones no pueden producirse en una fecha y hora superior a la actual del sistema, este problema no se hubiera producido.

Todas estas dimensiones son atributos que no representan la calidad real de los datos. Una compañía con buena calidad de los datos no es necesario que cumpla, por ejemplo, con el 100% de completitud o de unicidad de los datos.

La calidad viene dada por cómo alineamos los requisitos de datos de negocio con los niveles de cada una de estas dimensiones.

Incluso es posible que los datos que estaban completos para un proceso dado, en un proceso futuro pueden estar incompletos o requieran de un nuevo planteamiento desde negocio.

Los procesos de negocio y los casos de uso que se vayan definiendo exigen una mejora continua de la calidad.

Rediseño de la app de recetas de cocina ¿Qué Cocino Hoy?

La aplicación de recetas de cocina ¿Qué cocino hoy? se renueva por completo en su versión 3.0, iniciando un nuevo camino en la definición de producto, la interfaz de usuario y otras novedades que irán llegando en breve.

Qué cocino hoy login y registro
Inicio de sesión y registro de ¿Qué cocino hoy?

Esta aplicación, disponible en la App Store y en Google Play Store fue creada hace 6 años por Pablo Rey quien me contagió rapidamente su entusiasmo cuando me propuso trabajar la experiencia de usuario para esta nueva etapa de ¿Qué cocino hoy?.

Su startup fue seleccionada en la última ronda de inversión del Banco Sabadell en el marco de su programa BStartup 10. Han hecho buenos progresos, especialmente con el apoyo de Dídac Lee como mentor. Además, el historial acumulado de sus primeras versiones – más de 1.500.000 descargas y una posición relevante en la App Store y Google Play – y un modelo de negocio escalable resultan ser un gran atractivo, además de un potencial para futuras inversiones.

Si hay algo que puedo asegurar es que Pablo tenía las ideas muy claras. Solo faltaba ayudarle a dar forma a todas esas ideas, concretarlas en acciones específicas e introducirlas en una línea estratégica de la experiencia de uso que le permitiera crecer a corto-medio plazo. Para versiones mas avanzadas hemos planteado muy buenos propósitos pero será necesario previamente analizar los resultados y la aceptación de estas versiones iniciales.

Hemos intentado acercar el contenido de esta app multiplataforma a los usuarios, hacerlo mas accesible mejorando la navegación, la visualización de recetas y dando los primeros pasos hacia la creación de perfiles, control de la actividad, notificaciones o publicación de contenidos desde diferentes dispositivos. Como decía, actualmente no está todo operativo y hay muchas mejoras y cambios pendientes pero irán llegando progresivamente.

El cambio mas importante de esta app ha sido pasar de off-line a online. Hasta la fecha, las cientos de recetas que estaban disponibles, eran accesibles sin conexión pero eso suponía un problema en el crecimiento de la propia aplicación. Ya sabíamos que ese cambio implicaría alguna molestia para usuarios que hacían un uso continuado o que habían almacenado un largo historial de favoritos. Pero por otra parte, y por aportar foco en usuario y contenido, además de favorecer el crecimiento como red social, en el equipo de ¿Qué cocino hoy? se decidió prescindir de la zona Premium y de la publicidad que había estado presente en versiones anteriores. Simplemente creando tu cuenta de forma gratuita la aplicación te da máxima funcionalidad y acceso a todos los contenidos.

quecocinohoy app
Destacados y vista del menú de perfil de usuario

En este sentido creo que los cambios nos han permitido destacar el gran atractivo de la aplicación: los filtros. Hacer una selección de recetas por ingredientes, por región o por dificultad aportan mucho valor y ponen énfasis en una de las funciones mas demandadas y utilizadas.

Que cocino hoy app filtros
Filtro por ingredientes

Otro aspecto importante de la actualización es el nuevo aspecto de las recetas con su cálculo de ingredientes o el acceso al audio que facilita la lectura. Esta opción cuenta con la posibilidad de seleccionar entre voces de hombre y mujer en castellano de España o de Latinoamerica.

receta en Qué cocino hoy
Mis recetas y parte de la vista de una receta en ¿Qué cocino hoy?

En breve introduciremos también la integración de comentarios o la publicación de recetas desde el móvil o la tablet. Incluso se avecinan otra cuantas mejoras que estoy seguro aumentarán el interés de todos los usuarios y afianzarán el crecimiento de ¿Qué cocino hoy?. De momento, todo el equipo está muy satisfecho de haber conseguido casi 10.000 usuarios registrados y mas de 3500 recetas en su primer mes tras el lanzamiento de la nueva versión. Todo un logro en este sector tan activo y que incorpora a grandes empresas del mundo de la cocina.

Si eres de los que te gusta la gastronomía y la cocina en esta app encontrarás muchas ideas nuevas e inspiración. También podrás compartir tus recetas y dejar que el resto de chefs las valoren o las comenten. Como decimos en la app, es el momento, entra hasta la cocina y aprende, recupera viejas costumbres o comparte los pequeños secretos de la gastronomía. Volverás a cocinar.

Descarga ¿Qué cocino Hoy? en Google Play Store
Descarga ¿Qué cocino Hoy? en App Store

 

Diseños visibles

Los diseñadores han recurrido a diversas interpretaciones funcionales y estéticas de los cientos de objetos que nos rodean. En la transformación y metamorfosis de esos objetos cotidianos hemos podido observar nuevos estilos, nuevas formas o nuevos usos. Aquello que parecía inalterable ha extendido su concepción y significado a partir de la visión del diseñador, de las necesidades y requerimientos del cliente o de los contextos y entornos sociales y culturales.

Napoletana de Riccardo Dalisi
Napoletana de Riccardo Dalisi

 

El resultado es el diseño de productos atractivos que, manteniendo su utilidad, provocan emociones diversas y se han convertido en objetos memorables. Objetos que van mas allá de la apariencia, del adorno o de la ornamentación y que, como dijo Charles Eames, son una expresión del propósito, un proceso de creación y expresión visual que mantiene la esencia del objeto.

colador
Max Le Chinois Colander de Philippe Starck

El objeto no solo se ve modificado así mismo. Modifica conductas, comportamientos, habitos y rutinas. Crea o provoca historias, experiencias. Mantiene una disposición pero también modifica los límites de lo racional o de lo establecido, códigos y reglas de una sociedad que se beneficia de los desafíos y retos que se marca el diseñador. A su vez, éste tendrá que superar o reflejar con mas o menos acierto el estilo y el gusto de una época, la realidad cultural, tendencias, modas…

Todo ello sin olvidarse de las reglas naturales, de las necesidades, tanto del lado de lo físico (utilidad, uso, función, contexto) como del lado de lo simbólico (estética, imagen, lenguaje, discurso).

A watch from Braun
Reloj de Braun

Diseñadores como Riccardo DalisiFrank Gehry, Philippe Starck, Achille Castiglioni o Dieter Rams tuvieron la oportunidad y el talento de diseñar espacios y objetos únicos, irrepetibles, fuente de inspiración para otros muchos diseñadores. Son diseños con los que puedes aprender mucho. Diseños que inspiran, atraen y que contienen historias sorprendentes. Son diseños que se pueden y se deben ver. Diseños visibles.

Puedes encontrar mas diseños en sitios como Cassina, Hive Modern o en CKIE, la tienda de Yanko Design.

Deseabilidad

Son muchos los términos que han caído en desuso en el campo de la Experiencia de Usuario, bien por su falta de aplicación o por su dificultad para integrarlos en nuestro lenguaje habitual y cotidiano. Por el contrario, otros términos se han extendido enormemente y se han integrado con una fuerza demoledora.

Muchos sitios son usables y podemos evaluar la usabilidad para descubrir y solucionar errores de diseño. Pero los sitios web ya no son encontrables y con dificultad llegamos a hablar de la deseabilidad (entiéndase que estoy hablando de los conceptos en sí mismo y de su uso).

Todos ellos nacieron juntos, se convirtieron en facetas de la Experiencia de Usuario en aquel honeycomb de Morville e incluso han seguido siendo elementos fundamentales de la UX hasta hace bien poco. Pero no los hemos vuelto a nombrar mucho. Puede que se deba a su difícil pronunciación, a su vinculación a otras áreas, a su sustitución por términos más específicos o por conceptos cuantificables.

La deseabilidad es uno de esos conceptos ausentes en nuestro vocabulario , a pesar de la importancia que tiene en el diseño de cualquier producto. Para IDEO la deseabilidad es una de las “lentes” desde la que trabajamos el proceso de diseño desde un enfoque centrado en el usuario:

We view the world through this lens throughout the design process.

En 2011 Francisco Inchauste decía UX is 90% Desirability.

As designers we aim to orchestrate the right environment for that desirability to happen. If it’s usable and beautifully designed there will be at least a good foundation to help in allowing that seed of emotion to grow. In most cases people don’t want to be told (from the company) an app, service or product is great. They want to be the ones to discover it and share that with their friends. Like Edward Bernays knew many years ago, create the right environment for desire and the products will sell themselves.

Unos años mas tarde, el equipo de Philips Design creó un blog titulado Define Desirability solo para reflexionar y hablar del término.

Desirability is an evoked emotion and in my opinion, it is has elements of ‘extreme aspiration’, compelled by a degree of ‘un-attainability’ and heightened by ‘physical qualities of attraction’!

Sin embargo, todo lo que se puede encontrar sobre la deseabilidad como campo de estudio es escaso y muy difuso. La palabra se incorporó a la psicología para definir, entre otras cosas, la deseabilidad social, tendencia de las personas a dar una respuesta socialmente aceptable procurando agradar a los demás. Pero no es la definición que buscamos.

En marketing se suele hablar de productos deseables, aquellos que proporcionan satisfacción inmediata y beneficios a largo plazo. Pero tiene un enfoque muy orientado hacia la disciplina.

En mi opinión, el concepto refleja un enfoque holístico que implica numerosas variables, desde sociales y humanas hasta tecnológicas, pasando incluso por cuestiones históricas y culturales. Quizá por eso considero que sería todo un aporte reflexionar e integrar nuevamente el concepto, aunque… si revisamos la ISO 9241-210, nunca estuvo fuera.

Por ejemplo, ahora que la tecnología wearable se ha convertido en una guerra mas del mercado tecnológico, creo que es un gran momento para plantearse la deseabilidad de los dispositivos y complementos que se enmarcan en esta categoría. Parece que el beneficio a largo plazo no está muy claro y la adopción generalizada de una tecnología que modifica nuestro comportamiento como consumidores y usuarios no es algo muy evidente o, por lo menos, de manera inmediata y con todo tipo de usuarios. Quizá por eso Google Glass se ha centrado ahora en mercados específicos.

Por otra parte, ¿cómo desear algo que no conocemos?¿cómo desear algo que no tiene definida su utilidad, funcionalidad y beneficio?. La respuesta, como decía Donald Norman, depende de la mente de quien lo mire. Algunos puntos que considero importantes para discutir y cuestionar cuando hablamos de deseabilidad:

-Los diseñadores pueden comprender los deseos de los usuarios y, en consecuencia, pueden hacer productos atractivos, funcionales, usables, accesibles…Las personas/usuarios son las que hacen que los productos se conviertan en deseables.

– La deseabilidad de un producto se puede definir por el grado en que un producto genera un impacto significativo y un beneficio a largo plazo en la vida de los usuarios.

-La deseabilidad se puede definir por el grado en que un producto mejora la vida de las personas y las hace más felices (sobre esto último también se puede hablar largo y tendido).

– La percepción del valor de un producto es importante para convertirlo en deseable. Pero igual de importante será que su diseño exprese de una forma clara cómo va a ayudar a las personas.

-La motivación social y la percepción que tenemos de nosotros con relación al producto son componentes fundamentales para que algo sea deseable.En Propaganda, referencia imprescindible de la que hablaba Francisco Inchauste, Edward Bernays señala:

A thing may be desired not for its intrinsic worth or usefulness, but because he has unconsciously come to see in it a symbol of something else, the desire for which he is ashamed to admit to himself. A man buying a car may think he wants it for purposes of locomotion, whereas the fact may be that he would really prefer not to be burdened with it, and would rather walk for the sake of his health. He may really want it because it is a symbol of social position, an evidence of his success in business, or a means of pleasing his wife.

-Una buena experiencia de uso del producto contribuye a su deseabilidad pero no la define ni es determinante.

-La deseabilidad implica vinculación emocional con el producto o con la marca.

Muchas dudas sobre todos estos planteamientos pero también muchas ganas de saber sobre este difícil concepto. Si tienes alguna referencia interesante o alguna reflexión que hacer al respecto, adelante.