Sección 6:  Evaluación de la Solución (Solution Evaluation)

Introducción.

La intención de esta serie de artículos es divulgar la Guía Práctica del Análisis de Negocio (“La Guía”, en los párrafos siguientes) recientemente publicada por el PMI®. Esta organización reconoce el crecimiento de la profesión del Análisis de Negocio y su importancia como factor crítico de éxito de cada proyecto o programa que las organizaciones emprenden para solucionar sus problemas de negocio satisfaciendo sus necesidades de transformación. La Guía incluye también puntos aclaratorios respecto de cómo el Analista de Negocio (“BA” en lo que sigue) y Administrador de Proyectos (“PM” en lo que sigue) colaboran para lograr los objetivos del emprendimiento.

6.1. Resumen.

Según La Guía desde la evaluación consiste en las actividades para validar la solución completa o un segmento de la solución que está por implementarse o ya ha sido implementada, para determinar si la solución cumple las necesidades del negocio expresadas por los interesados incluyendo la entrega de valor para el cliente. Algunas actividades resultan en la evaluación cuantitativa o cualitativa. Todas las técnicas expuestas en esta sesión pueden utilizarse dentro de modelos de ciclo de vida de proyectos predictivos, iterativos o adaptativos. Algunas de estas técnicas pueden ser utilizadas durante las actividades de análisis de requerimientos o evaluación de necesidades. También puede decirse que hay algún solapamiento entre las técnicas de evaluación y las técnicas de trazabilidad.

6.2. Propósito de la Evaluación.

En el apartado 6.2 La Guía establece que las actividades de Evaluación de la Solución permiten conocer si una solución está cumpliendo con el resultado de negocio esperado. La Evaluación provee de entradas a las decisiones de negocio y técnicas sobre el go/no-go al implementar la solución completa o un segmento de la misma. También puede utilizarse para decidir si una solución en uso merece ser modificada o no.

6.3. Mindset.

Diferentes ciclos de vida colocan la evaluación en distintos puntos del ciclo. La Guía recomienda la utilización de la evaluación en modo continuo para identificar las áreas de la solución que requieren un nivel de testeo mayor. La articulación de la evaluación en forma temprana es un medio excelente para confirmar los requerimientos funcionales y no funcionales.

En el apartado 6.3.2 La Guía establece que la mejor herramienta para evaluar la solución desde el punto de vista de los requerimientos y su asociación a objetivos y metas de negocio es la matriz de trazabilidad.

Collaboration Point: el BA, el PM y los testets deberían trabajar juntos bien temprano en el proceso de generación de la solución para crear las actividades necesarias relativas al análisis, prueba (testing) y evaluación. Los testers pueden ayudar en crear las actividades en forma completa y consistente mientras que el BA puede ayudar en asegurar en cubrir todas las áreas de la solución que tienen la mayor prioridad de negocio.

En el apartado 6.3.3 La Guía hace mención a que evaluar la solución es más complejo que validar o determinar si los requerimientos individuales fueron alcanzados. Durante la evaluación hay que asegurar que la solución alcanza los objetivos propuestos mientras que durante la validación el foco debería ser que los requerimientos se han implementado de acuerdo a lo acordado con los interesados. Cobra gran importancia asegurar en este punto que los requerimientos no funcionales que afectan la evaluación de la solución se cumplen según lo acordado.

En el apartado 6.3.4 La Guía hace mención explícita a no perder el foco en evaluar aquellas partes de la solución que manipulan datos y generan información.

6.4. Plan para Evaluación de la Solución.

Según La Guía emprender actividades de evaluación no es una tarea trivial. Toma tiempo y esfuerzo identificar y confirmar el criterio de evaluación, implementar todo lo necesario para tomar mediciones y reportar y analizar esas mediciones.

Algunos factores a considerar cuando se planean las actividades de evaluación son:

• Definir todos los reportes y publicaciones con foco en las metas, objetivos y riesgos organizacionales que la evaluación tiene que cubrir
• Identificar quién cubre los costos por el tiempo y el esfuerzo de las actividades de evaluación
• Determinar el criterio de evaluación de la solución completa
• Determinar el impacto en costo y tiempo del método de evaluación y su relación con el beneficio

6.5. Determinar QUÉ Evaluar.

Hay que recordar que se evalúa una solución a punto de implementarse o una solución que está siendo utilizada para determinar algún cambio. La Guía muestra algunos puntos a tener en consideración tales como:

• 6.5.1. Considerar las metas y objetivos de negocio, que dieron origen a la solución
• 6.5.2. Considerar indicadores de rendimiento clave (KPI), que pueden dar origen a los objetivos de la solución y del proyecto
• 6.5.3. Considerar métricas de evaluación y de criterio de aceptación adicionales, tales como:
  • Métricas del proyecto, considerando que el proyecto es parte de la solución
  • Métricas del cliente, tales como satisfacción
  • Métricas de ventas y marketing
  • Métricas operacionales, tales como la tarjeta balanceada (BSC)

Luego de determinar estos puntos hay que decidir si la organización puede continuar con la evaluación, sobre todo desde el punto de vista de los costos y su beneficio.

6.6. Cuándo y Cómo Validar los Resultados de la Solución.

En este punto La Guía vuelve a mencionar el impacto que tiene la utilización de uno u otro tipo de ciclo de vida (básicamente predictivo o adaptativo).

En las secciones 6.6.1 a 6.6.7 La Guía enumera una cantidad de técnicas de evaluación mayormente usadas tales como Focus Group, Pruebas de Usuario,  Pruebas Day-in-the-Life (DITL), Pruebas de Integración, Funcionalidad Actual vs Esperada de requerimientos funcionales y no funcionales, Calculo de Beneficios.

6.7. Evaluar el Criterio de Aceptación y Solucionar Defectos.

En este punto, los resultados obtenidos deben compararse con los resultados esperados (6.7.1). Con foco en los rangos de tolerancia acordados (6.7.2) se registran defectos en un log (6.7.3) de ser necesario para el posterior seguimiento de las soluciones o propuestas de mejora.

6.8. Facilitar la Decisión de Go/No-Go.

Si la evaluación se realizó sobre una solución o parte de una solución que será implementada los interesados, de acuerdo a su nivel de identificación en la matriz RACI (desarrollada en el proceso de Planificación – Sección 3), deberán decidir si continuar o no. Los resultados de la evaluación deberían ser presentados de forma tal que puedan ser fácilmente entendidos por todos los interesados que actuarán en el proceso de decisión. Es recomendable, según La Guía, que las decisiones se tomen durante una reunión presencial.

6.9. Obtener la Firma (Singoff) de la Solución.

La RACI desarrollada en la Sección 3 – Planeamiento del Análisis de Negocio designa quién es “accountable” para firmar el acuerdo sobre la solución. La formalidad dependerá del tipo de proyecto, el ciclo de vida y regulaciones corporativas. En los casos de organizaciones que utilizan un proceso formal este debería registrarse en un documento.

Collaboration Point: el PM y el BA trabajan junto a los interesados de auditoría para determinar la práctica de firma (signoff) que la organización requiere.

6.10. Evaluar la Prestación de la Solución.

Uno de los puntos más críticos en el trabajo del BA es evaluar si la solución generada y/o implementada está obteniendo los beneficios de negocio que le dieron origen. Es bueno recordar que el trabajo del BA se realiza tanto para generar una nueva solución como para ayudar a la decisión de cambiar o modificar una solución existente. Para poder identificar el cambio o modificación en una solución es crítico haber definido métricas sobre la prestación de la solución.

Las actividades de Evaluación de la Prestación de la Solución que propone La Guía son:

• 6.10.11. Determinar las Métricas. El PM y el BA deben trabajar junto con los interesados para identificar y priorizar los aspectos de prestación que deben ser monitoreados.
• 6.10.12. Obtener las Métricas/Medidas de Prestación.
• 6.10.13. Analizar los Resultados.
• 6.10.14. Evaluar las Limitaciones de la Solución y de la Organización.
• 6.10.15. Recomendar el Enfoque para Mejorar la Prestación de la Solución.

 6.11. Remplazar o Eliminar la Solución.

Luego de la Evaluación de la Solución, dependiendo de los resultados, quizá la decisión de remplazar o eliminar la solución debe tomarse. Según La Guía, dependiendo del resultado de un análisis de costo y beneficio, los caminos a seguir pueden ser:

• Cutover masivo. Remplazar o eliminar toda la solución en una sola vez.
• Cutover segmentado. De acuerdo a un criterio eliminar o remplazar partes mientras otras existen incluso con una nueva solución implementada.
• Remplazo time-boxing. Definir el momento de remplazo o eliminación acuerdo a los tiempos de negocio.
• Coexistencia permanente. La solución persiste independientemente que una nueva se implemente.

Sin importar la estrategia definida es crítico que el BA y el PM trabajen juntos para definir las actividades relacionadas con la comunicación y el involucramiento de los interesados claves.

Conclusión.

Esta sección de La Guía está en línea con el Área de Conocimiento 7-Solution Assessment and Validation de la Guía BABOK® del IIBA® versión 2. El lector encontrará, en caso de comparar ambas guías, que esta última es mucho más consistente en puntos tales como las técnicas y métodos para encontrar las necesidades del negocio. Vale aclarar que el PMI® ha señalado que esta es la primera versión de La Guía y que sufrirá evoluciones.