Maria Angelica Granados - G MD, MSc, Clinical Investigator

How to measure a PMO?


Before delving into how a PMO should be measured, it is necessary to review why it is important to talk about it. PMO is defined as the Project Management Office, where its primary objective is to manage and centralize projects so that the company's initiatives are satisfactorily fulfilled.

It is a practice that is increasing, and more and more companies adhere to this centralized management proposal where a team trained in project management, with a leading head, guide, standardize, and evaluate each initiative that is executed in the organization. That said, the PMO is a team dedicated exclusively to this management that works hand in hand with each project leader to optimize results in terms of time, quality, and productivity.

          One of the main characteristics of this initiative is the knowledge of this type of management tools by each member of the company, this in order to properly interpret the responsibilities generated by acquiring a PMO methodology and that beyond seeing it as an increase in the workload is seen as a benefit for compliance with the objectives of each project leader.
          The Project Management Institute (PMI TM), is the leading institution in Project Management and this in turn generates knowledge through the PMBoK that are standards to guide organizations in this type of methodologies. Likewise, the Institute presents the Project Management Maturity Model (OPM3) that shows 3 dimensions for companies to establish standardized policies and processes to ensure that their operations are consistent with the goals:

          • Mastery of management,

          • Practice of improvement processes

          • Project Management Processes.

          These dimensions provide a series of standard steps that allow measuring organizational maturity in project management and is summarized in the following premise: the greater the organizational maturity, the better practices. In the same way, this model presents concepts of capabilities, results, and performance indicators.


          Why adopt a PMO in my company?

          While having a PMO implies a challenge in its implementation, there are several reasons why it is worth incorporating it into organizational processes. For this, it is essential to follow the standards already established by the institutions that certify the training, regardless of whether it is a small, medium or large company. Mentioned below are its main advantages:
          It standardizes projects so information can be compared across all enterprise projects

          It increases profitability. Since at the central level you know what the global missional objectives are, and you can define which projects have priority and which you can be flexible with.

          Better planning. Since all key business areas are under the control of the PMO in which well-defined monitoring methods are proposed

          It stimulates the generation of new ideas in the company, which enhances its competitiveness.

          It is agile. The needs of the company are quickly responded to through a systematic but specific method.

          It ensures that company members are aligned with the company's goals

          It presents measurable and comparable results which the effectiveness of the PMO and the projects can be measured with under this methodology

          Experiences of a PMO in the health sector
          The health sector is no stranger to the benefits that a PMO can provide. According to the publication article The Role of Project Management Office in Public Health: A New Approach for Establishment in Iran of 2016, it is mentioned that according to the PMI (2015) in the global survey of project management professionals only 19% of projects are delivered on time, 18% remain within budget, and 15% meet high quality levels, therefore, the importance of implementing a PMO is highlighted.

          This article mentions several fields in health that can be improved with the use of a PMO, for example, vaccination programs, mental health, telemedicine, public policies for health programs and integration of electronic health records. In this sense, this methodology has been mainly used in the context of clinical research and highlights the following needs when implementing a PMO in the health sector:  
          • Definition of essential projects and prioritization of objectives

          • Well-structured procedures manuals that contemplate initiation, planning, control, and monitoring of all projects

          • Monitoring of results in terms of time, cost, risk, and quality

          • Widespread knowledge of learned lessons

          • Periodical analysis of project effectiveness rates

          • Implementation of key performance indicators for monitoring and analysis
          In this review, two different PMO methodologies are proposed: one in which it is only responsible for management support and services and another one where all the information is handled, in which integrated reports are handled. This brings up the different types of PMO according to the needs of the organizations where you can use a fully centralized model responsible for monitoring, guidance, evaluation, monitoring, and promotion of projects, as well as hybrid models where only information and support to project leaders is handled.

          Another PMO and health experience “The Best of Both Models Key Components of a Successful Hybrid Project Management Office Model in a Health Care Organization” published by Giasson in 2019 shows how a Health Institution dedicated to the management of mental illness adopted a hybrid PMO model in which decentralized project leaders participated. In this model the team grew from 2 to 45 people in one year. Some specific measurement indicators were defined for their need, including:

          • 100% adherence to PMO methodology

          • 100% of the information is available on a monthly basis

          • 100% collection of learned lessons found in a repository 

          • 90% of those who requested project management coaching did so within the first 2 days

          • 25% increase in annual increase in PM knowledge measured through surveys

          • Objectives for PMs’ adoption

          All operational projects included a member of the PM Network. As results mention a 70% improvement in adherence, the availability of complete data improved by 50%, requests to the PMO team increased by 22% in one year and also 100% of respondents agreed that knowledge in PM increased according to their organizational role. So, the balance is quite good for this implementation strategy in the health sector.

          How to measure a PMO?
          Now, surely, with what has been described above, some key points to measure a PMO are already recognized, this is a crucial phase since it allows executing the improvements required by the process. In principle, it is essential to generate a list of indicators that support the evaluation of projects, however, there is no standardized list to evaluate them because each objective is different in each company, therefore, these must be created based on the mission of the same reference on the priorities already established by the PMO.

          In this sense, in a PMI publication "Demonstrating Value and Measuring Success through Planned Management", it indicates that there are three aspects that must be measured in the PMO:
          1. Business measurements.  This depends on the current mission of the organizations and shows how the projects carried out meet that objective. They depend on missionary processes and must be created according to the characteristics of the company
          2. Operational measurements.  They also vary according to the procedures manuals of each company. These metrics include quality indicators (Key Performance Indicators, KPIs)
          3. Evaluation of the PMO’s value. Which seeks to evaluate the effectiveness of the PMO approach. This is a critical point given that the true value of a PMO can be questioned because the results of the projects are attributed more to the program than to the management of the PMO, for this reason it is important to demonstrate the value it generates to the business through metrics based on clear and prioritized objectives (three or five projects) made based on typical problems that the company has so that it can later be demonstrated a "before and after" of these objectives following the adoption of a PMO
          Another article published in 2016, "How to measure the PMO's success? " highlights the importance of three aspects when demonstrating the value of the PMO in the business unit:

          Time. Every lost minute will impact the outcome of the projects, so you must have a schedule established from the beginning of the planning to the end of the process.

          Project delivery rate. It is necessary to know the average delivery of annual projects (for example, in the last 3 years) in order to demonstrate the increase in that average after the PMO was established in the company. It usually comes in percentages.

          Benefits management. It is important to measure the benefits obtained with each achieved success, especially because not all benefits are the same for all projects, so they must be measured to know the effects they have on the organization.

          Return on investments. Measuring the return on investment of each project is important so that you can detect the reasons why you are not able to meet that return and thus make decisions to avoid that same problem in the future.

          In conclusion, there are 4 key concepts to measure a PMO published in PM Majik, a website specialized in project management:
          1.   Reflexionar sobre los objetivos de la PMO y por qué se creó en el primer lugar,

          2.   Para cada objetivo principal, se debe elegir una métrica que ilustre cuándo se ha cumplido el objetivo,

          3.   Crear un proceso para capturar y realizar un seguimiento de estas métricas de forma regular, e

          4.   Informar sobre los progresos con regularidad.

          Elaborado por: 
          María Angélica Granados. G MD, MSc, Investigadora Clínica.

          Casos de éxito de PMOs en el sector salud y ¿cómo medir su desempeño?   
          Para entender cómo medir el desempeño de una PMO, queremos repasar por qué es importante hablar de ella. PMO por su sigla en inglés, se define como la Oficina de Gerencia de Proyectos (Project Management Office) siendo uno de sus objetivos el gerenciar los proyectos de la organización para que las iniciativas se cumplan satisfactoriamente, dado su alcance, tiempo y costo estimado.

          Cada vez más empresas se adhieren a esta propuesta de gestión, en donde un equipo entrenado en manejo de proyectos, con un líder, orientan, estandarizan, monitorean y evalúan las iniciativas que se ejecutan en la organización. Dicho esto, la PMO es un equipo dedicado exclusivamente a esta gestión que trabaja de la mano con cada líder de proyecto para optimizar los resultados.

          Podría decirse que una de las principales características de este órgano es lograr que el acervo de conocimiento se irrigue a cada miembro de la organización, con el fin de que se interpreten adecuadamente las responsabilidades que se generan al adquirir una metodología estandarizada, vislumbrando el beneficio que conlleva para cumplimiento de los objetivos de cada líder de proyecto.

          El  Project Management Institute  (PMI  TM ) es la Institución líder en Gestión de Proyectos bajo metodologías tradicionales, que  a su vez genera el conocimiento a través del PMBoK (Project Management Book of Knowledge) siendo el estándar para que las organizaciones en este tipo de desarrollos. De igual manera, el Instituto presenta el  Project Management Maturaty Model   (OPM3) que permite, mediante 3 dimensiones, que las organizaciones establezcan su nivel de madurez frente a la adopción de políticas y procesos estandarizados, propendiendo por lograr que sus operaciones sean consistentes con las metas trazadas:

          · Dominio de la gestión,

          · Práctica de procesos de perfeccionamiento, y 

          · Procesos de gestión de proyectos.

          Estas dimensiones establecen, a su vez, una serie de estándares que permiten identificar brechas frente a la gestión de proyectos de la organización, resumiéndose a través de la premisa: “A mayor madurez organizacional, mejores prácticas”. De la misma manera, este modelo presenta conceptos de capacidades, resultados e indicadores de desempeño.

          Exper iencias de PMOs en el sector salud

          El sector salud ha acudido de manera activa al uso de los beneficios que proporcionan las PMOs. Según el artículo de la publicación “The Role of Project Management Offices in Public Health: A New Approach for Establishment in Iran” del 2016, se menciona que, según el PMI (2015), en la encuesta global de profesionales de la dirección de proyectos, tan solo el 19% de proyectos se entregan a tiempo, el 18% se mantienen dentro del presupuesto y el 15% cumple con altos niveles de calidad, resaltando la importancia de la implementación de las PMOs.

          En dicho artículo se mencionan, además, varios campos en salud susceptibles de mejorar con el uso de una PMO, por ejemplo, los programas de vacunación, salud mental, telemedicina, políticas públicas para programas de salud e integración de historias clínicas electrónicas. En este sentido, este estándar ha sido principalmente utilizado en el contexto de investigación clínica, dadas las siguientes necesidades:

          Definición de los proyectos esenciales y priorización de objetivos,

          Creación y estandarización de políticas y procedimientos estructurados que contemplen las fases del ciclo de vida (inicio, planeación, ejecución, control y monitoreo y cierre) proyectos,

          Monitorización de resultados en términos de alcance, tiempo, costo, riesgo,calidad y satisfacción de las partes interesadas,

          Documentación, tratamiento y conocimiento generalizado de las lecciones aprendidas,

          Análisis  de las tasas de efectividad de los proyectos , y

          Establecimiento de indicadores clave de desempeño para el seguimiento y análisis adecuado.

          Por lo anterior, se proponen dos vertientes metodológicas de PMO. La primera, una mediante la cual se encarga únicamente del soporte gerencial y servicios y, otra, en la que se maneja toda la información, incluyendo los reportes integrados. Esto trae a colación los diferentes tipos de PMO de acuerdo con las necesidades de la organización¿ en donde se puede utilizar un modelo totalmente centralizado encargado del seguimiento, dirección, evaluación, seguimiento y promoción de los proyectos, así como también modelos híbridos en donde solo se hace uso de la información y apoyo a los líderes de proyectos.

          En otra experiencia de implementación de PMOs en el sector salud: “The Best of Both Models Key Components of a Successful Hybrid Project Management Office Model in a Health Care Organizations” publicada por Giasson en 2019, se expone cómo una Institución de Salud dedicada al manejo de enfermedades mentales adoptó un modelo híbrido de PMO en el que participaban líderes de proyecto descentralizados. En este modelo el equipo creció de 2 a 45 personas en un año. Se definieron algunos indicadores de medición específicos para su necesidad, en los que se incluían: 
          · 100% de adherencia a metodología PMO,

          · 100% de la información disponible mensualmente,.

          · 100% de recolección de lecciones aprendidas que se encuentren en un repositorio,.

          · 90% de quienes solicitaron coaching en gestión de proyectos lo hicieron dentro de los 2 primeros días., y

          · 25% de incremento anual del conocimiento en PM medido a través de encuestas.

          Aunado en lo anterior, todos los proyectos incluyeron a un miembro del PM Network. Como resultados mencionan una mejoría en el 70% en adherencia, la disponibilidad de datos completos mejoró en un 50%, las solicitudes al equipo de PMO se incrementaron en un 22% y, además, el 100% de los encuestados estuvo de acuerdo con que el conocimiento en materia de PM se incrementó de acuerdo con su rol organizacional. Por lo que el balance fue bastante positivo para la organización a partir de la menciona implementación.

          ¿Cómo medir el desempeño de una PMO?

          Con lo descrito antes se esbozan puntos claves para medir el desempeño de una PMO y, dada su criticidad, permite identificar y ejecutar las mejoras que requiere el proceso. En principio, es imprescindible generar una lista de indicadores que apoyen la evaluación de los proyectos, sin embargo, no hay una lista estandarizada para evaluarlos debido a que cada objetivo es diferente en cada organización, por lo tanto, estos se deben crear con base en la misión de la misma tomando como referencia las priorizaciones establecidas.
          En este sentido, en la publicación del PMI “Demonstrating Value and Measuring Success through Planned Management”, indica que hay tres aspectos que se deben medir en la PMO:

          1. Mediciones del negocio. Este depende de la misión actual de la organización e indica cómo con los proyectos realizados se cumple con ese objetivo. Dependen de los procesos misionales y deben ser creados de acuerdo con las características de la misma.

          2. Mediciones operacionales. También varían con respecto a los procedimientos de cada organización e incluyen métricas de desempeño (Key Performance Indicators, KPIs).

          3. Evaluación del valor de la PMO. El cual busca evaluar la efectividad del enfoque de la PMO. Este es un punto crítico dado que se puede cuestionar el verdadero valor de una PMO dado que los resultados de los proyectos se atribuyen, en mayor medida, al programa que a la gestión de la PMO, por esta razón es necesario demostrar el valor que genera al negocio a través de métricas basadas en objetivos claros y priorizados (tres o cinco proyectos) hechos con base en problemas típicos que tiene la organización para que luego se pueda demostrar la transición de estos objetivos posteriores a la adopción.

          Otro artículo publicado en 2016, “How to measure the PMO’s success” resalta la importancia de tres aspectos al momento de estimar el valor de la PMO en la unidad de negocio:

          Tiempo. Cada minuto perdido impactará en el resultado de los proyectos, por lo que se deben tener un cronograma establecido desde el inicio de la planeación hasta el cierre del proyecto.

          Tasa de entrega de proyectos. Es necesario conocer el promedio de entrega de proyectos anuales (por ejemplo, en los últimos 3 años) para poder demostrar el incrementoluego de que la PMO fue instaurada en la organización.

          Gestión de beneficios. Es importante medir los beneficios que se obtienen con cada éxito logrado, en especial porque no todos los beneficios son iguales para todos los proyectos, por lo que se deben medir para conocer los efectos que tienen en la organización.

          Retorno de inversiones. Medir el retorno de inversiones de cada proyecto es importante para que se puedan detectar las razones por las que no se alcanza a cumplir con ese retorno y así tomar decisiones para evitar resultados simulares en el futuro.

          Para concluir, existen cuatro conceptos clave para medir el desempeño de una PMO publicados en PM Majik, página web especializada en gestión de proyectos:

          1.  Reflexionar sobre los objetivos de la PMO y por qué se creó en el primer lugar,

          2.   Para cada objetivo principal, se debe elegir una métrica que ilustre cuándo se ha cumplido el objetivo,

          3.   Crear un proceso para capturar y realizar un seguimiento de estas métricas de forma regular, e

          4.   Informar sobre los progresos con regularidad.