ISSN 0798 1015

Vol. 40 (Nº 3) Año 2019. Pág. 7

Modelo de indicadores para evaluar estratégicamente la gestión de activos de I+D a partir de técnica Proceso de Jerarquía Analítica

Model of indicators to strategically evaluate the management of R & D assets and priorization whith technique Analytic Hierarchy Process

GUTIÉRREZ, Elsa B. 1; SANTIS, Paula C. 2; MARTÍNEZ, Nilsson J. 3; VILLAMIZAR, Maryory P. 4

Recibido: 10/08/2018 • Aprobado: 08/12/2018 • Publicado 28/01/2019

Contenido

1. Introducción

2. Metodología

3. Resultados

4. Conclusiones

Referencias bibliográficas

1. Introducción

El estándar técnico internacional para la gestión de activos físicos y de infraestructura PAS 55-1 (2008) define la gestión de activos como “las actividades y prácticas coordinadas y sistemáticas a través de las cuales una organización maneja óptima y sustentablemente sus activos y sistemas de activos, su desempeño, riesgos y gastos asociados a lo largo de sus ciclos de vida con el propósito de lograr su plan estratégico organizacional” (p.5). La gestión de activos abarca las diferentes etapas del ciclo de vida de un activo: creación o adquisición, utilización, mantenimiento y renovación o disposición final (PAS 55-1, 2008).

Conscientes que el desempeño y el costo del ciclo de vida de los activos físicos afecta la competitividad y sostenibilidad organizacional (Sánchez – Rodríguez, 2010), y por lo tanto, que la gestión de activos cobra vital importancia para el logro de los planes estratégicos de una empresa, en el presente estudio se propone un modelo para evaluar el nivel de contribución de la gestión de activos a la consecución de los objetivos estratégicos de un Centro de Innovación y Tecnología desde las perspectivas del Cuadro de Mando Integral.

El Cuadro de Mando Integral (CMI) se ha convertido en una de las más populares herramientas para la medición del desempeño y la gestión estratégica de las organizaciones (Lueg y Carvalho, 2013). Este fue desarrollado por Robert Kaplan y David Norton en 1992, con el propósito de traducir la visión y la estrategia de las organizaciones en objetivos, integrando los resultados operacionales y estratégicos de la compañía (Rincón, 2012; Castro, 2013) (Scaramussa y otros, 2010), por medio de un modelo fundamentado en indicadores de gestión financieros y no financieros, a partir de cuatro perspectivas: la financiera, el cliente, los procesos operativos internos y el aprendizaje y crecimiento (Kaplan y Norton, 2014) (Rodrigues y otros, 2014).

Este modelo de gestión exige mantener un control continuo sobre los indicadores claves, que son aquellos en los que se evidencia de forma sencilla el desempeño total de la organización (Rincón, 2012). A partir de la revisión bibliográfica realizada no se encontraron evidencias de la aplicación del CMI en la gestión de activos; sin embargo, autores como Viveros y otros (2013), Wireman (2005), la Norma Española UNE-EN 15341 (2008), Parra y Crespo (2012) y Salgueiro (2001), proponen métricas para evaluar el mantenimiento, como parte de la gestión de activos.

Conscientes de que las organizaciones necesitan tomar decisiones respaldadas por juicios de valor defendibles (Fasolo y Bana, 2014), este estudio utiliza la valoración cuantitativa a través de la técnica de análisis multicriterio Proceso de jerarquía analítica (AHP), para determinar una solución acorde con el objetivo esperado (Aguezzoul, 2014) (Fasolo y Bana, 2014): priorizar los indicadores de gestión claves para evaluar los procesos de gestión de activos I+D desde las perspectivas del CMI. La estructura del AHP parte de esta meta global, a partir de la cual se establecen unos criterios de evaluación y finalmente se determinan una variedad de posibles alternativas para dar solución a la meta planteada (Anderson y Sweeney, 2004) (Gonzalez y otros, 2014) (Ribeiro y Alves, 2017), valorando la consistencia de los juicios dados por los tomadores de decisión (Beltran y otros, 2014).

En este estudio se presenta una aplicación de la técnica Proceso de jerarquía analítica (AHP), la cual permitió valorar 187 indicadores de gestión desde 27 medidas de desempeño y cuatro perspectivas del CMI, priorizando 17 indicadores estratégicos y 11 indicadores operativos para el tablero balanceado de gestión del Centro de Innovación y Tecnología de una compañía de petróleo y gas objeto de estudio.

2.1. Propuesta de un modelo de medición del impacto estratégico de la gestión de activos de investigación y desarrollo desde las perspectivas del Cuadro de Mando Integral

Es estudio se inició con una revisión bibliográfica en las bases de datos Scopus, Web of Science y EBSCOhost, utilizando como parámetros de búsqueda la fecha de publicación correspondiente al año 2010 en adelante y el tipo de documento (Artículos y revisiones bibliográficas). Se realizaron cinco procesos de búsqueda, de los cuales solo uno arrojó publicaciones que contenían información relevante para la investigación (Ver tabla 1).

Tabla 1
Ecuaciones de búsqueda y resultados de revisión bibliográfica

Fuente: Elaboración propia

Finalmente se hizo una búsqueda en Google Académico haciendo uso de la ecuación “Asset management AND indicators”. Esta búsqueda arrojó un total de 3 artículos y un libro relacionados con la gestión de activos, particularmente con el mantenimiento, los cuales se tomaron como base para el desarrollo de esta investigación. Adicionalmente se hizo uso de la Norma técnica Colombiana NTC-ISO 55000 que hace referencia a la gestión de activos, y la Norma Española UNE-EN 15341 sobre indicadores clave de rendimiento del mantenimiento. Esta información se complementó con los capítulos 14 y 15 del libro de Wireman “Developing performance indicators for managing maintenance”.

A partir de la revisión bibliográfica de literatura científica se identificaron medidas claves de desempeño y métricas propuestas por diferentes autores para evaluar la gestión de activos industriales a partir del CMI. Esta revisión permitió formular un modelo de medición para evaluar la gestión de activos en Centros de Innovación y Tecnología que subcontratan estas labores, con excepción de la planificación y control, en el cual se agrupan los indicadores de gestión relacionados entre sí alrededor de medidas de desempeño. Para el diseño de este modelo fue necesario homologar el lenguaje técnico utilizado por diferentes autores consultados, adaptar el modelo al lenguaje y particularidades de los Centros de Innovación y Tecnología y diseñar nuevos indicadores con el fin de abarcar las diferentes etapas del ciclo de vida de un activo, dado el énfasis de la literatura en el mantenimiento.

2.2. Evaluación del modelo de medición del impacto estratégico de la gestión de activos a la luz de su alineación con los planes estratégicos del centro de innovación y tecnología de una compañía de petróleo y gas

Dada la complejidad del modelo de medición de la gestión de activos propuesto, conformado por 187 indicadores de gestión, se propuso como meta global “priorizar los indicadores de gestión claves para evaluar los procesos de gestión de activos I+D desde las perspectivas del CMI” para la unidad de Innovación y Tecnología de la compañía de petróleo y gas objeto de estudio a través de la técnica de valoración multicriterio Proceso de Jerarquía Analítica (AHP).

A partir de la meta propuesta, se establecieron dos niveles de criterios para realizar la priorización de indicadores de gestión a través de la técnica AHP. El Nivel 1 de criterios corresponde a las 4 perspectivas del CMI. Cada perspectiva fue evaluada a partir de un Nivel 2 de criterios, correspondiente a medidas de desempeño consideras claves para evaluar la gestión de activos según la literatura científica. A partir de estos dos niveles de criterios, se realizó la evaluación de diferentes alternativas de indicadores de gestión a ser priorizadas dentro de cada medida de desempeño y perspectiva (Ver Tabla 2 y Figura 1).

Tabla 2
Estructura del problema

Fuente: Elaboración propia

-----

Figura1
Estructura jerárquica genérica para el modelo

Fuente: Elaboración propia

A partir de laestructuración del problema (Ver figura 1), cada nivel de criterios y alternativas se organiza en una matriz cuadrada (Ver tabla 3) para que los tomadores de las decisiones realicen una comparación por pares de criterios (Anderson y Sweeney, 2004) (Ribeiro y Alves, 2017).

Tabla 3
Matriz de juicio

Fuente: Ribeiro y Alves (2017, p. 28)

Para asignar el valor numérico de aij, se compara la importancia relativa de cada criterio de la fila en función de su aporte a la meta global frente a cada criterio de la columna y se establece la valoración según la escala de juicio teniendo en cuenta que si aij = α, entonces aji = 1 / α, α ≠ 0 (Ribeiro y Alves, 2017).  Para el estudio se utilizó la escala de juicio propuesta por Saaty (1991), en la cual “1 es igual de importante, 3 es moderadamente más importante, 5 es más importante, 7 es muchísimo más importante y 9 es extremadamente más importante” (Anderson y Sweeney, 2004, p.746).

Teniendo en cuenta la metodología propuesta por Anderson y Sweeney (2004) para verificar la consistencia entre los juicios dados por los evaluadores, antes de realizar el análisis del AHP se calculó la razón de consistencia (RC) para cada uno de los grupos de matrices de Juicio con el fin de comprobar la robustez del resultado.

A partir del modelo de indicadores de gestión propuesto para evaluar la contribución de los procesos de gestión de activos I+D, se implementó el modelo AHP en dos fases a través de 59 matrices de juicio que permitieron priorizar los indicadores según su contribución al logro de los planes estratégicos del centro de Innovación y Tecnología de la compañía de petróleo y gas objeto de estudio, como se observa en la tabla 4. Estas fueron evaluadas por el personal directivo y talento humano relacionado con la gestión de activos del centro, contando con por lo menos dos evaluadores por matriz.

Tabla 4
Resumen de las matrices de juicio del modelo

Fuente: Elaboración propia

3.1. Propuesta de un modelo de medición del impacto estratégico de la gestión de activos de investigación y desarrollo desde las perspectivas del CMI

A partir de la revisión bibliográfica de literatura científica sobre métricas asociadas con la gestión de activos, se identificaron 27 medidas claves de desempeño para evaluar integralmente la gestión de activos, clasificada en las cuatro perspectivas propuestas por Kaplan y Norton en el CMI. A partir de estas, se propone un modelo de medición integral de la gestión de activos para Centros de Innovación y Tecnología que subcontratan las labores de gestión de activos, con excepción de la planeación y control, compuesto por 187 indicadores de gestión clasificados en las 27 medidas de desempeño asociadas a las diferentes perspectivas del Cuadro de Mando integral (Ver tabla 5).

Tabla 5
Relación de medidas de desempeño y número de indicadores del modelo de medición

Fuente: Elaboración propia

Las medidas de desempeño documentadas en el modelo presentan relaciones causa efecto entre sí, lo que hace que acciones implementadas por una organización para mejorar su desempeño frente alguna de las medidas, afectan directa o indirectamente el logro de otras, como se puede observar en la figura 2.

Figura 2
Relaciones de causalidad entre medidas de desempeño

Fuente: Elaboración propia

Las 27 medidas de desempeño del modelo propuesto se distribuyen en las 4 perspectivas del Cuadro de Mando Integral, dando un especial énfasis a la perspectiva de procesos, seguida de la perspectiva de clientes y comunidad, como se observa en la tabla 6. Esto se presenta debido a que el modelo de medición propuesto sirve para evaluar la gestión de un área operativa en las organizaciones como lo es la gestión de activos, por lo cual la literatura científica hace énfasis en las medidas e indicadores asociadas con los procesos.

Tabla 6
Medidas de desempeño asociadas a las perspectivas del CMI

Fuente: Elaboración propia

Las medidas de desempeño establecidas en el modelo de medición están asociadas a diferentes procesos de la gestión de activos y abarcan todas las etapas del ciclo de vida de un activo, como se observa en la figura 3. En la zona central se especifican las medidas de desempeño que guardan relación con todas las etapas del ciclo de vida.

Figura 3
Relación de Medidas de desempeño y Procesos de la gestión de activos

Fuente: Elaboración propia

El modelo propuesto (Ver tabla 5) contempla 187 indicadores de gestión para evaluar la contribución de los procesos de gestión de activos I + D al logro de los planes estratégicos de los Centros de Innovación y Tecnología. Dentro de cada medida de desempeño del modelo, se proponen entre 3 y 10 alternativas de indicadores de gestión posibles, los cuales fueron extraídos de diferentes fuentes de información, como se presentan en la tabla 7.

Tabla 7
Relación de fuentes de información de los indicadores de gestión

Fuente: Elaboración propia

Dado que las publicaciones científicas revisadas se focalizan en indicadores para evaluar los procesos de mantenimiento en empresas productivas, se hizo necesario realizar la adaptación de 41 indicadores de la literatura a las particularidades de los activos I+D y proponer 89 indicadores nuevos para cubrir todo el ciclo de vida de los activos, 23 de los cuales buscan medir específicamente la gestión de esta naturaleza de activos.

3.2. Evaluación del modelo de medición del impacto estratégico de la gestión de activos a la luz de su alineación con los planes estratégicos del Centro de innovación y tecnología de una compañía de petróleo y gas

Partiendo del modelo de medición integral de la gestión de activos propuesto, el cual está compuesto por 187 indicadores de gestión clasificados en las 27 medidas de desempeño asociadas a las cuatro perspectivas del Cuadro de Mando integral, se determinó utilizar la técnica de valoración multicriterio Proceso de Jerarquía Analítica (AHP) con el fin de priorizar los indicadores para evaluar los procesos de gestión de activos I+D para la unidad de negocio de Innovación y Tecnología de la compañía de petróleo y gas objeto de estudio.

Dado que aplicar la técnica AHP a la estructura propuesta implicaba la aplicación de matrices de grandes dimensiones (27x27 para evaluar las medidas de desempeño y 187x187 para evaluar indicadores de gestión), se planteó una fase previa de alistamiento de la estructura del modelo AHP, donde se evalúan las perspectivas del CMI, las medidas de desempeño dentro de cada perspectiva y los indicadores de gestión dentro de cada medida de desempeño de forma independiente con el apoyo de 32 matrices. A partir de la fase I, se obtuvo una estructura compuesta por 28 indicadores de gestión priorizados clasificados en 27 medidas de desempeño asociadas a las cuatro perspectivas del CMI, que hiso viable la aplicación de la técnica AHP en una Fase 2, a través de la aplicación de 27 matrices.

A. Fase I - Alistamiento de Estructura del modelo AHP

El alistamiento de la estructura del modelo AHP se desarrolló a partir de tres etapas:

Priorización Nivel 1: Valoración de Perspectivas del CMI

El modelo se inició con la evaluación de las matrices del Nivel 1, a través de las cuales se buscaba valorar, desde la mirada de la alta dirección, el nivel de importancia de cada una de las perspectivas del CMI para evaluar el impacto de la gestión de activo en la consecución de los planes estratégicos de la unidad de negocio de Innovación y Tecnología y de la compañía de petróleo y gas objeto de estudio (Ver tabla 8).

Tabla 8
Vector propio nivel 1 – perspectivas CMI

Fuente: Elaboración propia

Como se puede evidenciar en la tabla 8, a partir de los juicios dados por los directivos, es posible concluir que para valorar la contribución estratégica de la gestión de activos I+D, cobra mayor importancia la perspectiva de Clientes y Comunidad, seguidas por las perspectivas Financiera, Aprendizaje y Desarrollo y Procesos.

Priorización Nivel 2: Valoración de Medidas de Desempeño dentro de cada perspectiva del CMI

La evaluación de las matrices del nivel 2 buscaba valorar el nivel de importancia de las medidas de desempeño dentro de cada perspectiva del CMI para evaluar el impacto de la gestión de activo en la consecución de los planes estratégicos de la unidad de negocio de Innovación y Tecnología de la compañía de petróleo y gas objeto de estudio. Teniendo en cuenta esto, se llevaron a cabo cuatro evaluaciones, una por cada perspectiva.

Para determinar el nivel de importancia de las medidas de desempeño al interior de cada una de las perspectivas del CMI, se multiplicó el valor del vector propio de cada una de las medidas de desempeño por el valor del vector propio de la perspectiva al que está asociada cada medida, siguiendo el desarrollo del AHP expuesto por Ribeiro y Alves (2017).

La evaluación de las matrices de nivel 2 permite concluir que las medidas de desempeño con mayor nivel de importancia para evaluar el impacto estratégico de la gestión de activo son F6, F7, F2, F1 y F4 para la perspectiva financiera, C5, C2 y C4 para la perspectiva de Clientes y Comunidad, P9, P10, P1, P3 y P2 para la perspectiva de procesos internos y A2, A3 y A4 para la perspectiva de Aprendizaje y Desarrollo. Teniendo en cuenta lo anterior, se recomienda seleccionar de estas medidas de desempeño los indicadores estratégicos para evaluar la gestión de activos I+D a través del tablero balanceado de gestión. Así mismo, se recomienda seleccionar los indicadores operativos de las medidas de desempeño F3, F5, C1, C3, P4, P5, P8, P6, P7, A1 y A5, dada su menor valoración estratégica (Ver tabla 9).

Tabla 9
Nivel de importancia de las medidas de desempeño

Fuente: Elaboración propia

A partir de las matrices de nivel 2 se establece una jerarquía de medidas de desempeño, teniendo en cuenta el nivel de importancia relativa de cada medida de desempeño frente a las demás contenidas en el modelo, para valorar el aporte de la gestión de activos al logro de los planes estratégicos de la unidad de negocio de Innovación y Tecnología de la compañía de petróleo y gas objeto de estudio (Ver tabla 10).

Tabla 10
Orden de importancia de las medidas de desempeño

Fuente: Elaboración propia

Priorización Nivel 3: Valoración de Indicadores de Gestión dentro de cada medida de desempeño

La evaluación de las matrices del Nivel 3 requirió la aplicación de 27 matrices de juicio, una matriz por medida de desempeño, con el fin de valorar el nivel de importancia de las diferentes alternativas de indicadores de gestión para evaluar cada medida de desempeño, para lo cual se multiplicó el valor del vector propio de cada indicador por el nivel de importancia asociado a la medida de desempeño en la que está clasificado. A partir de este cálculo fue posible determinar los tres indicadores con mayor nivel de importancia dentro de cada una de las medidas de desempeño, los cuales se presenta en la tabla 11.

Así mismo, esta valoración permitió priorizar un indicador por cada una de las 27 medidas de desempeño (Primer indicador presentado por medida de desempeño en la tabla 11), con excepción de la medida A.4, en la cual se priorizaron dos indicadores que recibieron la misma calificación de nivel de importancia. A partir de esto, quedaron seleccionados 28 indicadores de gestión prioritarios del modelo.

B. Fase II - Aplicación de la Técnica AHP: Jerarquización de Indicadores de Gestión priorizados dentro de cada perspectiva del CMI

La fase II correspondió a la implementación de la técnica AHP y buscaba jerarquizar dentro de cada perspectiva del CMI los 28 indicadores anteriormente priorizados. Para ello, se requirió la aplicación de 27 matrices de juicio, una matriz por medida de desempeño, con el fin de evaluar los indicadores priorizados en cada perspectiva según su nivel de importancia frente a los demás contenidos en la misma perspectiva para evaluar el aporte de la gestión de activos al logro de los planes estratégicos de la unidad de negocio de Innovación y Tecnología de la compañía de petróleo y gas objeto de estudio desde el punto de vista de la respectiva medida de desempeño.

El nivel de importancia de los indicadores fue obtenido a partir de la sumatoria de las multiplicaciones del nivel de importancia de la medida de desempeño a la que pertenece el indicador evaluado, por el vector propio del indicador evaluado dentro de cada una de las medidas de desempeño que componen la perspectiva en cuestión. Dicha evaluación permitió establecer un ordenamiento por perspectiva de los 28 indicadores priorizados (Ver columna 1 de la tabla 11).

A partir del ordenamiento de las medidas de desempeño y de los indicadores de gestión en cada perspectiva del CMI, en la tabla 11 se señalan en negrilla las 16 medidas claves de desempeño o medidas estratégicas para evaluar la gestión de activos I+D y el indicador priorizado con el modelo AHP para cada una de estas. Según los resultados de la valoración multicriterio, se recomienda evaluar los indicadores priorizados en las 12 medidas de desempeño restantes como indicadores operativos.

Tabla 11
Indicadores de mayor importancia dentro de cada perspectiva y medida de desempeño

Convenciones: * Indicadores adaptados de la literatura científica - Cod.: Código
Fuente: Elaboración propia

4. Conclusiones

En el presente artículo se propone un modelo de medición de la gestión de activos de investigación y desarrollo (I+D) compuesto por 187 indicadores de gestión distribuidos en 27 medidas de desempeño desde las perspectivas del Cuadro de Mando Integral (CMI). Dado que la literatura científica revisada se focaliza en indicadores para evaluar los procesos de mantenimiento en empresas productivas, se hizo necesario realizar la adaptación de 41 indicadores a las particularidades de los activos I+D y proponer 89 indicadores nuevos para cubrir todo el ciclo de vida de los activos, 23 de ellos propuestos específicamente para evaluar la gestión de esta naturaleza de activos.

Con el fin de priorizar entre los indicadores de gestión propuestos, aquellos que permiten evaluar el aporte de la gestión de activos al logro de los planes estratégicos de la unidad de de Innovación y Tecnología de la compañía de petróleo y gas estudiada, se aplicó la técnica de valoración multicriterio Proceso de Jerarquía Analítica (AHP), concluyendo:

• Desde la visión de los directivos, las perspectivas del CMI Clientes y comunidad y Finanzas tienen mayor importancia frente a las asociadas con Aprendizaje y Desarrollo y Procesos.
• De las 27 medidas de desempeño propuestas para evaluar la gestión de activos I+D, fueron priorizadas 16 consideradas estratégicas o claves para valorar el impacto de la gestión de activos, siendo las restantes catalogadas como medidas operativas.

La complejidad del modelo de indicadores propuesto hizo necesaria la aplicación de la técnica Proceso de Jerarquía Analítica (AHP) en dos fases, por medio de la cual se logró jerarquizar los indicadores de gestión dentro de cada medida de desempeño y seleccionar los más importantes para valorar la contribución de la gestión de activos al logro de los planes estratégicos de la unidad de Innovación y Tecnología de la compañía de petróleo y gas estudiada. De esta manera se seleccionaron de los 187 indicadores de gestión del modelo propuesto, 17 estratégicos y 11 operativos, evitando de esta manera el desgate propio de la medición de una gran variedad de indicadores y la saturación de información. Para su implementación, se recomienda elaborar fichas técnicas para cada indicador y levantar la línea base a partir de datos históricos, con el fin de establecer metas óptimas.

La dificultad para conseguir literatura científica sobre gestión de activos de investigación y desarrollo y su integración con el Cuadro de Mando Integral fue una limitante teórica para el desarrollo de este estudio, y evidencia la novedad del tema tratado. Para futuras investigaciones se recomienda la priorización de un modelo de indicadores de gestión consensuada con varios centros de I+D a través de técnicas de valoración multicriterio, que facilite el desarrollo de futuros procesos de referenciación y benchmarking.

Aguezzoul, A. (2014). Third-party logistics selection problem: A literature review on criteria and methods. Omega, 49, 69-78.

Anderson, D. R. y  Sweeney, D. J. (2004). Decisiones multicriterios. En Cengage Learning (eds.), Métodos cuantitativos para los negocios (p.p 724-768). Cengage Learning

Beltran, J., Muñuzuri, J., Rivas, M. y Martín, E., (2014). Development of a metrological management model using the AHP and SEM techniques. International Journal of Quality and Reliability Management, 31(7), 841-857.

Castro, F. E. (2013). Indicadores de gestión para la toma de decisiones basada en la Inteligencia de Negocios. Tecnología Investigación y Academia, 2(1), 86-99.

Fasolo, B. y Bana e Costa, C. A. (2014). Tailoring value elicitation to decision makers' numeracy and fluency: Expressing value judgments in numbers or words. Omega, 44, 83 - 90.

Galar, D., Parida, A., Kumar, U., Stenström, C., Berges, L. (2011). Maintenance metrics: A hierarchical model of balanced scorecard. En actas de la IEEE 2011 ICQR (pp. 67-74).

Galar-Pascual, D., Berges-Muro, L. F. y Royo-Sánchez, J. (2010). La problemática de la medición del rendimiento en la función mantenimiento, Dyna, 85(5), 1-10.

Gonzalez, C., Garza, R. y Perez, E. (2014). Enfoque híbrido simulación-proceso analítico jerárquico: caso de estudio del rediseño de un restaurante. Revista de Métodos Cuantitativos para la EconomÍa y la Empresa, 17, 23-41.

Kaplan, R. S. y Norton, D. P. (2014). El cuadro de mando integral: The balanced scorecard. España: Grupo Planeta.

Kumar, U., Galar, D., Parida, A., Stenström, C. y Berges, L. (2013). Maintenance Performance Metrics: A State of the Art Review. Journal of Quality in Maintenance Engineering, 19(3), 233-277.

Lueg, R. y Carvalho, A. L. (2013). When one size does not fit all: a literature review on the modifications of the balanced scorecard. Problems and Perspectives in Management, 11(3), 86-94.

Norma Española UNE-EN 15341, Mantenimiento: Indicadores clave de rendimiento del mantenimiento (2008). España: AENOR.

Norma Técnica Colombia NTC-ISO 55000, Gestión de activos - Aspectos generales, principios y terminología (2015). Bogotá: Instituto Colombiano de Normas Técnicas y Certificación (ICONTEC).

Parra, C. y Crespo, A. (2012). Ingeniería de Mantenimiento y Fiabilidad aplicada a la Gestión de Activos. Sevilla: Ingeman.

Publicy Available Specification PAS 55-1, Gestión de activos - Parte 1: Especificaciones para la gestión optimizada de activos físicos (2008). England: The institute of Asset Management and British Standard Institute.

Rastegari, A. y Salonen, A. (2013). Strategic maintenance management: Formulating maintenance strategy. International journal of COMADEM, 18(1).

Ribeiro, M. C. d. C. R. y Alves, A. D. S. (2017). The problem of research project portfolio selection in educational organizations: a case study. Gestao e Producao, 24(1), 25 - 39.

Rincón B, R. D. (2012). Los indicadores de gestión organizacional: una guía para su definición. Revista Universidad EAFIT, 34(111), 43-59.

Rodrigues, P., Aibar, B. y Lima, L. (2014). Factores determinantes de la implementación del cuadro de mando. Revista brasileira de gestão de negócios, 16(51), 199-222.

Rodríguez-Padial, N., Marín, M. y Domingo, R. (2015). Strategic framework to maintenance decision support systems. Procedia Engineering, vol. 132, 903-910.

Salgueiro, A. (2001). Indicadores de gestión y cuadro de mando. Madrid: Ediciones Díaz de Santos S. A.

Sánchez - Rodríguez, Á. P. (2010). La gestión de los activos físicos en la función mantenimiento. Ingeniería Mecánica, 13(2), 72-78.

Scaramussa, S. A., Reisdorfer, V. K. y Ribeiro, A. A. (2010). La contribución del balanced scorecard como instrumento de gestión estratégica en el apoyo a la gerencia. Visión de futuro, 13(1).

Viveros, P., Stegmaier, R., Kristjanpoller, F., Barbera, L., y Crespo, A. (2013). Propuesta de un modelo de gestión de mantenimiento y sus principales herramientas de apoyo. Ingeniare, 21(1), 125-138.

Wireman, T. (2005). Developing Performance Indicators for Managing Maintenance. Nueva York: Industrial Press Inc.

1. Facultad de Ingeniería Industrial. Universidad Pontificia Bolivariana Seccional Bucaramanga. Ingeniera Industrial y Magister en Administración. elsa.gutierrez@upb.edu.co

2. Facultad de Ingeniería Industrial. Universidad Pontificia Bolivariana Seccional Bucaramanga. Ingeniera Industrial. palis-95@hotmail.com

3. Vicepresidencia de Innovación y Tecnología. Instituto Colombiano de Petróleo, Ecopetrol S.A. Ingeniero Metalúrgico y Magister en Calidad y Gestión Integral. nilsson.martinez@ecopetrol.com.co

4. Facultad de Ingeniería Industrial. Universidad Pontificia Bolivariana Seccional Bucaramanga. Ingeniera Industrial y Ph.D. en Estadística Bayesiana, Estadística Industrial y Optimización. maryory.villamizar@upb.edu.co