Nuevos instrumentos
para la evaluación de bibliotecas:
la normativa internacional ISO

Marta de la Mano González (coordinadora)
Beatriz Albelda Esteban
Mar Pérez Morillo
Santi Romero Garuz

Créditos

Título: Nuevos instrumentos para la evaluación de bibliotecas: la normativa internacional ISO. ePUB

Autores: Marta de la Mano González (coordinadora), Beatriz Albelda Esteban, Mar Pérez Morillo y Santi Romero Garuz

© AENOR (Asociación Española de Normalización y Certificación), 2014

Todos los derechos reservados. Queda prohibida la reproducción total o parcial en cualquier soporte, sin la previa autorización escrita de AENOR.

ISBN: 978-84-8143-847-5

Impreso en España - Printed in Spain

Edita: AENOR

Maqueta y diseño de cubierta: AENOR

Nota: AENOR no se hace responsable de las opiniones expresadas por los autores en esta obra.

Génova, 6. 28004 Madrid • Tel.: 902 102 201 • Fax: 913 103 695
comercial@aenor.es • www.aenor.es

Prólogo

It is a great pleasure to present this collection of papers that describe the work done in recent years within ISO Technical Committee 46 Information and documentation, Subcommittee 8 Quality – statistics and performance evaluation.

ISO TC 46 was founded already in 1947, with subjects such as bibliographic records, transliteration, or copying technics. Its subcommittee SC 8 was created in 1985, its terms of reference being then given as “Standardization of the gathering of statistics needed for work in documentation”. This first narrow scope has been widened substantially in the meantime. SC 8 now attends to “Standardization of quantitative and qualitative data for the management of information organizations and content providers, e.g., libraries, archives, museums and publishers”. This includes quality assessment in the form of quantitative measures such as statistics and performance indicators, but also qualitative methods, e.g. for the identification of library impact. The aim is to spread the knowledge about existing methods and practices and to standardize terminology, definitions and data collection with a view to comparing and aggregating results at a regional, national or even international level. In practice, SC 8 has focussed most on library topics, but museum and archive issues are taken into consideration now.

SC 8 has a steadily growing membership – 25 P-members and 13 O-members in 2013. Its secretariat has been held by DIN, the German Institute for Standardization, since 2005.

The most widely used standard developed by SC 8 is undoubtedly ISO 2789 International library statistics, recently published in it 5th edition. This standard determines the data needed for annual library statistics: data for the input and output of libraries in terms of collection size, number and types of users, usage of services, finances, staff, and space. In addition, the definitions and data collecting procedures in ISO 2789 also form the basis for the other standards within SC 8. Use of ISO 2789 is spread globally. In most countries, national library statistics are more or less based on this standard.

ISO 2789 has been regularly revised to keep pace with rapid developments in the information society. Many changes in the last versions of the standard related to the electronic and web-based resources and services that were more and more integrated into the functioning of libraries. The 2013 edition adds statistical measures for library services on social platforms and mobile devices and for services aiming at user groups with special needs.

Proceeding from quantity to quality, ISO 11620 Library performance indicators presents instruments for quality assessment. The “performance indicators” that are described in the standard measure “the effectiveness of the provision of services by the library and the efficiency of the allocation and use of resources in providing services”. This comprehends issues such as speed and reliability of services, relevance of the services to the library’s population, or the competence and responsiveness of staff. The 3rd revision presents new indicators for topics such as digitisation, institutional repositories for electronic resources, preservation, and cooperation in partnerships and projects. The standard has influenced most projects worldwide that deal with the question whether libraries performs in an effective and efficient way.

Because the special tasks of national libraries were not sufficiently covered in ISO 11620, an additional Working Group was installed that developed an instrument specially tailored to the needs of national libraries: ISO/TR 28118 Performance indicators for national libraries. The format of a Technical Report was chosen because there are fewer regulations than for a normal ISO standard. TR 28118 was published in 2009; part of its indicators have now been taken into the 3rd version of ISO 11620.

The same type of “standard”, namely a Technical Report, was chosen for two other specific topics: library buildings and web archiving. ISO/TR 11219 Qualitative conditions and basic statistics for library buildings was published in 2012. It combines planning data for space and equipment with recommendations for technical building issues such as load assumption, lighting, acoustics, or security systems. The Report fulfils an urgent demand for international guidelines in this area. ISO/TR 14873 Statistics and quality indicators for web archiving was published end of 2013. The Technical Report deals with the newest task of libraries: collecting the web. Especially national libraries select, collect and store publications and websites out of their national domain, regarding this as a task similar to the traditional legal deposit. In order to harmonize the evaluation of web archives, TR 14873 standardizes the terminology and the statistics and offers tested indicators for assessing the quality of web archiving. Data from the Technical Reports that deal with such specific issues flow back into the basic standards for statistics and performance measures.

Standardizing within SC 8 proceeded from quantitative counts to measures for assessing the quality of library services and the cost-efficiency of service delivery. The next step was logically to address the question of the library’s value and its benefits to individual users and to society. ISO 16439 Methods and procedures for assessing the impact of libraries determines the terminology for impact assessment and offers assessment methods that have been tested and that have delivered meaningful results. The standard has been published in April 2014. As there are numerous projects of impact assessment proceeding worldwide, it is to be expected that a second edition will have to be prepared in the next years.

The standardization projects mentioned above consider mainly the interests of libraries. But the scope of SC8 also comprises evaluation methods for other information providers, especially archives and museums. Therefore, in the beginning of 2013, SC 8 started a project for museums. ISO 18461 International museum statistics can build on studies in Europe, where EGMUS (European Group on Museum Statistics) has developed a standardized questionnaire, and can make use of the structure and definitions of ISO 2789, the standard for library statistics. At the end of 2013, a proposal will also go out for voting within SC 8 for a new work item International archives statistics. Hopefully, the basic statistics standards for museums and archives will be followed up by more standards for these institutions dealing with quality and impact assessment.

Spanish colleagues have cooperated in the standardization projects of the last years and have taken charge of various, often time-consuming tasks that proved important for the success of the projects. They have contributed effectively to terminological and methodical solutions, have added professional and practical experience and have even tested methods that were proposed for the reports and standards. I am happy to introduce this publication that describes and comments the work done within ISO TC 46 SC8 during the last years.

Dr. Roswitha Poll
Chair of ISO TC 46 SC 8
Quality – statistics and performance evaluation

Prólogo
(traducción al español)

Es un gran placer presentar esta colección de trabajos que recoge la labor desarrollada en los últimos años en el Subcomité 8 Calidad, estadísticas y evaluación del rendimiento, del Comité Técnico 46 de ISO Información y documentación.

El Comité Técnico 46 de ISO se fundó en 1947, con materias tales como registros bibliográficos, transliteración, o técnicas de copiado. El subcomité SC 8 se creó en 1985, dándosele como términos de referencia para la orientación de su actividad los siguientes: “Normalización de la recogida de estadísticas que se necesitan para el trabajo en documentación”. Este margen tan estrecho de actuación se ha ido ampliando sustancialmente con el transcurso del tiempo. El SC 8 abarca a día de hoy la “normalización de datos cualitativos y cuantitativos para la gestión de la información de las organizaciones y de los proveedores de contenidos, por ejemplo bibliotecas, archivos, museos y editores”. Esto incluye la evaluación de la calidad bajo la forma de medidas cuantitativas, como estadísticas e indicadores de rendimiento, pero también métodos cualitativos; por ejemplo, para identificar el impacto de la biblioteca. El objetivo es extender el conocimiento sobre las prácticas y métodos que existen, así como normalizar la terminología, las definiciones y la recogida de datos con el propósito de comparar y agregar los resultados a nivel regional, nacional e, incluso, internacional. En la práctica, el SC 8 se ha centrado mayoritariamente en temas bibliotecarios, pero se están empezando a trabajar los aspectos relacionados con archivos y museos.

El SC 8 tiene un número cada vez mayor de miembros: en 2013, 25 participantes (P-members) y 13 en calidad de observadores (O-members). El DIN, el Instituto Alemán de Normalización, ha ocupado la secretaría del subcomité desde 2005.

La norma más ampliamente utilizada desarrollada por el SC 8 es, sin duda, la ISO 2789 Estadísticas internacionales de bibliotecas, cuya 5.ª edición ha sido recientemente publicada. Esta norma establece los datos que se necesitan para las estadísticas bibliotecarias anuales: datos para los recursos y productos de la biblioteca en términos de tamaño de la colección, número y tipos de usuarios, uso de los servicios, finanzas, personal y espacio. Además, las definiciones y los procedimientos para la recogida de datos incluidos en la ISO 2789 sirven también de base para las otras normas del SC 8. El uso de la ISO 2789 se extiende por todo el mundo. En la mayoría de los países, las estadísticas bibliotecarias nacionales están basadas, en mayor o menor grado, en esta norma.

La Norma ISO 2789 se ha revisado con regularidad para adaptarla a los rápidos desarrollos de la sociedad de la información. Muchos de los cambios introducidos en sus últimas versiones están relacionados con los recursos y servicios electrónicos y basados en la web, que están cada vez más integrados en el funcionamiento de las bibliotecas. La edición de 2013 añade medidas estadísticas para servicios bibliotecarios en plataformas sociales y aparatos móviles, y para servicios orientados a usuarios con necesidades especiales.

Pasando de la cantidad a la calidad, la Norma ISO 11620 Indicadores de rendimiento para bibliotecas presenta los instrumentos para la evaluación de la calidad. Los “indicadores de rendimiento” que se describen en la norma miden “la eficacia de la biblioteca en la provisión de servicios y la eficacia de la ubicación y el uso de los recursos al prestar los servicios”. Esto abarca aspectos como la velocidad y la fiabilidad de los servicios, la relevancia de los servicios para la población de la biblioteca, o la competencia y la capacidad de respuesta del personal. La 3.ª edición incluye nuevos indicadores para temas como digitalización, repositorios institucionales para recursos electrónicos, preservación, y cooperación en asociaciones y proyectos. La norma ha influido en la mayoría de los proyectos en todo el mundo que tratan sobre el tema de la efectividad y la eficiencia en el rendimiento de la biblioteca.

Debido a que las funciones especiales que desarrollan las bibliotecas nacionales no quedaron suficientemente cubiertas en la ISO 11620, se creó un Grupo de Trabajo adicional que desarrolló un instrumento especialmente diseñado para cubrir las necesidades de las bibliotecas nacionales: el Informe Técnico ISO/TR 28118 Indicadores de rendimiento para bibliotecas nacionales. Se eligió el formato de informe técnico porque existen menos regulaciones que para una norma ISO. El TR 28118 se publicó en 2009; parte de sus indicadores se han incluido ahora en la 3.ª edición de la Norma ISO 11620.

El mismo formato de normativa, el informe técnico, se eligió para otros dos temas específicos: edificios de biblioteca y archivos web. El Informe Técnico ISO/TR 11219 Condiciones cualitativas y estadísticas básicas para edificios de biblioteca se publicó en 2012; combina datos de planificación para espacio y equipamiento con recomendaciones sobre aspectos técnicos de construcción como estimación del peso, iluminación, acústica o sistemas de seguridad. El Informe cubre la demanda urgente de normativas internacionales en esta área. El Informe Técnico ISO/TR 14873 Estadísticas e indicadores de calidad en los archivos web fue publicado a finales de 2013. Trata de la tarea más reciente de las bibliotecas: recolectar la web. Especialmente las bibliotecas nacionales, seleccionan, recogen y almacenan publicaciones y sitios web de su dominio nacional, dándole a esta tarea un tratamiento similar al del tradicional depósito legal. Para armonizar la evaluación de los archivos web, el TR 14873 normaliza la terminología y las estadísticas y ofrece indicadores comprobados para evaluar la calidad de los archivos web. Los datos de ambos informes técnicos que tratan sobre estos temas específicos confluyen hacia las normas básicas para estadísticas y medidas del rendimiento.

La normalización dentro del Subcomité 8 ha avanzado desde los recuentos cuantitativos hasta las medidas para evaluar la calidad de los servicios bibliotecarios y el coste-eficiencia de la provisión del servicio. El siguiente paso era, lógicamente, abordar la cuestión del valor de la biblioteca y sus beneficios para el usuario individual y la sociedad. La Norma ISO 16439 Métodos y procedimientos para evaluar el impacto de las bibliotecas establece la terminología para la evaluación del impacto y ofrece métodos de evaluación que han sido probados y han ofrecido resultados significativos. La norma se ha publicado en abril de 2014. Puesto que existen numerosos proyectos de evaluación del impacto desarrollándose por todo el mundo, cabe esperar que se prepare una segunda edición de la norma en los próximos años.

Los proyectos de normalización hasta ahora mencionados tienen en cuenta, principalmente, los intereses de las bibliotecas. Pero el ámbito de actuación del Subcomité 8 también incluye métodos de evaluación para otros proveedores de información, especialmente archivos y museos. Por tanto, a comienzos de 2013, el SC 8 inició un proyecto para museos. La Norma ISO 18461 Estadísticas internacionales para museos se puede construir sobre la base de otros estudios desarrollados en Europa, donde el EGMUS (Grupo Europeo sobre Estadísticas para Museos) ha desarrollado un cuestionario normalizado, y puede utilizar también la estructura y las definiciones de la ISO 2789, la norma sobre estadísticas para bibliotecas. A finales de año se presentará a votación en el Subcomité 8 un nuevo proyecto de trabajo, Estadísticas internacionales para archivos. Cabe esperar que a las normas básicas sobre estadísticas para museos y archivos les sigan otras normas dirigidas a estas instituciones que traten sobre la evaluación de la calidad y el impacto.

Los expertos españoles han colaborado en los proyectos de normalización de los últimos años y han asumido varias, y a menudo laboriosas, tareas que han resultado importantes para el éxito de los proyectos. Han contribuido con eficacia en las soluciones terminológicas y metodológicas, han aportado su experiencia práctica y profesional, e incluso han testado métodos que posteriormente se han incorporado en los informes y en las normas. Me siento feliz de presentar esta publicación que describe y comenta el trabajo realizado durante los últimos años en el subcomité ISO/TC 46/SC 8.

Dra. Roswitha Poll
Presidenta del ISO/TC 46/SC 8
Calidad, estadísticas y evaluación del rendimiento

Presentación

Marta de la Mano González

Los últimos cinco años han sido de una intensa actividad en el Subcomité 8 del Comité Técnico 46 de ISO (ISO/TC 46/SC 8), fruto de la cual se han elaborado casi simultáneamente otros tantos textos normativos que, por su naturaleza y alcance, constituyen el corpus normativo internacional de referencia en el ámbito de la evaluación de bibliotecas.

Durante estos años, las labores desarrolladas por los distintos grupos de trabajo del Subcomité se han centrado, por un lado, en la revisión y actualización de las normas sobre estadísticas e indicadores de rendimiento, de carácter general y con una larga trayectoria en el tiempo, que representan los pilares básicos sobre los que se asienta el desarrollo de las demás directrices internacionales en este campo; y por otro, en la elaboración de nuevas normativas que abordan aspectos más específicos, pero de gran actualidad en el ámbito bibliotecario, como es el caso de los informes técnicos sobre estadísticas de edificios para bibliotecas y sobre el archivo web. Además, se ha abordado la preparación de la norma sobre metodologías para la evaluación del impacto bibliotecario, que representa el paso adelante necesario para completar el proceso normativo de evaluación integral de la biblioteca desarrollado por el subcomité durante su trayectoria, que se habría iniciado con la evaluación cuantitativa del funcionamiento de la biblioteca, habría continuado con la medición del rendimiento y la calidad de sus servicios, y culminaría con la valoración de los beneficios derivados de su uso.

La confluencia en el tiempo del desarrollo de estos proyectos normativos, así como el hecho de que en todos ellos hayan participado expertos españoles, han propiciado la especial coyuntura que ha hecho posible la elaboración de este libro.

La designación de expertos nacionales que participaran activamente en los grupos de trabajo de los diferentes subcomités ha sido una preocupación constante y creciente en el seno del Comité Técnico de Normalización AEN/CTN 50, desde su reactivación en enero de 2003, hace más de una década. Presidido actualmente por la Biblioteca Nacional de España, el Comité 50 es el equivalente nacional (“espejo”) del Comité Técnico 46 de ISO (ISO/TC 46) y, como tal, se encarga de la elaboración y revisión de las normas nacionales en el ámbito de la documentación, así como de promover la colaboración española en todos los procesos normativos internacionales en los que se considere necesaria su participación.

Como resultado de esta política, en estos años nos hemos incorporado cuatro expertos españoles a los grupos de trabajo del Subcomité 8, garantizando la participación de nuestro país por primera vez en todos los proyectos normativos internacionales activos sobre evaluación de bibliotecas. Concretamente, la relación de participantes y grupos de trabajo ha sido la siguiente:

• Beatriz Albelda: Jefe del Área de Coordinación de Colecciones de la Biblioteca Nacional de España y miembro de los grupos de trabajo ISO/TC 46/SC 8/WG 2 International Library Statistics e ISO/TC 46/SC 8/WG 4 Performance indicators for libraries, que han elaborado la 5.ª edición de la Norma ISO 2789 y la 3.ª edición de la Norma ISO 11620, respectivamente.

• Santi Romero: arquitecto de la Gerencia de Servicios de Bibliotecas de la Diputación de Barcelona. Ha participado en el grupo de trabajo ISO/TC 46/SC 8/WG 8, que ha preparado el Informe Técnico ISO/TR 11219 Condiciones cualitativas y estadísticas básicas para los edificios de bibliotecas.

• Mar Pérez: Jefe del Servicio Web de la Biblioteca Nacional de España y miembro del grupo de trabajo ISO/TC 46/SC 8/WG 9, que ha elaborado el Informe Técnico ISO/TR 14873 Estadísticas y aspectos de calidad de los archivos web.

• Marta de la Mano: profesora titular del Departamento de Biblioteconomía y Documentación de la Universidad de Salamanca. Ha participado en el grupo de trabajo ISO/TC 46/SC 8/WG 10 Methods and procedures for evaluating library impact, que ha elaborado la Norma ISO 16439.

Una vez finalizadas las tareas de elaboración de las diferentes normas, y siendo conscientes de la necesidad de dar a conocer sus principales aportaciones y contenidos, los delegados españoles decidimos llevar a cabo el presente proyecto editorial, respaldado y promovido por AENOR, con el objetivo de facilitar la difusión y el uso de estas directrices internacionales.

Se trata de una obra colectiva en la que cada una de las normativas ha sido objeto de un tratamiento individualizado en uno de los capítulos, realizado por el experto que ha participado en su elaboración. No obstante, para facilitar la coordinación y la integración de los contenidos se ha adoptado un esquema común de desarrollo de las contribuciones, en el que en primer lugar se analiza el contexto en el que ha surgido la norma, a continuación se definen los objetivos que persigue y su alcance, después se sintetizan sus principales aportaciones y contenidos, y finalmente se incluyen algunas orientaciones y ejemplos sobre su utilidad y aplicación práctica.

El libro se estructura en tres secciones definidas, atendiendo a la naturaleza y alcance de los diferentes textos normativos: la primera reúne la normativa general sobre la evaluación del rendimiento y la calidad de los servicios bibliotecarios, incluyendo un capítulo dedicado a la norma sobre estadísticas internacionales para bibliotecas (ISO 2789:2013) y otro a la Norma ISO 11620 sobre indicadores de rendimiento; la segunda sección aborda las nuevas normativas, de carácter más específico, sobre el diseño y evaluación de bibliotecas, a través de dos capítulos centrados en la estadística para edificios bibliotecarios (ISO/TR 11219:2012) y en la preservación del patrimonio documental disponible en la web (ISO/TR 14873:2013), respectivamente; la tercera sección, integrada por un único capítulo, está dedicada a la evaluación del impacto de la biblioteca (ISO 16439).

Esperamos que esta iniciativa contribuya a difundir y promover el uso de estas normativas en las bibliotecas de nuestro país, facilitando la práctica habitual de la evaluación y su desarrollo estandarizado, actividades cada vez más necesarias en un contexto como el actual, en el que la reivindicación de la calidad del trabajo realizado y del beneficio obtenido se han convertido para las bibliotecas en criterios esenciales para justificar la inversión realizada en ellas, e incluso su propia existencia.

También nos gustaría dar a conocer a través de esta publicación el trabajo desarrollado en los diferentes comités nacionales e internacionales de normalización, habitualmente discreto y poco conocido, a menudo anónimo, pero cada vez más necesario en un entorno profesional y laboral en el que la cultura de la calidad, el desarrollo de buenas prácticas y la búsqueda de la eficacia y la eficiencia se han convertido en valores irrenunciables para todas las instituciones.

Finalmente, querríamos expresar nuestro agradecimiento a la doctora Roswitha Poll por su amabilidad al introducir este libro y, sobre todo, por su capacidad de trabajo y liderazgo durante todos estos años al frente del Subcomité 8, que han sido el principal motor de su actividad y dinamismo. La elaboración y publicación de las normas objeto de este libro representan el final de un ciclo, en el que la doctora Poll ha sido la principal adalid del desarrollo de la estandarización internacional en el ámbito de la evaluación de bibliotecas. Ha sido un placer poder colaborar con ella en esta tarea.

Sección I. Evaluación del rendimiento y la calidad de los servicios bibliotecarios: normativa general

Introducción. El enfoque cuantitativo: la evaluación mediante estadísticas e indicadores

Beatriz Albelda Esteban

La evaluación de la calidad de los servicios bibliotecarios ha tenido tradicionalmente un enfoque cuantitativo y se ha fundamentado en la evaluación del rendimiento. Los estándares generales de evaluación bibliotecaria establecen las bases conceptuales y metodológicas para la identificación, obtención y análisis de la información cuantitativa a partir de unidades mínimas medibles, conocidas como “datos estadísticos”.

La normativa general que se aborda en esta primera sección del libro cuenta ya con larga tradición en el mundo bibliotecario, desde la publicación de la primera edición de la norma internacional ISO 2789 de estadísticas de bibliotecas en 1974, y de sus sucesivas ediciones hasta la más reciente de 2013. En estos textos se han sentado las bases sobre las que se han podido desarrollar más recientemente enfoques evaluativos más complejos hasta dar el salto hacia el enfoque cualitativo.

Antes de entrar en el contenido de las normas, diremos algunas palabras acerca del enfoque cuantitativo.

La Norma ISO 16439 de medición de impacto de servicios bibliotecarios establece la distinción entre datos cuantitativos y datos cualitativos. Los datos cuantitativos son “datos en forma numérica que expresan una cierta cantidad o valor susceptibles de ser tratados estadísticamente”; y los datos cualitativos son “datos que describen –sin medir– atributos, propiedades de un objeto, las razones de acciones humanas”.

El enfoque cuantitativo se concreta en unidades estadísticas de tipo unitario o agregado que guardan relación con realidades observables, objetivables y medibles, conocidas como inputs y outputs. Aplicado al contexto bibliotecario, los inputs serían los conjuntos de recursos que contribuyen al sostenimiento de la actividad de la biblioteca: empleados (contabilizados como individuos a tiempo completo), equipos informáticos (unidades inventariadas), colecciones (número de títulos y ejemplares ingresados y conservados), metros lineales de estanterías, metros cuadrados de superficie, etc. Los outputs serían los productos cuantificables que son resultado de los diferentes procesos bibliotecarios: títulos catalogados, préstamos realizados, peticiones de información atendidas, asistentes a actividades organizadas por la biblioteca, visitas a la página web, etc.

Partiendo de las unidades estadísticas, la aproximación cuantitativa aborda en un grado mayor de complejidad la evaluación del rendimiento mediante indicadores. Los indicadores proporcionan información evaluativa desde una perspectiva analítica, quedando en la antesala de la evaluación del impacto, que a su vez introduce técnicas propias de la investigación en ciencias sociales. No nos detendremos aquí en la evaluación de impactos, ya que se tratará en profundidad en la última sección de este libro.

Los indicadores son el resultado de poner en relación diferentes datos estadísticos básicos, y suelen tomar la forma de porcentajes y ratios. Son el resultado de comparar, por ejemplo, el número de usuarios registrados en la biblioteca con la población total de su área de influencia; o de comparar el número de ejemplares prestados con el volumen total de ejemplares bibliográficos disponibles para préstamo.

La medición del rendimiento hace uso de los indicadores y guarda relación con los conceptos de proceso y resultado. Los procesos son el conjunto de acciones interrelacionadas que transforman recursos (inputs) en productos (outputs). La catalogación, el préstamo, la organización de exposiciones, son procesos bibliotecarios que a su vez pueden descomponerse en otros subprocesos. Siguiendo el mismo razonamiento, los resultados son los efectos objetivables que se producen a partir de la interacción de recursos y procesos. El incremento o descenso en número de visitas o el nivel de satisfacción de los usuarios respecto de los servicios son ejemplos de resultados.

La calidad de los resultados debe evaluarse desde dos perspectivas: en relación con los objetivos estratégicos marcados por la biblioteca y en relación con la calidad percibida desde el punto de vista del usuario.

Partiendo del concepto de calidad, tal y como se define en la Norma UNE-EN ISO 9000:20051, los indicadores no hacen sino objetivar este concepto a través de una serie de rasgos o dimensiones mensurables. En el ámbito bibliotecario, la evaluación de la calidad se ha identificado tradicionalmente con la evaluación del rendimiento o performance evaluation2, entendida como la eficacia en la provisión de servicios por parte de la biblioteca y la eficiencia en la asignación y uso de los recursos. Eficacia y eficiencia son, por tanto, las dos dimensiones principales de la evaluación del rendimiento. La eficacia mide el grado en que los objetivos han sido alcanzados, y la eficiencia guarda relación con la economía y la optimización de recursos empleados para la consecución de un fin.

Estas dos dimensiones principales –eficacia y eficiencia– se materializan según perspectivas más concretas que se aplican a los distintos aspectos que se van a evaluar. Así, por ejemplo, la eficacia de un determinado servicio podría evaluarse observando su rapidez, alcance, grado de cobertura, accesibilidad, etc.

Más allá de los planteamientos teóricos, la evaluación tiene una indiscutible finalidad práctica, y se utiliza como herramienta al servicio de la gestión. Es por ello que las dimensiones de eficacia y eficiencia guardan siempre relación con los objetivos marcados por las organizaciones en sus planes estratégicos. El resultado obtenido en un indicador se compara con el objetivo esperable y sirve para señalar indicios de posibles aciertos o, por el contrario, disfunciones en la gestión.

Los indicadores son una herramienta al servicio de la toma de decisiones y de la promoción institucional. A partir del análisis de las series estadísticas y de la recogida de indicadores de forma regular y sistemática es posible inferir:

• Puntos fuertes y débiles en la organización.

• Desviaciones respecto de los objetivos marcados.

• Indicios de mejora o estancamiento en la provisión de servicios.

• Tendencias nuevas en el uso de las bibliotecas; por ejemplo, el incremento de descargas por título en versión electrónica a la vez que la disminución de préstamos manuales, la relación entre el incremento del número de visitas virtuales y la disminución de visitas de usuarios presenciales, etc.

La normalización en el campo de las estadísticas e indicadores de bibliotecas contribuye a la difusión de mejores prácticas evaluativas mediante la unificación terminológica y conceptual, la sistematización de procedimientos y la convergencia de criterios evaluativos. Además, en una escala regional, nacional o internacional, contribuye a la elaboración de estudios de evaluación comparativa, o benchmarking, entre organizaciones semejantes en misión y estructura. También facilita la obtención de datos estadísticos de referencia sobre prácticas culturales a una escala nacional e internacional. Tal sería el caso de las series estadísticas coordinadas desde la Administración Pública a través de los planes estadísticos nacionales; o desde organismos internacionales como la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO).

Antes de comenzar el primer capítulo, dedicaremos unas líneas a los retos a los que se enfrenta en la actualidad la evaluación cuantitativa.

Con la eclosión de los recursos y servicios electrónicos y la paulatina automatización de los servicios bibliotecarios, se tiende cada vez más a la propia automatización en la obtención de los datos estadísticos. Al mismo tiempo, la obtención de estadísticas a partir de los sistemas de gestión, archivos log, etc., plantea nuevas cuestiones: por una parte, se gana en fiabilidad y sistematicidad en la toma de datos; por otra, en cambio, la biblioteca pierde el control directo sobre los datos estadísticos y se crea una dependencia cada vez mayor respecto de las aplicaciones de tipo comercial sujetas a los criterios de los proveedores. En este sentido, hay que destacar la importancia de iniciativas como COUNTER3, que promueve la normalización en la provisión e interpretación de datos cuantitativos de uso de recursos electrónicos.

Como se verá en otros capítulos de este libro, con el enfoque cuantitativo no se agotan las posibilidades de la evaluación. Si observamos la evolución de los procesos y estructuras del mundo bibliotecario, veremos cómo la realidad que tratamos de evaluar se ha hecho cada vez más compleja. Por este motivo, al abordar una evaluación integral se requiere la utilización de modelos mixtos, es decir, la combinación de las dos perspectivas, cuantitativa y cualitativa. Es habitual, por ejemplo, evaluar de una forma integral los resultados estadísticos de funcionamiento de los servicios bibliotecarios, en contraste con los resultados que se obtienen a partir de encuestas de satisfacción de los usuarios, de observaciones directas, entrevistas o focus groups.

Por último, la evolución de los datos cuantitativos en el tiempo viene a ser un reflejo de cambios más profundos en el funcionamiento y papel de las bibliotecas y en los perfiles de usuario. En este sentido, cualquier interpretación de datos debe tener en cuenta la concurrencia de múltiples factores y procesos. Los resultados de un indicador como la disminución del número de préstamos por usuario pueden ser indicio de falta de fidelización de usuarios, inadecuación de la oferta de servicios de la biblioteca en relación con la demanda, posibles fallos en la política de adquisiciones o insuficiente visibilidad de colecciones y servicios; o por el contrario, pueden guardar relación con el éxito en la oferta y promoción de los recursos electrónicos de la biblioteca y con un cambio en las preferencias y hábitos de los usuarios.

En todo caso, es necesario conocer bien la comunidad de usuarios potenciales y el contexto social de la biblioteca para poder realizar una interpretación adecuada de los resultados de una evaluación. La mayoría de las veces esos resultados apuntarán a una pluralidad de causas concurrentes y señalarán nuevos elementos que habrán de tenerse en cuenta en futuras evaluaciones.