TEMA 8 INSTRUMENTOS DE EVALUACIÓN

Con la evaluación termina un proceso de trabajo y, por tanto, es necesario llevarla a cabo siempre para poder así mejorar no sólo el ejercicio profesional en sí, sino obtener datos e informaciones que nos permitan hacer reflexiones más generales sobre el propio Trabajo Social y su quehacer profesional. Para ello, es fundamental desarrollar un proceso de evaluación que se relacione con todo el continuum diagnóstico-diseño de la intervención-implementación de la misma evaluación. En este proceso son fundamentales los instrumentos al objeto de mostrar una personalización de la evaluación en la medida que el Trabajo Social de casos se realiza con personas y familias concretas que necesitan una respuesta propia y diferenciada tanto a la realidad que motiva la intervención como a los resultados obtenidos con la misma. La evaluación en el Trabajo Social de casos va unida a tres elementos, ligados y relacionados entre sí, que proporcionan la información necesaria para construir el proceso de evaluación que nos proporcionará los daros que permitirán saber cuáles han sido los logros alcanzados con la intervención llevada a cabo. Estos elementos, y en este orden, son:
1. Marco de referencia.
2. Definir la evaluación.
3. Aplicar la evaluación.

1. EL MARCO DE REFERENCIA DE LA EVALUACIÓN

Viene definido por dos aspectos de gran peso en todo el conjunto de la intervención profesional:

1. El diagnóstico de la situación

Nos proporciona información suficiente sobre lo que está ocurriendo, cómo afecta a las personas que están inmersas en la situación, cómo repercute en las relaciones que las mismas mantienen con su entorno inmediato y cuáles son los aspectos o dimensiones que pueden ser abordados a partir de la intervención profesional. El diagnóstico, por tanto, en relación a la evaluación, facilita la información sobre la situación que debe ser modificada. Es importante porque suministra el marco con el que comparar la situación alcanzada con la intervención profesional.

2. El diseño de estas intervenciones

Si el diagnóstico nos dice cómo es la situación sobre la que se interviene, el diseño nos dice cómo se va actuar sobre la misma, es decir, nos proporciona datos sobre: qué se persigue (objetivos), cómo se van a alcanzar los mismos (metodología), cuánto tiempo emplearemos en realizar lo previsto (calendarización) y qué recursos serán necesarios emplear para llevar a cabo la intervención; aunque la programación de las intervenciones sociales no se agotan en los elementos aquí señalados, éstos se consideran adecuados para lograr “una familiarización con el programa/intervención objeto de la evaluación”:
Los objetivos son el elemento central de todo proceso de evaluación. Deben mostrar el logro que queremos alcanzar con nuestra actuación y sirven también para identificar la situación de bienestar que se opone a la reflejada en el diagnóstico. Son siempre ideales en la medida que su formulación establece un futuro cuyo logro motiva nuestra actuación.
– La metodología es fundamental en el diseño de todo proceso de evaluación. Entendemos como tal el conjunto de actuaciones que se van a desarrollar durante la implementación de la intervención y que los profesionales deben prever en la formulación del diseño. Se orienta hacia una evaluación del desempeño. A saber si lo que hemos hecho responde, en primer lugar, a una adecuada lectura de la realidad social que se manifiesta en el diagnóstico y, en segundo lugar, a valorar si los procedimientos definidos han sido útiles y adecuados para el logro de los objetivos establecidos. También es útil para el fortalecimiento de la profesión y disciplina en cuanto puede aumentar el corpus teórico y práctico del Trabajo Social.

La calendarización

La idea de calendarización está ligada a la necesidad de tener un límite temporal a partir del cual plantearnos el desarrollo de la evaluación.

Los recursos

Este tipo de evaluación está orientado hacia la mejora de la actividad profesional. Es decir, a tener una idea certera del uso del tiempo y de los recursos institucionales para organizar más y mejor el propio quehacer del trabajador social; para valorar qué volumen de trabajo se puede asumir y cuál no.

2. LA DEFINICIÓN DE LA EVALUACIÓN

La definición de la evaluación consistirá en diseñar el proceso evaluativo que vamos a seguir para valorar una determinada intervención profesional. Por tanto la evaluación, aunque sea en actividades microsociales, no se improvisa si queremos que resulte útil tanto a nuestro trabajo como al logro de los objetivos que nos planteamos. Los profesionales deben concebir la evaluación como una tarea más a realizar, y para ello, tendrán que prestar atención a los siguientes criterios: los objetivos de la evaluación, quién realizará la evaluación y qué tipo de proceso evaluativo seguiremos y, en consecuencia, que metodología concreta se desarrollará.

2.1. Los objetivos de la evaluación

La definición de los objetivos no debe obviar tres cuestiones centrales:

Debe contemplar tanto la valoración de los objetivos, el proceso seguido durante la intervención, los recursos empleados y los logros obtenidos.
2. La evaluación se hará teniendo en cuenta el conjunto de personas que se han involucrado en el desarrollo de la intervención. Exigirá, por tanto, una valoración final del trabajo realizado desde el punto de vista de los sujetos sobre los que se ha actuado, de los profesionales que han intervenido y de otros sujetos que hayan contribuido generando red de apoyo.
3. Debe guiarse también por perseguir una reflexión que, partiendo de problemas y situaciones particulares, permitan ir más allá de la casuística individual y faciliten una reflexión sobre cuestiones más amplias.
Estas reflexiones sobre los objetivos de los procesos evaluativos del Trabajo Social de casos no excluye la participación en las finalidades que persigue todo tipo de evaluación: medir el grado de idoneidad, pertenencia y eficacia de la actuación realizada; favorecer la toma de decisiones respecto al proceso evaluado y facilitar los procesos de intervención futuros. La evaluación nos puede servir para saber si hemos alcanzado, en qué medida y cómo el logro que hemos previsto en nuestra intervención. En consecuencia, podremos decidir acerca de si finalizar nuestra intervención bien por haber alcanzado los objetivos previstos, o bien por considerar que hemos fracasado; o continuar con el trabajo tal y como estaba previsto o con modificaciones. La evaluación también ejerce una influencia en los procesos de intervención futuros en la medida que proporciona una información útil a los profesionales a los que también ofrece más experiencia. Es útil la experiencia ganada en cada intervención anterior siempre que la misma haya sido evaluada. De esta manera, podríamos evitar que la sobrecarga de trabajo, los conflictos con las instituciones y sus directivos, o el simple descreimiento profesional ante situaciones enquistadas y crónicas imposibles de modificar conlleven volver rutinarias, repetidas y reiteradas actuaciones profesionales que deberían ser singulares. La experiencia y la información que nos proporcionan las evaluaciones no están destinadas a repetir lo ya hecho, sino a captar el carácter único de cada situación.

2.2. Los participantes en los procesos evaluativos

Uno de los objetivos de los procesos evaluativos de casos es el fomento de la participación. Para ello, es necesario estimar dos exigencias previas: Evidenciar cuáles son los objetivos que persiguen los diferentes sujetos involucrados en la evaluación.  Dedicar el tiempo suficiente a establecer objetivos en común que vinculen a todas las partes participantes.
Dedicar el tiempo suficiente al establecimiento de estos objetivos comunes es una garantía para el buen discurrir de la evaluación, puesto que tendremos un marco común con el que poder resolver los posibles conflictos que aparezcan durante el proceso. Podemos establecer cuatro tipos de personas que pueden intervenir en una evaluación y, por ende, cuatro tipos de intereses diferentes:

– Los responsables de las instituciones

Estarán preocupados por cuestiones más generales tales como si los programas de actuación en los que se encuadra el trabajo de casos debería continuar o no; si merecen más financiación…  

Los directores de los servicios o programas donde actúan los profesionales

Su preocupación se centra más en cuestiones como si los programas y las actuaciones profesionales están alcanzando sus objetivos; qué estrategias tienen más éxito…  

Los profesionales

Se preocupan por cuestiones relativas a cómo organizar su trabajo y a qué dar más prioridad, y cómo conseguir la implicación de los beneficiarios de las acciones…  

Los consumidores de los servicios

Que estarán preocupados por saber si el profesional resuelve o no sus problemas. A pesar de que el Trabajo Social de casos se trata de intervenciones a nivel micro de escasa repercusión social, este tipo de intervención no sólo es útil a las personas que directamente puedan beneficiarse de su trabajo, sino que tiene también una repercusión en el territorio y en la comunidad. La evaluación no sólo tiene una vinculación directa con el trabajo en sí, lo que se hace y lo que se consigue con esta actuación, sino que también se vincula al diseño de políticas sociales próximas a los ciudadanos.

2.3. Tipos de evaluación

1. Según el momento en el que se realiza la evaluación

– Ex ante:

se realiza antes de iniciar una intervención y tiene como finalidad decidir si se puede implementar o no lo diseñado.

– Ex post:

se realiza una vez concluida la intervención y está centrada en los resultados que el mismo ha alcanzado. Es útil para valorar sus logros y generalizarlos a otros proyectos de actuación.

– Durante la ejecución del proyecto o evaluación del seguimiento:

orientada a proporcionar información que facilite la toma de decisiones durante la fase de implementación del proyecto.
Exige el establecimiento de indicadores y sistemas de recogida de información.

. Según el origen de los evaluadores

Externa:

desarrollada por personal ajeno a la institución que ejecuta el proyecto. Puede realizarse en cualquier momento y ocuparse de cualquier aspecto relevante del proyecto.

Interna:

realizada por el propio personal de la institución. Puede ser ejecutada por los propios profesionales que implementan el proyecto o por personal ajeno al mismo de la propia institución. Pueden realizarse evaluaciones mixtas con equipos de personas externas e internas.

– Participativa:

contempla como actores de la evaluación a los destinatarios del proyecto (beneficiarios directos, comunidad, familiares, allegados…).

3. Según los propósitos o funciones de la evaluación

Formativa:

facilita a los profesionales información sobre el desarrollo del proyecto para valorar si procede o no su modificación. También proporciona información sobre cómo se está desarrollando el proyecto.

Sumativa:

proporciona una valoración global del proyecto una vez finalizado y está orientada a decidir sobre su continuación.

Descriptiva-explicativa:

la descriptiva está orientada a describir en qué medida lo realizado y lo alcanzado se corresponde con lo diseñado. La explicativa pretende analizar los resultados a partir de los marcos teóricos en los que se ha basado la acción.

4. Según el aspecto evaluado

Necesidades:

destinada a poner de manifiesto cuál es la realidad sobre la que va a intervenir el proyecto. Se vincula por tanto al diagnóstico.

Diseño del proyecto:

proporciona información sobre la conceptualización del proyecto, si tiene bien definida su población diaria y si las actividades y recursos son los adecuados.

Evaluación de la evaluabilidad:

se centra en analizar si los aspectos evaluables del proyecto están bien definidos.

Implementación:

pretende evaluar cómo ha sido el desarrollo del proyecto, si se ha ajustado o no al marco teórico y la definición previa de actividades establecida.

Cobertura:

proporciona información sobre la población que se ha beneficiado del proyecto: si era la inicialmente prevista, sus características sociodemográficas.

Resultados o impacto:

pretende valorar en qué medida el proyecto consigue los objetivos y saber si los efectos alcanzados se deben a la acción del proyecto o no. Analiza también la repercusión del proyecto sobre el contexto donde se desarrolla.

Económica:

valora el coste que ha tenido el desarrollo del proyecto.
Hay dos matices a precisar sobre la tipología de las evaluaciones:
 Los tipos de evaluación no son excluyentes entre sí.

Existe una jerarquía en las evaluaciones que es necesario respetar para poder interpretar adecuadamente los resultados obtenidos.

3.1.1. Las entrevistas

La entrevista es una sucesión de reiterados encuentros cara a cara entre el investigador y los informantes, encuentros dirigidos hacia la comprensión de las perspectivas que tienen los informantes respectos de sus vidas, experiencias o situaciones, tal como las expresan sus propias palabras. La entrevista como observación cualitativa de la realidad tiene varias funciones: es una técnica propia y específica para la recogida de información no dependiente de un cuestionario sino, en todo caso, de un guión o esquema. También es un medio terapéutico que sirve para el tratamiento de personas y no sólo para la recogida de información. La entrevista es la técnica principal utilizada para la producción de discursos de manera controlada en ciencias sociales. En cuanto al desarrollo de la entrevista como técnica para obtener información, hay seis aspectos a tener en cuenta:
1. Para que las entrevistas sean un instrumento útil para la evaluación cualitativa es imprescindible que haya confianza entre los sujetos que intervienen en su desarrollo.

2. El comienzo de la entrevista

Ésta debe comenzar siempre planteando cuestiones generales, fáciles, que permitan el deshielo de la desconfianza para, posteriormente, plantear las cuestiones centrales que motivan su ejecución.

3. Situación de entrevista

El entrevistador debe generar un clima que permita al entrevistado hablar de sí mismo con libertad. Pautas: no enjuiciar al entrevistado; permitir que la gente hable; prestar atención a lo que la persona dice; ser sensibles, prestando atención al modo en que las palabras pueden afectar al interlocutor; etc.

4. Cuestiones

Se refiere al tipo de preguntar a emplear en el desarrollo de las entrevistas (demográficas o biográficas, sensoriales, sobre experiencia/conducta, sobre sentimientos, sobre conocimientos, de opinión/valor).

5. La respuesta del informante

Cuando las respuestas no respondan a las cuestiones planteadas que son de interés para el investigador, se requerirá de la reformulación de la misma cuestión hasta obtener la información deseada.
lasentrevistas han de ser grabadas para facilitar su posterior transcripción y análisis. Sin embargo, la presencia de la grabadora puede perturbar al entrevistado. Conviene acordar por anticipado el uso de la misma para superar esta cuestión.
La fiabilidad de este tipo de técnicas es una cuestión polémica. Parece prácticamente imposible saber si una entrevista es fiable o no. Sólo nos sirven criterios subjetivos de evaluación de la fiabilidad de cada entrevista en particular.

3.1.2. La observación

La observación como técnica de recogida de información, debe reunir los siguientes requisitos:
1. Servir a un objetivo ya formulado de investigación.
2. Estar planificada sistemáticamente.
3. Ser controlada y estar relacionada con proposiciones más generales en vez de ser presentada como una serie de curiosidades interesantes.
4. Estar sujeta a comprobaciones de validez y fiabilidad.
Existen dos aproximaciones a la hora de concebir la observación:
 Como registro de datos más objetivos (lugares, autores, comportamientos…): exige un distanciamiento entre observador y observados, al efecto de poder establecer tipologías que nos ayuden a clasificar la realidad observada.
 Enfoque cualitativo, la observación participante:
enfatiza el contacto entre el observador y observado. Pretende captar el sentido, la intención última de los hechos. Requiere, necesariamente, un contacto que provea al investigador de la mayor cantidad de información disponible para alcanzar la comprensión del hecho observado.
Ambos enfoques son complementarios, pues comprender en profundidad lo que se observa requiere de un contexto, de un encuadre en un marco que le dé sentido, y para ello es necesario prestar atención a las dimensiones objetivas de la observación. Son cuatro las etapas que operativizan la observación como método para obtener información:
– Formulación de un problema que nos permita definir con exactitud qué debe observarse.
– Recogida de datos, prestando atención a dos operaciones complementarias: decidir la muestra de elementos que serán observados y, establecer el sistema de registro de la observación que debe ocuparse.
– Análisis e interpretación de los datos observacionales, que nos permitirá corroborar o rechazar las hipótesis y elaborar un informe que sintetice nuestra investigación.
– Comunicar los resultados mediante la información y publicaciones de los resultados obtenidos.

3.1.3. Los diarios

Es un documento personal de trabajo que nos permite abordar situaciones concretas a través de la percepción que de la misma tienen los sujetos que participan en ella. Es una fuente de información muy rica en datos cualitativos, puesto que recoge la vivencia personal de quien lo escribe. Este tipo de información nos sirve como complemento de otras informaciones que nos proporcionan las entrevistas y las observaciones. El objetivo último del tratamiento dado a la información es estudiar cómo un grupo de personas vive una experiencia concreta y reflexiona sobre ella volcando su trabajo sobre el soporte del diario. No se pretende generalizar las conclusiones obtenidas a través de la información que ofrecen los diarios, sino tan sólo profundizar en el significado que la experimentación tiene para los sujetos. Sin obviar que esta información también nos ofrece aspectos a tener en cuenta cuando tratemos experiencias similares con grupos parecidos. Los diarios se definen por la incertidumbre que provoca la ausencia de control sobre la información que se recoge. Tan sólo al finalizar la intervención tenemos acceso a la información recogida y ésta no siempre responde a las expectativas iniciales (por la inexperiencia en la confección de diarios, por ser una tarea laboriosa, que requiere de esfuerzo y voluntad para su continuidad y que implica la elaboración de un discurso narrativo…). Sin embargo, esta incertidumbre forma parte de la investigación cualitativa: ciertamente, el investigador no puede controlarlo todo pero, en cambio, obtiene una información muy rica y plural que responde a la visión que los interesados tienen sobre los hechos que viven. Conviene, pues, dominar la ansiedad que produce la falta de control para ganar en diversidad y pluralidad de fuentes y discursos.