Con el impacto debido: la necesidad de evaluar el apoyo a la internacionalización

Exactamente 6.044 empresarios han dedicado una media de 20 minutos de su valioso tiempo a contestar las distintas encuestas diseñadas por el Departamento de Evaluación del ICEX. En total, 50 semanas laborales completas de 40 horas.   

Si le sumamos el tiempo dedicado por los empresarios convocados a foros de discusión y entrevistas en profundidad para el rediseño de algunas de las iniciativas de apoyo del Instituto, tenemos más de un año laboral a tiempo completo sin contar vacaciones. 

Todo este esfuerzo, que agradezco a título personal e institucional, es imprescindible para poder dar respuesta a la siguiente pregunta: ¿qué utilidad tiene el apoyo del ICEX a la internacionalización de la empresa?   

A tenor de las conclusiones del taller “La evaluación de los programas de apoyo a la internacionalización de la empresa”, organizado el pasado 3 de marzo en el auditorio del ICEX en el marco del Consejo Interterritorial de Internacionalización (CII) y dirigido fundamentalmente a los tomadores de decisión de las agencias autonómicas de promoción exterior, este apoyo es muy útil y va más allá de los objetivos explícitos de las acciones.

En opinión de Heather Booth di Giovanni, directora de la Unidad de Análisis Económico y Evaluación del United Kingdom Trade and Investment (UKTI) desde 2005 hasta su reciente jubilación, el apoyo a la empresa para salir al exterior tiene un impacto en I+D+i mucho mayor que cualquier otro programa de ayuda directa a la inversión en proyectos de investigación, desarrollo e innovación.

La evidencia del trabajo de evaluación hecho por la institución británica respalda con claridad este hecho, que está en coincidencia con los resultados de la evaluación del programa PIPE (Plan de Iniciación a la Promoción Exterior), realizada por el Departamento de Evaluación del ICEX en 2013, en la que se demuestra que las empresas atribuyen al ICEX la decisión de incrementar la inversión en I+D+i tres años después de finalizar este programa, precursor del actual ICEX Next.

 

¿Qué significa evaluar?

 

Evaluar es emitir un juicio de valor objetivo y calificativo, que implica necesariamente que dicho juicio no dependa del sujeto que lo emite. La única forma de conseguirlo es la aplicación del método científico. Por tanto, evaluar una intervención pública exige aplicar el método científico a su propia gestión.

Una intervención pública se inicia con la identificación de necesidades de una población, y continúa con la decisión de dedicar recursos y establecer procesos organizados que conduzcan al suministro de productos o servicios para dar respuesta a esas necesidades. De este modo, la población estará en condiciones de conseguir unos objetivos que antes no podía alcanzar.

Las agencias de promoción exterior, entre las que se incluye el ICEX, gestionan intervenciones públicas cuyo objeto es, por un lado, promover la internacionalización de las empresas para contribuir a su competitividad y aportar valor a la economía en su conjunto y, por otro, la atracción de inversiones.

"Los resultados de la evaluación de impacto permiten al ICEX ofrecer una mejor orientación a nuestro cliente en su proceso de internacionalización"

Para dar cumplimiento a su mandato, estas agencias gestionan diversos tipos de acciones públicas focalizadas en poblaciones determinadas y con objetivos concretos.

 

El método científico como guía

 

La aplicación del método científico permite contrastar empíricamente la validez de una hipótesis. Por esta razón, cualquier evaluación concluye si la realidad, medida a través de ciertas variables relevantes denominadas indicadores, refuta o no la hipótesis explicitada en el diseño de la evaluación.

La determinación de este diseño es la parte más delicada de cualquier evaluación. Un diseño de evaluación concreta las entidades implicadas en la intervención pública y matematiza las relaciones entre dichas entidades o entre diferentes estados de esas entidades.

Esta fase plantea explícitamente las hipótesis que deben contrastarse; en el caso de un diseño de evaluación de impacto, estas dos hipótesis son: si ha habido algún efecto en la población tras la intervención pública y si se puede imputar un vínculo causal entre la intervención y los efectos observados.

Esta segunda hipótesis se conoce como la atribución de los efectos a la intervención, y es el núcleo de cualquier evaluación de impacto. La respuesta a ambas preguntas se denomina el impacto de la intervención, que expresa el grado de cumplimiento de los objetivos en la población que se pretendía atender.

La segunda construcción delicada en una evaluación de impacto es el contrafactual, definido como un grupo de individuos idéntico al grupo de tratamiento en tres aspectos: debe ser idéntico en ausencia de intervención, debe reaccionar de la misma manera a esta y no puede estar sometido de forma diferencial a otras intervenciones.

El contrafactual tiene como función poder estimar qué habría pasado en nuestros indicadores de resultado de no haber tenido lugar la intervención. Una evaluación de impacto construye un contrafactual creíble en términos empíricos, de forma que sea imposible distinguir individuos o agrupaciones de individuos de tratamiento de sus correspondientes individuos o agrupaciones de individuos de control.

En nuestro caso, los ingresos por exportación de bienes y servicios constituyen una parte de las variables de resultado no inmediato que deben medirse en cada individuo, pero también hay que medir ingresos debidos a actividades puramente de inversión, no necesariamente productiva, en el exterior, y variables que capturen el concepto de competitividad, que aglutina cuestiones como la monetización de los intangibles o la optimización operativa en la provisión del producto o servicio.

Podemos medir estas últimas variables gracias a las respuestas que nos dan nuestros clientes al dedicarnos 20 minutos de su tiempo, y el análisis muestra la validez y coherencia de estos datos, lo que evidencia que nadie conoce la realidad empírica del mercado global mejor que quienes, como usted, lo viven en sus propias carnes día a día.

 

Experiencias en el Reino Unido y Suecia

 

Así lo entendió el United Kingdom Trade & Investment (UKTI), la agencia de promoción exterior británica, cuando arrancó en 2004 su programa de evaluación del impacto del apoyo público a la internacionalización de la empresa, a raíz de la necesidad de racionalizar el gasto público.

La institución puso en marcha una estrategia consistente en un sistema de seguimiento de sus actividades -la denominada encuesta de seguimiento de impacto y resultado (PIMS, Performance and Impact Monitoring Survey), cuya primera oleada se lanzó en 2006-; en un programa de evaluación externa de sus actividades; y en trabajos de investigación para conocer las barreras y los beneficios de la internacionalización.

Los resultados de la evaluación de este organismo, publicados en noviembre de 2015, muestran los efectos en resultados comerciales y en mejora de competitividad en los beneficiarios de sus acciones frente a los no beneficiarios al menos dos años después de la intervención.

La evaluación del UKTI, firmada por la consultora London Economics, concluye que el apoyo público a la internacionalización de la empresa mejora el rendimiento de sus clientes en términos de beneficio económico y de productividad, y el análisis implica una relación coste-beneficio de 33:1 del apoyo público, aunque reconoce que este resultado es sensible a un pequeño número de altas ganancias individuales.

Growth Analysis, la agencia sueca encargada del análisis y de la evaluación de las políticas económicas del país, inició en el verano de 2014, por encargo del Gobierno sueco, la evaluación de impacto del apoyo público a la internacionalización de la pyme.

Esta agencia ha decidido utilizar únicamente datos provenientes de estadísticas oficiales de exportación, aunque reconoce que así resulta difícil medir otras formas de internacionalización para las que no existen estadísticas oficiales, tales como la cooperación y las alianzas empresariales internacionales.

También ha encargado estudios para entender la manera en que la pyme empieza a exportar a mercados complicados y la manera en que esta utiliza el sistema de apoyo a la promoción exterior. Además ha recomendado a todos los actores involucrados en la promoción exterior disponer de un sistema de seguimiento de sus actividades, en términos de gestión de relaciones con el cliente.

Por lo que conozco, estos son, además del ICEX, los otros dos únicos casos en el entorno europeo en que una agencia de promoción exterior de ámbito nacional cuenta con un programa sistemático de evaluación de sus actividades.

 

La evaluación en el ICEX

 

En nuestro caso, ICEX España Exportación e Inversiones creó en 2011 su Departamento de Evaluación con el cometido de llevar a cabo la evaluación de impacto de todas sus actividades.

Dicha evaluación, realizada de forma interna, utiliza encuestas para recabar los datos y una metodología propia de análisis que identifica efectos a lo largo del tiempo después de la intervención (entre uno y tres años, aunque en ocasiones hemos utilizado diseños muestrales pensados para verificar posibles efectos hasta cinco años después).

Asimismo, contamos con un sistema de atribución de resultados a la acción pública que ha recibido el aval del International Trade Center (ITC) dentro del conjunto de mejores prácticas internacionales en materia de evaluación.

Hasta la fecha, hemos aplicado esta metodología propia de evaluación de impacto a la mayor parte de los programas que implicaban apoyo económico a la empresa y hemos analizado la estrategia seguida por los clientes en los últimos 12 años en la utilización de los diferentes tipos de apoyo que ofrece la institución.

De forma paralela, y a colación de los resultados de algunas evaluaciones de impacto, hemos puesto a punto una metodología cuantitativa propia de análisis de necesidades adaptable a cada tipo de apoyo concreto. Se utilizó en 2014 para mejorar la efectividad del instrumento Feria de Pabellón Oficial (FPO), y está previsto aplicarla este año 2016 para mejorar la efectividad en el cliente del apoyo en sus labores de prospección comercial.

 

Objetivo: orientar mejor al cliente

 

Gracias a este trabajo de investigación con claro enfoque de analítica de negocio, tenemos bien identificados los segmentos de cliente que recurren a nosotros y hemos podido conocer los cambios operativos en su proceso de internacionalización que nos atribuye cada segmento de cliente a medio plazo.

Es más, hemos identificado también posibles razones por las que ciertas acciones no consiguen los resultados esperados en ciertos segmentos de empresa, lo que nos facilita mejorar ese apoyo o redirigir a esos clientes a otro tipo de instrumentos que les permitan estar mejor preparados para el entorno global.

De forma más concreta, si un cliente, sea nuevo o no, llama a la puerta del ICEX para participar en una de las numerosas actividades que gestionamos al año, podemos calcular en el acto y prácticamente sin error a qué segmento de cliente pertenece, lo cual nos permite también estimar el aprovechamiento que va a hacer de dicho apoyo en términos de operativa comercial y de mejora de competitividad.

Esa información nos sirve para orientar mejor a nuestro cliente sobre la conveniencia o no de participar en la actividad solicitada, pues la participación en cualquiera de nuestras actividades tiene un coste para la empresa, en términos no solo monetarios, sino también de recursos y de tiempo.

Esta es la utilización más inmediata de los resultados de la evaluación, aunque toda la información que surge al contrastar empíricamente las hipótesis planteadas nos permite extraer conclusiones y recomendaciones operativas para mejorar el servicio que le ofrecemos a nuestro cliente, a usted, a quien le vuelvo a agradecer el tiempo que nos dedica. Sin su participación, nuestra labor no sería posible.
JOAQUÍN NÚÑEZ, ANALISTA DEL DEPARTAMENTO DE EVALUACIÓN DE ICEX ESPAÑA EXPORTACIÓN E INVERSIONES

 

*Las opiniones expresadas en esta sección son de exclusiva responsabilidad de los autores y no reflejan, necesariamente, el punto de vista de El Exportador.

01/06/2016