PALABRAS CLAVE: Mercado Eléctrico Mayorista, Lógica Difusa, Aprendizaje de Máquina.

ABSTRACT: The work presented in this paper explores the posibility of using a model based on fuzzy logic and machine learning in order to maximize the profits of Colombian energy trade agents according to their risk profile. The model has two parts, the first one is a fuzzy expert system that gives to these agents a recommendation about the trade strategy they should follow, and whose definition depends mainly on market conditions. The second one is a reinforced learning mechanism with which the agents “learn” when they perceive the consequences of their actions, so they modify them looking for a reward not just in short but also in long term.

KEYWORDS: Wholesale Electricity Market, Fuzzy Logic, Machine Learning.

El proceso de liberalización de los sectores eléctricos alrededor del mundo ha dado paso a la introducción de la competencia en varias de las actividades de la cadena de suministro. El mercado eléctrico Colombiano no es ajeno a este

panorama. En este país, a partir de la Constitución de 1991, se admitió como principio clave para el logro de la eficiencia en los servicios públicos la competencia donde fuera posible y la libre entrada a todo agente que estuviera interesado en prestarlos. El Estado pasó a cumplir el papel de ente regulador, mientras

Posteriormente se presentó una reestructuración del mercado bajo las leyes 142 y 143 de 1994 que tenían como finalidad aumentar la eficiencia del sistema y vincular capitales privados al mismo, y se produjo la instauración de la Bolsa de Energía en 1995 [1]. Dichas leyes definieron el marco regulatorio aplicable a los negocios de generación, así como la transmisión, distribución y comercialización.

Para cada una de estas actividades existen agentes encargados de llevarlas a cabo. Entre estos, la función de los comercializadores consiste en transar grandes bloques de energía bien sea para satisfacer la demanda de los usuarios finales, o para cubrir las obligaciones comerciales de los otros agentes. Para obtener la energía que requiere para estos procesos un comercializador tiene dos alternativas: realizar contratos bilaterales de largo plazo con un generador u otro comercializador, o adquirirla por medio de la bolsa de energía que es un mecanismo de balance de corto plazo. El dilema del comercializador consiste en que los precios en ambos casos pueden llegar a ser muy diferentes debido a la alta volatilidad presente, principalmente en el caso de la bolsa. Bajo esta perspectiva un agente debe decidir cuanto de su demanda debe adquirir por medio de contratos teniendo en cuenta que la cantidad que le falte para satisfacer su demanda será adquirida en bolsa, mientras que si por el contrario se contrata de más, el sobrante lo vende en bolsa. Evidentemente, el comercializador debe tomar esta decisión buscando maximizar sus ganancias pero a la vez manejando de manera adecuada el riesgo que esto implica.

Los Sistemas de Inferencia Difusos - SID [6, 7] son una forma de representar conocimientos y datos inexactos en forma similar a como lo hace el pensamiento humano. Un SID define una correspondencia no lineal entre una o varias variables de entrada y una variable de salida. La aplicación de modelos basados en Lógica Difusa permite abordar la creación de sistemas soporte de decisión ya que brinda la capacidad de extraer datos de forma práctica y, a través de las capacidades analíticas de los evaluadores, descubrir relaciones significativas entre ellos. Otra característica de este tipo de modelos es que son altamente flexibles, tolerantes a imprecisiones en los datos y pueden trabajar con funciones no lineales de diversa complejidad, así mismo no están obligados por presunciones estadísticas acerca de las características de los datos y se pueden modificar fácilmente dependiendo de la solución del problema que se requiera.

Un método de aprendizaje puede considerarse como una forma determinada de hacer que un agente que interactúa con su entorno cambie sus parámetros internos para que pueda adaptarse a nuevas situaciones y solucionar, a la larga, la tarea que le ha sido encomendada. Según la realimentación de la que dispone el agente para evaluar su desempeño, pueden clasificarse las técnicas disponibles en la Inteligencia Artificial en, al menos, cuatro grupos: aprendizaje supervisado, aprendizaje no supervisado, aprendizaje por optimización estocástica y aprendizaje por refuerzo, siendo este último el de interés para este trabajo.

En el modelo estándar de aprendizaje reforzado [8], un agente está conectado a su ambiente vía percepción y acción. En cada paso de interacción el agente recibe una entrada i acerca del estado actual s del ambiente y toma una acción a para generar una salida correspondiente. Tal acción altera

el estado del ambiente y el valor de esta transición de estado es comunicado al agente por medio de una señal de refuerzo escalar r. El comportamiento B del agente debe escoger acciones que tiendan a incrementar la suma de largo plazo de los valores de la señal de refuerzo, y para aprender a hacer esto a través del tiempo, debe seguir sistemáticamente algún método de prueba y error. Para lograr esto puede apoyarse en una amplia variedad de algoritmos diseñados para este propósito.

Formalmente, y de acuerdo con la Figura 1, un modelo de aprendizaje en general consiste de:

Figura 1. Modelo estándar de aprendizaje reforzado
Figure 1. Reinforced learning standard model

La Figura 1 incluye además una función de entrada I, que determina la manera en la que el agente ve el estado del ambiente, es decir, cuál es su percepción de los cambios que en éste se producen. Típicamente se asume que esta función se trata de la función identidad (esto es, que el agente percibe el estado exacto del ambiente), pero puede considerarse también funciones que permitan modelar una observación parcial o alterada. El trabajo del agente es entonces modificar su comportamiento B, mapeando estados con acciones, de manera que se maximice una medida de largo plazo del refuerzo. En general, el ambiente en el que el agente se desempeña es no determinístico, esto significa, que tomar la misma acción para el mismo estado en dos ocasiones diferentes puede resultar en estados siguientes diferentes y/o diferentes valores de la señal de refuerzo.

En este tipo de aprendizaje, es necesario que el agente recoja información a través de la experiencia acerca de los posibles estados del entorno, acciones, transiciones y recompensas que pueden guiarlo hacia la optimalidad. En otras palabras, el aprendizaje reforzado implica necesariamente una exploración del entorno.

Los agentes comercializadores de energía eléctrica basan sus decisiones en el análisis de información referente tanto a su estado propio como al del sector y del país. Dentro de la información que estos agentes analizan y que es exógena a ellos se encuentran aspectos que pueden medirse tanto de manera cuantitativa como cualitativa e influyen directa o indirectamente en la formación de los precios de la electricidad. En [9] se expone una explicación detallada de tales aspectos, sin embargo en el modelo propuesto en este trabajo se hace una simplificación y se considera sólo una parte.

Específicamente, los aspectos elegidos para consideración son la evolución de los precios de la electricidad y la disponibilidad hídrica del sistema. Para su elección se siguieron dos premisas. La primera es que los precios en sí son la principal señal para la toma de decisiones de los agentes comercializadores. Tal aseveración concuerda con los postulados de teorías financieras como es el análisis técnico, el cual se fundamenta en los principios de Dow Jones [10] empleados en el análisis de mercados financieros. El primero de estos principios estipula que “los precios lo descuentan todo”, lo que significa que todos los elementos que afectan el mercado, ya sean políticos, económicos, sociales, psicológicos o de cualquier otra índole, están de hecho reflejados en la acción del precio. La segunda premisa es que, aún cuando los precios por sí mismos generan señales para la toma de decisiones, no hay que desconocer que para el caso particular de mercados eléctricos con un porcentaje alto de participación hidráulica como es el caso Colombiano, existen variables claramente identificadas que los afectan significativamente [11], y que por tanto el modelo de inferencia debe contemplarlas, siendo la principal de estas variables la disponibilidad hídrica del sistema.

A continuación se describe con más detalle los análisis llevados a cabo sobre las dos variables consideradas.

4.1 Análisis de la evolución de precios
El objetivo de este análisis es determinar para un periodo t determinado (considerando una escala mensual) la relación entre los precios de bolsa y de contratos, es decir, cual de estos precios se encuentra por encima del otro o si son similares, y de esta manera intuir que opción de compra de energía es más atractiva. Para llevar a cabo tal análisis es necesario conocer un histórico de los valores de los precios de bolsa y de contratos hasta t. Su fundamento es que a medida que el mercado Colombiano ha ido madurando, y que aunque la volatilidad en los precios es alta (en particular para el precio de bolsa), los cambios abruptos en la relación de precios, no en los precios en sí, son menos frecuentes y, en los casos en los que se presentan, pueden ser explicados en gran medida por las demás variables analizadas.

La herramienta empleada para llevar a cabo dicho análisis son los promedios móviles para ambos precios (expresados en $/kWh promedio mes). Con estos se busca estudiar sus tendencias y brindar una señal, aunque no contundente, de la relación entre ambos en el corto plazo. El tipo de promedio empleado en el modelo propuesto es un promedio ponderado simple cuya formula se presentada en (1), y en el que se promedian los precios de los últimos n periodos dándole mayor importancia a los más recientes.

(1)

El valor de n elegido es 3 meses pues corresponde a un horizonte de tiempo adecuado para las decisiones de corto plazo. La diferencia porcentual entre ambos promedios se calcula como se muestra en (2).

(2)

Si se fuera a tomar una decisión respecto al factor de contratación basándose únicamente en este criterio, podría decirse que cuando la diferencia porcentual entre los promedios en un periodo t sea positiva se debería tomar una posición de sobrecontratación en el periodo t+1 esto pues se esperaría que si la tendencia presente continúa los precios de bolsa se encontrarán por encima de los de contratos. De manera análoga, cuando la diferencia sea negativa la decisión a tomar sería una posición de subcontratación pues se esperaría que la situación en los precios fuera contraria. En el caso de que tal diferencia sea prácticamente nula, es decir que oscile alrededor de cero, la decisión a tomar sería tomar una posición de cautela y contratar para el periodo t+1 un porcentaje cercano al 100% de su demanda, esperando que un cambio en la tendencia de los precios se evidencie en períodos posteriores.

4.2 Análisis de la disponibilidad hídrica
Los precios de la electricidad en todos los mercados de energía están directamente relacionados con los costos de generación y, puesto que el sistema de generación Colombiano es en su mayoría hidráulico, la evaluación de la disponibilidad hídrica del sistema es fundamental para las decisiones de contratación. Por tal motivo, el objetivo de este análisis es deducir la disponibilidad hídrica esperada para el periodo t+ 1 a partir de las condiciones hidroclimáticas en t.

Para cuantificar la capacidad de generación de las plantas hidráulicas una posibilidad es recurrir a los indicadores “Aportes de los ríos” y “Embalse ofertable”, los cuales pueden ser expresados en Gwh y dan cuenta para un periodo determinado de la cantidad de agua disponible para la generación. Mas específicamente, el embalse ofertable corresponde al nivel del embalse que se encuentra disponible para generación. Mientras que los aportes de los ríos corresponden a la sumatoria de los aportes hídricos de las cuencas que alimentan al sistema de generación.

Así, una manera de definir la disponibilidad hídrica total del sistema, entendiéndola como el potencial de generación hidráulica que hay en un determinado momento dados los recursos hídricos, es sumar ambas variables. Para obtener su valor esperado en un mes determinado es posible emplear un método como el que se presenta a continuación:

(3)

La validación de este modelo se realizó con los datos reales del periodo 1999-2005 y la raíz del error medio cuadrático obtenido fue de 960,81, que corresponde a un error promedio de 6%.

De manera análoga a como se hizo con el caso de la diferencia porcentual de precios, si se fuera a tomar una decisión respecto al factor de contratación basándose únicamente en la disponibilidad hídrica esperada, podría decirse que cuando en un periodo t ésta se encuentre por encima de su promedio histórico se debería tomar una posición de subcontratación, esto pues se esperaría que dada la cantidad excedente de agua para ese periodo, los precios de bolsa se encontrarán bajos y posiblemente los de contratos se encuentren por encima. Así mismo, cuando la disponibilidad hídrica esperada se encuentre por debajo de su promedio, la decisión a tomar sería una posición de sobrecontratación pues se esperaría que la situación en los precios fuera al revés. En el caso de que la disponibilidad hídrica esperada tenga un nivel medio

la decisión a tomar sería no considerar este criterio y contratar para el periodo t+1 un porcentaje cercano al 100% de su demanda, puesto que no sería posible hacer especulaciones.

4.3 Modelo de inferencia difuso
Una vez identificadas las variables de entrada así como sus relaciones con la variable de decisión, es decir, con el factor de contratación, es necesario definir un mecanismo que las pondere de una manera similar a como lo haría un agente del mercado. Una manera de lograrlo es por medio de un Sistema de Inferencia Difuso - SID cuyos fundamentos han sido empleados ampliamente en diversos sistemas de apoyo a la toma de decisión, e incluso para el caso particular de los mercados de energía [2-5].

El primer paso para la creación del SID es la definición de los conjuntos difusos de las variables tanto de entrada como de salida. Tales conjuntos se sitúan dentro del universo del discurso de cada variable, el cual se extrae de su registro histórico, y su forma se determina a partir de una función de pertenencia.

Para el caso de las variables de entrada del modelo propuesto, es decir, la diferencia porcentual de precios y la disponibilidad hídrica, se emplearon los diagramas de frecuencia de dichas variables de manera que cada conjunto contuviera un numero similar de muestras en el período analizado y se validaron los conjuntos resultantes con conocimiento experto. Para la definición de los conjuntos difusos de la variable de salida se emplearon rangos igualmente espaciados dentro del universo del discurso, y se eligió un numero de estos lo suficientemente amplio como para cubrir el espectro de decisiones que un comercializador podría tomar.

Una vez definidos estos conjuntos, se procede a definir las reglas del sistema de inferencia. Tales reglas son del tipo SI <antecedentes> ENTONCES <consecuente>, donde los antecedentes corresponden a la agregación (conjunción o disyunción) de los valores de las variables de entrada (conjuntos difusos), mientras que el consecuente corresponde al valor resultante de la variable de salida. De esta manera, las reglas pueden representarse por medio de una matriz, donde las filas y las columnas se determinan en base a los conjuntos de las variables de entrada, mientras que su dimensión corresponde a su producto cartesiano.

Figura 2. Superficie difusa
Figure 2. Fuzzy surface

4.4 Modelo de aprendizaje
El modelo de aprendizaje propuesto en este artículo se fundamenta en varios de los principios del aprendizaje por refuerzo anteriormente descritos, y resulta coherente con los procesos que al respecto se dan en el mercado real. Su objetivo es permitir hallar un valor óptimo del grado de credibilidad que un agente del mercado debe tener respecto a la inferencia realizada por un sistema experto con el fin de obtener las mayores utilidades posibles con base en su perfil de riesgo.

Un conjunto de estados del ambiente S: En este caso los estados corresponden a los esquemas de contratación resultantes del agente, es decir, a su distribución de compras en contratos y en bolsa en un período dado.

Un conjunto de acciones del agente A: Las acciones que el agente puede tomar en un período t se refieren a la determinación de su factor de contratación, entendiendo éste como la ponderación entre el factor por defecto que el agente tenga y el factor recomendado por el sistema de inferencia. Más formalmente se puede decir que tal factor se calcula como:

El factor por defecto se puede interpretar como la estrategia por defecto que tendría el agente si no contara con un mecanismo de aprendizaje y aplicara siempre la misma estrategia. Es decir, este factor podría ser 1 en el caso de un agente completamente adverso al riesgo que siempre contrate el 100% de su demanda; o podría ser un valor menor a 1 para meses de invierno y un valor mayor en meses de verano; o cualquier otra estrategia estática que el agente pudiera implementar.

Los valores PC máximo y PC mínimo corresponden a los porcentajes de contratación máximo y mínimo respectivamente que el agente fija de acuerdo con su perfil de riesgo. Para clarificar el significado de las anteriores variables se presenta el siguiente ejemplo: Un agente comercializador puede tener un factor por defecto que sea contratar el 90% de su demanda para meses que típicamente son de invierno, y 105% para meses de verano. Y puede tener un PC mínimo de 60% y un PC máximo de 120%, lo cual indica que en el más extremo de los casos, podría subcontratarse en un 40% (dejar este porcentaje para comprarlo en bolsa), o sobrecontratarse en un 20% (dejar este porcentaje para venderlo en bolsa).

Por su parte λ se interpreta como el factor de credibilidad que tiene el agente en el sistema de inferencia, y en el mercado en sí. En este sentido el aprendizaje, tal como se expone más adelante, consiste en encontrar el valor óptimo de ese grado de credibilidad, que le asegura al agente obtener las mayores utilidades posibles en el largo plazo dado su perfil de riesgo. De esta manera, retomando el ejemplo del párrafo anterior, podría tenerse que para un período determinado correspondiente a un mes de invierno, el factor recomendado sea 0.7 y el valor de λ sea 0.8, por lo que el factor resultante sería:

Es decir, que la decisión para ese período sería contratar el 74% de su demanda.

Un conjunto de señales escalares de refuerzo R: En este caso la señal de refuerzo corresponde a la diferencia entre la ganancia

obtenida por el agente al haber tomado la acción a y la ganancia que hubiera obtenido si tuviera la posibilidad de escoger la mejor acción, es decir, si tuviera la información a priori de los precios de bolsa y de contratos, y hubiera actuado consecuentemente con dicha información.

Para calcular estas ganancias se calcula la diferencia entre la utilidad obtenida con un esquema de contratación al 100% y la obtenida con el esquema de contratación correspondiente. Formalmente, puede decirse que la utilidad obtenida con la estrategia óptima en un periodo t (UEO _t) es:

Para calcular las compras en contratos de la estrategia 100% basta con multiplicar la demanda por el precio de contratos. En cambio, para calcular las compras en contratos, las compras en bolsa y las ventas en bolsa de la estrategia óptima, es necesario partir del supuesto que se conocen los precios de contratos y de bolsa del período correspondiente, y por tanto se definen con base en la diferencia real entre tales precios de la siguiente manera:

De la misma manera, para calcular la utilidad obtenida con la estrategia empleada en un período t (UEE _t) es:

De esta forma, la señal de refuerzo puede definirse como:

UEO _t / UEE _t

En este caso, las compras en contratos, las compras en bolsa y las ventas en bolsa de la estrategia empleada, se calculan con base en el factor de contratación elegido de la siguiente manera:

Función de entrada I: Para este modelo se asume que no hay distorsión entre la respuesta del entorno y la percepción que de ésta tiene el agente, y por lo tanto I corresponde a la función identidad, es decir, F(x)=x.

Modificación del comportamiento B: Para el mecanismo propuesto, la modificación del comportamiento se refiere a la actualización de λ a partir de la señal de refuerzo obtenida. En este caso dicha modificación se modela como el valor en que se aumenta o disminuye λ, calculado por medio de una función que es inversamente proporcional a la señal de refuerzo. Es decir, si la diferencia entre la ganancia obtenida en el tiempo t respecto a la máxima ganancia que se hubiera tenido dado el perfil de riesgo es cercana a cero, esto significa que la estrategia elegida es buena, y por tanto el valor de λ no debería alterarse. Por el contrario, si esa diferencia es amplia, λ debería alterarse considerablemente. En este sentido, la variable δ que se interpreta como el tamaño de paso del algoritmo, actúa como un delta de la ganancia a obtener.

Más formalmente, tal modificación en un período t se realiza de la siguiente manera: