Neurobiologia dos efeitos de expectativa e omissão de reforço sobre o comportamento*

JOSÉ LINO OLIVEIRA BUENO**
DANIELLE MARCILIO JUDICE-DAHER***
TATIANE FERREIRA TAVARES****

* Correspondência: José Lino Oliveira Bueno, Departamento de Psicologia, Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto, Universidade de São Paulo, Avenida Bandeirantes, 3900, 14049-901 Ribeirão Preto, SP, Brasil, Phone: 55-16-6023697, Fax number: 55-166335668,
e-mail: jldobuen@usp.br

** Filósofo, Livre Docente, Professor Titular em Psicobiologia, Universidade de São Paulo, Brasil.
jldobuen@usp.br

*** Fisioterapeuta, Doutorado, Pós-Doutoranda, Universidade de São Paulo, Brasil.
dadatrabalho@yahoo.com.br

**** Psicóloga, Doutorado, Pós-Doutoranda, Universidade de São Paulo, Brasil.
paratatiane@yahoo.com.br

Para citar este artículo: Bueno, J. L. O., Judice-Daher, D. M., & Tavares, T. F. (2013). Neurobiologia dos efeitos de expectativa e omissão de reforço sobre o comportamento. Avances en Psicología Latinoamericana, 31 (1), pp. 181-191.

Fecha de recepción: 1° de agosto de 2012
Fecha de aceptación: 1° de octubre de 2012

Os efeitos de omissão do reforço têm sido tradicionalmente interpretados em termos de: facilitação comportamental após a omissão do reforço induzida por frustração ou supressão comportamental após a liberação do reforço induzida pelo estado pós-consumatório. Os estudos revisados indicam que a amígdala está envolvida na modulação destes efeitos. Porém, o fato de que lesões da amígdala, amplas ou seletivas, podem eliminar, reduzir ao até mesmo potencializar os efeitos de omissão torna mais difícil compreender qual é a natureza exata do seu envolvimento. A amígdala está relacionada a uma série de funções e cada uma delas depende de suas conexões com outros sistemas cerebrais. Assim, pode haver necessidade de se considerar o envolvimento de uma rede neural mais complexa na modulação dos efeitos de omissão do reforço. A conexão de subáreas da amígdala com estruturas corticais e subcorticais pode estar envolvida nesta modulação, uma vez que também estão ligadas a processos relacionados a recompensas e expectativa.

Palavras-chave: omissão do reforço, complexo basolateral da amígdala, núcleo central da amígdala, expectativa; sinalização de reforço, frustração

The reinforcement omission effects have been traditionally interpreted in terms of: behavioral facilitation after reinforcement omission induced by primary frustration or behavioral suppression after reinforcement delivery induced by postconsummatory states. The studies reviewed here indicate that amygdala is involved in modulation of these effects. However, the fact that amygdala lesions, extensive or selective, can eliminate, reduce and enhance the omission effects makes it difficult to understand how it is the exact nature of their involvement. The amygdala is related to several functions that depend on its connections with other brain systems. Thus, it is necessary to consider the involvement of a more complex neural network in the modulation of the reinforcement omission effects. The connection of amygdala subareas to cortical and subcortical structures may be involved in this modulation since they also are linked to processes related to reward and expectancy.

Keywords: reinforcement omission, basolateral complex of amygdala, central nucleus of amygdala, expectancy, reinforcement signalization, frustration

Los efectos de la omisión de refuerzo han sido tradicionalmente interpretados en términos de facilitación comportamental después de la omisión del refuerzo inducida por la frustración, o de supresión comportamental después de la liberación del refuerzo inducida por el estado posconsumo. Los estudios revisados indican que la amígdala está involucrada en la modulación de estos efectos. Sin embargo, el hecho de que las lesiones generales o selectivas de la amígdala puedan eliminar, reducir, e incluso mejorar los efectos de la omisión, hace que sea difícil entender cuál es la naturaleza exacta de su participación en dicho fenómeno. La amígdala está relacionada con una serie de funciones, cada una de las cuales depende de sus conexiones con otros sistemas cerebrales. Por lo tanto, es necesario considerar la participación de una red neuronal más compleja en la modulación de los efectos de la omisión de refuerzo. Las conexiones de los distintos núcleos de la amígdala con las estructuras corticales y subcorticales pueden estar implicadas en esta modulación, ya que también están vinculadas a procesos relacionados con la recompensa y la expectativa.

Palabras clave: omisión de refuerzo, complejo basolateral de la amígdala, núcleo central de la amígdala, expectativa, señalización de refuerzo, frustración

Quando um animal aprende a esperar a ocorrência de um evento apetitivo (reforço) em uma dada situação, a violação de tal expectativa pode resultar na indução, manutenção, facilitação e supressão de uma variedade de comportamentos. Assim, a omissão não esperada de um reforço resulta em uma série de efeitos que podem coletivamente ser referidos como emocionais e de ativação (arousing) (Papini & Dudley, 1997).

No contexto da psicologia experimental, omissões podem envolver eliminação completa do reforço, eliminação parcial do reforço, redução incompleta da magnitude do reforço ou alteração da qualidade do reforço (Papini & Dudley, 1997). Quando há eliminação parcial do reforço, ou seja, quando um comportamento previamente reforçado deixa de ser reforçado parcialmente, os animais apresentam efeitos da omissão do reforço (EORs).

Os EORs são avaliados através da comparação entre os níveis de uma determinada atividade comportamental após os eventos seguidos de reforço e de omissão de reforço. Observa-se que os níveis comportamentais são mais altos após a omissão do que após a liberação do reforço.

Amsel e Roussel (1952), por exemplo, relataram que ratos correm mais rápido em uma segunda pista imediatamente após a omissão de um reforço na caixa alvo da primeira pista, do que após a apresentação de um reforço nesta mesma caixa alvo. Os autores sugeriram que esta facilitação comportamental após a omissão do reforço seria decorrente de um efeito de frustração, e explicaram-no como uma reação emocional frente à omissão não esperada do reforço. Amsel e Roussel (1952) sugeriram que a facilitação comportamental após a omissão do reforço seria uma garantia de que houve uma ativação do estado emocional do organismo.

A hipótese de que os EORs seriam decorrentes de uma facilitação comportamental ou de uma ativação do estado motivacional do organismo não é apoiada por vários autores. De acordo com Seward, Pereboom, Butler e Jones (1957), os EORs podem aparecer não pelo fato dos animais correrem mais rápido após a omissão do reforço, mas por ele correrem mais devagar após a liberação do reforço. O consumo do alimento (reforço) poderia induzir uma supressão comportamental induzida pelo estado pós-consumatório.

De acordo com Staddon e Innis (1969), os EORs podem ser explicados em termos de efeitos discriminativos de reforçamento. Segundo estes autores, quando animais são submetidos a esquemas periódicos de reforçamento como, por exemplo, esquemas de intervalo-fixo, o padrão comportamental apresentado é uma pausa pós-reforço seguida por um aumento na frequência de resposta até a próxima liberação do reforço. Assim, o animal aprende a responder quando o reforço não está disponível e, por um condicionamento temporal, aprende a não responder no intervalo imediatamente posterior à liberação do reforço. Consequentemente, o reforço adquire propriedades que exercem um controle inibitório temporal no organismo. Deste modo, o aparente aumento nas taxas de respostas seguidas da omissão do reforço seria o resultado da remoção das propriedades inibitórias do reforço que exercem este controle e não decorrentes de processos motivacionais; os animais simplesmente continuam com taxas de respostas elevadas durante o próximo intervalo (Matzel, 1985; Staddon & Innis, 1969). De acordo com Staddon (1974), o controle inibitório temporal dependeria de processamentos relacionados à atenção e à memória: a representação codificada de experiências passadas afeta a atenção seletiva, que opera num contexto temporal composto por estímulos intercalados, tais como reforçamento e não-reforçamento.

Assim, enquanto alguns autores concordam que os EORs são decorrentes da frustração e, portanto, de uma condição motivacional, outros autores sugerem que os processos envolvidos não podem ser atribuídos exclusivamente a componentes motivacionais, e que podem estar associados a processos mnemônicos e atencionais. Nesta perspectiva, Bueno (1977) realizou um experimento para examinar os EORs sobre o repertório comportamental de ratos num contexto de reforço não-contingente. Cada tentativa consistiu da apresentação de 20 seg de um estímulo sonoro e na liberação do reforço no 19° seg da apresentação do estímulo. Quando o reforçamento parcial foi introduzido, a análise do repertório comportamental durante os períodos sinal e pós-sinal, após a liberação do reforço, mostrou que os ratos apresentaram um aumento da freqüência de respostas dirigidas ao bebedouro e uma diminuição das respostas do tipo exploratórias. Por outro lado, a análise do repertório comportamental durante o período pós-sinal, após a omissão do reforço, mostrou que os ratos apresentaram níveis de atividade do tipo exploratório maiores que aqueles apresentados nos períodos pós-sinal após a liberação do reforço. Portanto, após a omissão do reforço, os ratos não apresentaram um aumento de respostas dirigidas ao bebedouro, nem continuaram a responder como antes do reforçamento. Segundo Bueno (1977), estes efeitos não podem ser apontados por um mesmo índice genérico de estado motivacional, uma vez que podem estar se referindo a fenômenos motivacionais distintos, que exigem análise específica. Deste modo, parece que há necessidade de se considerar tanto as propriedades motivacionais e emocionais quanto as propriedades atencionais para a compreensão dos EORs.

Como os EORs foram descritos como decorrentes de estados motivacionais e /ou emocionais, vários pesquisadores investigaram o papel de estruturas do sistema límbico na modulação dos EORs (Henke, 1974, 1977; McDonough & Manning, 1979). Entretanto, o envolvimento da amígdala nos ROEs, em especial, tem atraído o interesse de um maior número de estudos (Bueno, Judice-Daher, & Tavares, 2010, 2012; Henke, 1973, 1977; Henke & Maxwell, 1977; Judice-Daher, Tavares, & Bueno, 2012; McDonough & Manning, 1979). Assim, nos estudos revisados aqui, os efeitos das lesões da amígdala sobre os EORs serão enfatizados.

O envolvimento da amígdala nos EORs tem sido demonstrado há décadas. A maioria dos resultados dos estudos mais antigos (Henke 1973, 1977; Henke & Maxwell, 1973) mostrou que a lesão de todo o complexo amigdaloide elimina os EORs. Henke e Maxwell (1973) e Henke (1977), por exemplo, mostraram que ratos com lesão do complexo amigdaloide, ao contrário de ratos com lesões fictícias da amígdala, não exibiram um aumento da velocidade da corrida na segunda pista após a omissão do reforço na primeira caixa-alvo. Assim, Henke e Maxwell (1973) sugeriram que lesões bilaterais na amígdala eliminam o efeito de frustração, como definido por Amsel e Roussel (1952).

Resultados semelhantes aos de Henke (1977) e Henke e Maxwell (1973) foram mostrados por Henke (1973) a partir de um estudo envolvendo procedimentos de condicionamento operante. O efeito da lesão do complexo amigdaloide sobre os EORs foram avaliados em ratos submetidos a esquemas de intervalo-fixo (FI 120 seg; Experimento 1) e a esquemas de razão-fixa (FR 25; Experimento 2). Os resultados do Experimento 1 mostraram que os ratos lesados responderam de uma maneira similar nos intervalos seguidos de reforço e de omissão do reforço, enquanto os ratos do grupo com lesões fictícias da amígdala apresentaram um aumento significativo das taxas de respostas nos intervalos seguidos de omissão. Similarmente, os resultados do Experimento 2 mostraram que os ratos do grupo com lesões fictícias da amígdala, mas não os ratos do grupo com lesão do complexo amigdaloide, apresentaram um aumento das taxas de respostas durante o período de intervalo vazio (timeout) imediatamente após a omissão do reforço. Segundo Henke (1973), estes dados indicam que o efeito motivacional imediato após a omissão do reforço foi maior nos ratos do grupo controle do que nos ratos lesados, o que indica que a lesão no complexo amigdaloide reduz o vigor do desempenho normalmente ocorrido imediatamente após a omissão do reforço.

Apesar dos estudos de Henke (1973, 1977) e Henke e Maxwell (1973) terem mostrado que ratos com lesão do complexo amigdaloide eliminaram os EORs, outros estudos não encontraram os mesmos resultados. No estudo de McDonough e Manning (1979), os EORs foram avaliados em ratos com lesão do complexo amigdaloide submetidos a um esquema de intervalo-fixo (FI 60 seg) sinalizado. Os resultados mostraram que os ratos do grupo lesado tiveram taxas de respostas mais altas nos intervalos seguidos da omissão do reforço do que nos seguidos da liberação do reforço, até mais que os ratos do grupo com lesões fictícias da amígdala. Entretanto, segundo os próprios autores, esta resposta exagerada frente à omissão do reforço exibida pelos animais lesados não é consistente com os resultados e interpretações de estudos anteriormente relatados.

Em geral, a maioria dos estudos que investigaram o papel da amígdala na modulação dos EORs mostrou que amplas lesões eletrolíticas do complexo amigdaloide prejudicam ou eliminam os efeitos de omissão. Estes resultados foram discutidos em termos de frustração e mudanças na motivação, e a ativação da amígdala foi apontada como responsável por tais respostas emocionais/motivacionais.

A visão de um possível bloqueio dos EORs induzido pelas lesões da amígdala se deve a evidências sugerindo o envolvimento desta estrutura na modulação de respostas endócrinas, autonômicas e comportamentais correlacionadas com estados emocionais (Salinas, Parent & McGaugh, 1996). Há muito tempo o complexo amigdaloide é reconhecido como parte de um circuito neural crítico para a emoção (Gallagher & Chiba, 1996).

Embora esteja bem estabelecido o papel da amígdala na aprendizagem emocional (positiva e negativa) e na memória, a natureza exata de seu envolvimento ainda não é totalmente clara. Os estudos envolvendo aprendizagem aversiva propõem que a informação emocional é processada de maneira serial entre o núcleo central (CN) e o complexo basolateral da amígdala (BLA) (LeDoux, 2000). Na amígdala, as conexões partem do BLA (primeiramente do núcleo lateral) e terminam no núcleo central (CN). Os aferentes de informações sobre estímulos condicionados e incondicionados convergem do neocórtex, tálamo e hipocampo para o BLA, onde é feita a associação entre estes estímulos. A informação é processada e transmitida para o CN, o qual fornece vias de saídas diretas pelas quais as associações entre estímulos condicionados e incondicionados transformam-se em respostas apropriadas. Este é o modelo serial das funções de BLA e CN (Everitt, Cardinal, Parkinson, & Robbins, 2003; Sah, Faber, Armentia, & Power, 2003).

Entretanto, há evidências recentes que vão contra a visão de um processamento serial na amígdala. Estudos que investigam o papel da amígdala na aprendizagem apetitiva sugerem que BLA e CN não funcionam serialmente, mas sim independentemente e em paralelo para mediar aspectos distintos do processamento emocional (Balleine & Killcross, 2006). Sugere-se que estas diferentes regiões da amígdala teriam uma função coordenada: elas estabelecem o valor de incentivo de eventos motivacionalmente significantes dentro de domínios funcionais específicos. A função do estímulo relacionado com o reforço, como um incentivo instrumental, é mediada pelo BLA, enquanto a função do estímulo como reforçamento sinalizado é mediada pelo CN. Desta forma, o BLA está envolvido na codificação das propriedades de incentivo dos estímulos incondicionados pavlovianos e das conseqüências instrumentais com base nas características sensórias específicas delas; o CN medeia a influência afetiva geral das propriedades reforçadoras destes eventos (Balleine & Killcross, 2006; Everitt et al., 2003). Nesta perspectiva, tem sido comumente sugerido que o BLA e CN funcionam serialmente na aprendizagem aversiva, mas em paralelo na aprendizagem apetitiva.

De fato, a literatura mais recente que investiga o papel da amígdala na aprendizagem apetitiva tem sugerido uma dissociação funcional entre as diferentes regiões desta estrutura. Muitos estudos têm mostrado que vários aspectos das funções motivacionais no condicionamento pavloviano apetitivo (Holland & Gallagher, 1999; Holland & Gallagher, 2003) e no condicionamento instrumental apetitivo (Balleine, Killcross, & Dickinson, 2003; Wang, Ostlund, Nader, & Balleine, 2005) dependem especificamente do BLA. Notavelmente, nenhuma dessas funções motivacionais adquiridas envolve o CN ou os eferentes do BLA para o CN (Everitt et al., 2003). Por outro lado, existem muitos estudos que mostram que várias tarefas requerem o CN (Holland & Gallagher, 2003; Parkinson, Robbins, & Everitt, 2000), mas não o BLA. Estas evidências sugerem um padrão de organização funcional mais complexo entre estas duas áreas, o que apoia uma visão de processamento paralelo das funções da amígdala no qual as representações armazenadas no CN e no BLA podem afetar o comportamento diretamente, independente das vias aferentes ou eferentes. Assim, o envolvimento do CN e do BLA na aprendizagem apetitiva pode ser dissociado (Everitt et al., 2003).

Segundo Everitt et al. (2003), o comportamento emocional, em muitas circunstâncias, pode ser uma combinação coordenada de processamentos feitos pelos núcleos BLA e CN, refletindo a superimposição de um subsistema amigdalar basolateral filogeneticamente mais recente que codifica e recupera o valor afetivo de estímulos ambientais para direções complexas e respostas de comportamento adaptativo dentro de um sistema filogeneticamente mais antigo, o CN, que apta estruturas corticais a recrutar sistemas motivacionais de incentivo.

Os resultados estudos mais antigos mostraram o envolvimento da amígdala na modulação dos EORs (Henke, 1973, 1977; Henke & Maxwell, 1973). Porém, nestes estudos, as lesões da amígdala foram obtidas por corrente eletrolítica ou freqüência de rádio. Assim, a eliminação dos EORs em ratos com lesões produzidas por estas técnicas poderia ser atribuída tanto ao dano extensivo do complexo amigdaloide quanto à destruição das fibras de passagem (Salinas et al., 1996).

Sabe-se atualmente que as diferentes áreas da amígdala têm papéis distintos na modulação do processamento emocional. Neste contexto, os efeitos de lesões em um núcleo individual da amígdala poderiam ser diferentes daqueles obtidos quando outro núcleo é lesado (Salinas et al., 1996). Assim, estudos mais recentes passaram a explorar os efeitos de lesões mais seletivas da amígdala, como a do CN e a do BLA, sobre os EORs, uma vez que a ativação destas áreas parece estar relacionada a processos aparentemente envolvidos na modulação dos efeitos de omissão.

Bueno et al. (2010) buscaram verificar se os mecanismos subjacentes aos EORs dependeriam das propriedades motivacionais e atencionais atribuídas à ativação do BLA e do CN, respectivamente. Assim, Bueno et al. (2010) examinaram os EORs em ratos com lesões seletivas do CN ou do BLA submetidos a um esquema de intervalo-fixo (FI 60 seg; Experimento 1) e a um esquema de intervalofixo com tempo limitado (limited hold) sinalizados (FI 8 seg LH 2 seg; Experimento 2). No esquema de intervalo-fixo, um tempo mínimo deve transcorrer antes que uma resposta seja reforçada. Em um esquema intervalo-fixo com uma contingência de tempo limitado (limited hold), o reforço está disponível apenas em um período de tempo limitado após transcorrido o FI. Assim, somente a primeira resposta durante o tempo limitado (limited hold) tem como consequência a liberação de reforço (Black, Walters, & Webster, 1972; Catania, 1999). Os resultados do Experimento 1 mostraram que os ratos dos grupos com lesão do CN e com lesão do BLA, assim como os ratos do grupo com lesões fictícias da amígdala, apresentaram um aumento da taxa de resposta nos intervalos seguidos da omissão do reforço. Por outro lado, os resultados do Experimento 2 mostraram que embora os ratos dos grupos com lesão do CN e com lesão do BLA tenham apresentado um aumento da taxa de resposta nos períodos seguidos da omissão do reforço, este aumento foi menor do que aquele apresentado pelos ratos do grupo com lesões fictícias da amígdala. Assim, as lesões seletivas da amígdala interferiram nos EORs quando o reforçamento parcial foi introduzido no esquema de intervalo-fixo com tempo limitado (limited-hold) sinalizado, mas não no esquema de intervalo-fixo. De acordo com Bueno et al. (2010), embora ambos os procedimentos tenham envolvido omissão do reforço, a sinalização extereoceptiva utilizada no Experimento 2 pode ter aumentado a expectativa do reforço. Além disso, a porcentagem do reforçamento omitido foi maior no Experimento 1 (Esquema de Reforçamento 50%) do que no Experimento 2 (Esquema de Reforçamento 25%); uma menor porcentagem de tentativas não reforçadas podem ter aumentado a surpresa da omissão do reforço.

Os resultados de ambos os experimentos do estudo de Bueno et al. (2010) não sugeriram uma dupla dissociação funcional entre as diferentes áreas da amígdala na modulação dos EORs. De acordo com Bueno et al. (2010), a ausência de diferenças entre o desempenho dos ratos dos grupos com lesão do CN e do BLA após a omissão do reforço não permitiu identificar a associação dos componentes atencionais e motivacionais envolvidos nos EORs à ativação de núcleos específicos da amígdala.

Posteriormente, Bueno e Bernardes (submetido) verificaram os EORs sobre o repertório comportamental de ratos com lesões seletivas do CN ou do BLA num contexto de reforço não-contingente. Foram feitas comparação intra-grupo de cada uma das 9 categorias comportamentais nos períodos após a omissão e após a liberação do reforço. Os resultados mostraram que os EORs foram apresentados em um número maior de categorias comportamentais nos ratos do grupo com lesões fictícias da amígdala (7 de 9 categorias comportamentais). Este número foi menor para ratos do grupo com lesão do CN (6 de 9 categorias), e menor ainda para ratos do grupo com lesão do BLA (5 de 9 categorias). Estes dados sugerem que as lesões do BLA podem ter tornado os ratos menos sensíveis aos EORs.

Mais recentemente, Judice-Daher et al. (2012) buscaram verificar se os mecanismos subjacentes aos EORs dependeriam das diferentes propriedades motivacionais atribuídas à ativação do BLA e do CN. Nestes estudos, as lesões do CN abrangeram uma área maior do que aquela abrangida no estudo de Bueno et al. (2010), no qual as lesões foram concebidas para atingir uma subregião do CN relacionada à atenção (Holland & Gallagher, 2003). Judice-Daher et al. (2012) examinaram se lesões no BLA ou no CN podem interferir nos EORs quando diferentes magnitudes de reforços são utilizadas. As sessões de treino empregaram esquemas de intervalos-fixo com tempo limitado (limited-hold) sinalizados (FI 12 seg LH 6 seg). A resposta correta sempre foi seguida da liberação de uma dentre duas magnitudes de reforço (0.05 ou 0.5 ml de água). Nas sessões de teste, foi introduzida a omissão parcial do reforço. Os resultados mostraram que a taxa de reposta dos ratos dos grupos com lesão do BLA e do CN, assim como a dos ratos de seus respectivos grupos com lesões fictícias do BLA e CN, foi mais alta após a omissão do que após a liberação do reforço de ambas as magnitudes. Estes dados indicam que as lesões do CN e do BLA não eliminaram os EORs. Porém, a taxa de resposta dos ratos dos grupos com lesão do BLA e do CN foi mais alta após a omissão do reforço de menor magnitude do que aquela observada nos ratos de seus respectivos grupos com lesões fictícias do BLA e CN. Assim, as lesões do CN ou do BLA interferiram nos EORs quando o reforço de menor magnitude foi omitido. Os resultados também mostraram que os ratos de todos os grupos experimentais, exceto os ratos do grupo com lesão do BLA, apresentaram uma taxa de resposta mais alta após a omissão do reforço de maior que de menor magnitude. Segundo Judice-Daher et al. (2012), a ausência da variação no desempenho dos ratos com lesão do BLA em função da magnitude do reforço, após a introdução do reforçamento parcial, não parece estar relacionada a um déficit na discriminação entre as duas magnitudes de reforços. Se este fosse o caso, as lesões do BLA teriam prejudicado esta discriminação antes da introdução do reforçamento parcial. Esta hipótese é apoiada por Corbit e Balleine (2005) que mostraram que o efeito da lesão do BLA sobre a desvalorização do reforço não pode ser atribuído à inabilidade dos ratos lesados em discriminar reforços.

Posteriormente, Bueno et al. (2012) verificaram se o comprometimento funcional ligado à ativação ampla ou seletiva da amígdala afeta os EORs, empregando um esquema de intervalo-fixo com tempo limitado (limited-hold) sinalizado (FI 6 seg LH 6 seg). Este estudo mostrou que lesões neurotóxicas amplas da amígdala, envolvendo tanto o CN como o BLA, eliminaram os EORs. Por outro lado, as lesões bilaterais do BLA parecem ter tornado os ratos mais sensíveis à omissão do reforço; as taxas de respostas dos ratos do grupo com lesão do BLA foram mais altas após a omissão do reforço do que aquelas observadas nos ratos do grupo com lesão fictícia do BLA. Os resultados deste estudo também mostraram que lesões bilaterais do CN não interferiram nos EORs. Segundo Bueno et al.(2012), as lesões bilaterais mais extensas da amígdala, envolvendo tanto o CN quanto o BLA, eliminaram os EORs, pois podem ter comprometido um número maior de conexões entre a amígdala e outras estruturas que também pode estar envolvidas na modulação dos EORs; estas conexões podem ter sido preservadas quando o BLA e o CN foram lesados individualmente.

Embora haja divergências entre os resultados obtidos pelos estudos que investigaram o envolvimento seletivo da amígdala nos efeitos de omissão, estes estudos sugerem que a amígdala, em especial o BLA e o CN, pode fazer parte de um circuito cerebral que modula os EORs.

Apesar dos estudos sobre os EORs terem se iniciado há décadas, algumas questões ainda permanecem em aberto. Enquanto alguns autores (Amsel & Roussel, 1952; Henke, 1973, 1977; Henke & Maxwell, 1973; Papini, 2003) apóiam a noção de que os EORs são decorrentes da ativação do estado emocional do organismo e, portanto, de uma condição motivacional, outros autores sugerem que os EORs podem estar associados também a processos mnemônicos e atencionais (Bueno, 1977; Staddon & Higa, 1999; Staddon & Innis, 1969). Apesar de tais dissociações, a motivação tem papel fundamental na atenção, e a direção da atenção pode ter influência significativa no processamento emocional (Holland & Gallagher, 1999).

A hipótese de que os EORs são causados pela facilitação comportamental induzida por uma reação emocional frente à omissão não esperada do reforço não vem sendo apoiada por estudos recentes (Bueno et al., 2012; Judice-Daher et al., 2011, 2012). Judice-Daher et al. (2011), por exemplo, mostraram que as taxas de respostas após a omissão foram maiores do que após a liberação do reforço. No entanto, estas respostas não foram diferentes daquelas observadas no período imediatamente precedente. Portanto, não houve um aumento no vigor do desempenho após o não-reforçamento, este apenas se manteve no nível em que já estava antes da omissão do reforço. Além disso, as taxas de respostas após a liberação do reforço são mais baixas quando comparadas com aquelas registradas nos períodos precedentes à omissão e/ou à liberação do reforço. Estes resultados apóiam a noção de que os EORs são melhor entendidos em termos de supressão comportamental após o reforçamento (Seward et al., 1957) e de que o reforço adquire controle inibitório (Staddon, 1974; Staddon & Innis, 1969).

Embora algumas evidências apóiem cada uma das teorias propostas para se explicar os EORs, nenhuma fornece uma abordagem suficientemente completa. De acordo com Stout, Boughner e Papini (2003) e Stout, Muzio, Boughner e Papini (2002), os EORs podem ser causados tanto pela supressão comportamental após a liberação do reforço quanto pela facilitação comportamental após a omissão do reforço; a extensão com a qual cada processo contribui para os efeitos de omissão depende dos parâmetros do treino. Assim, os EORs podem não ser resultado de um único processo (Judice-Daher et al., 2011).

Os resultados apresentados pela literatura sobre os efeitos da lesão da amígdala, seja de regiões específicas ou do complexo amigdaloide inteiro, sobre os EORs são divergentes. Henke (1973, 1977) e Henke e Maxwell (1973) mostraram que lesões eletrolíticas de todo o complexo amigdaloide eliminaram os EORs. Similarmente, Bueno et al. (2012) mostrou que lesões neurotóxicas seletivas da amígdala, incluindo tanto o BLA quanto o CN, eliminaram os efeitos de omissão. Nesta mesma perspectiva, Bueno et al. (2010) mostraram que lesões seletivas da amígdala, envolvendo o CN ou o BLA, podem reduzir os EORs.

Por outro lado, McDonough e Manning (1979) mostraram lesões eletrolíticas do complexo amigdaloide não eliminaram os EORs, pelo contrário, os ratos lesados responderam mais à omissão do reforço que os ratos do grupo com lesões fictícias da amígdala. Estes resultados foram obtidos por Judice-Daher et al. (2012) e Bueno et al. (2012), porém em ratos com lesões seletivas do BLA. Assim, as lesões da amígdala parecem ter tornado os ratos mais sensíveis aos efeitos de omissão.

Os resultados divergentes apresentados pela literatura em relação aos efeitos da lesão da amígdala sobre os EORs podem estar relacionados a inúmeras variáveis, tais como extensão das lesões, fase experimental em que as lesões foram produzidas, procedimento comportamental empregado, porcentagem do reforçamento omitido e momento em que os EORs são avaliados (ver Tabela 1). Alguns autores já sugeriram que as peculiaridades de cada experimento podem influenciar os resultados.

Apesar da literatura sugerir que o BLA e o CN funcionam independentemente e em paralelo para mediar o processamento emocional durante a aprendizagem apetitiva, os resultados do estudo de Bueno et al. (2010) não sugerem uma dupla dissociação funcional entre as diferentes regiões da amígdala na modulação dos EORs. De acordo com Amsel (1958) e Papini e Dudley (1997), a omissão não esperada de um reforço produz uma reação emocional aversiva com consequências comportamentais e fisiológicas. Inicialmente, a surpresa causada pela omissão do reforço induz um estado interno o qual tem consequências imediatas no comportamento do organismo, agindo como um reforçador negativo (Papini, 2003). Nesta perspectiva, BLA e CN poderiam operar serialmente para mediar os EORs.

Em geral, os estudos aqui revisados indicam que a amígdala está envolvida, de alguma forma, na modulação dos EORs. Porém, o fato de que as lesões da amígdala, amplas ou seletivas, podem eliminar, reduzir ao até mesmo potencializar os EORs torna mais difícil compreender qual é a natureza exata do envolvimento da amígdala nos EORs. A amígdala é responsável por uma série de funções, porém, cada uma delas depende de suas conexões com outras estruturas cerebrais. Portanto, há necessidade de se considerar o envolvimento de uma rede neural mais complexa nos EORs.

A conexão dos diversos núcleos da amígdala com estruturas corticais e subcorticais também parece estar ligada a processos relacionados a recompensas e expectativa. Estudos que medem o nível de ativação de áreas cerebrais em humanos, através da Imagem de Ressonância Magnética Funcional, mostraram que o recebimento de recompensas aumenta a atividade de regiões subcorticais (estriado e amígdala) e corticais (córtex pré-frontal). Por outro lado, a omissão de recompensas reduz o nível da atividade destas mesmas estruturas, a valores negativos (Breiter, Aharon, Kahneman, Dale & Shizgal, 2001; Knutson, Fong, Adams, Varner & Hommer, 2001). Segundo Giertler, Bohn e Hauber (2003, 2005), a amígdala e o córtex pré-frontal codificam o valor de estímulos preditivos e enviam estas informações via projeções glutamatérgicas para o núcleo accumbens. Este também recebe inputs dopaminérgicos vindos da área tegmental ventral e representa a interface entre estruturas do sistema límbico e motor. Portanto, um circuito cerebral que envolve conexões da amígdala com outras estruturas pode estar relacionado aos EORs. Assim, os EORs podem refletir o envolvimento de mais processos e de mais de um sistema neural. Estes efeitos podem ser resultado de vários processos comportamentais e mnemónicos que agem simultaneamente (Salinas & White, 1998).

Estas pesquisas foram financiadas com Bolsa de Produtividade e Auxilio à Pesquisa do CNPq para JLO Bueno, bolsas de Doutorado do CNPq para DM Judice-Daher e da CAPES para TF Tavares, e bolsas de Pós-Doutorado da FAPESP para DM Judice-Daher e para TF Tavares.

Amsel, A. (1958). The role of frustrative nonreward in noncontinuous reward situations. Psychological Bulletin, 55 (2), 102-119.         [ Links ]

Amsel, A. & Roussel, J. (1952). Motivational properties of frustration: I. Effect on a running response of the addition of frustration to the motivational complex. Journal of Experimental Psychology, 43, 363-368.         [ Links ]

Balleine, B. W. & Killcross, S. (2006). Parallel incentive processing: an integrated view of amygdala function. Trends in Neurosciences, 29 (5), 272-279.         [ Links ]

Balleine, B. W., Killcross, S., & Dickinson, A. (2003). The effect of lesions of the basolateral amygdala on instrumental conditioning. The Journal of Neuroscience, 23 (2), 666-675.         [ Links ]

Black, R. E., Walters, G. C., & Webster, C. D. (1972). Fixed-interval limited-hold avoidance with and without signaled reinforcement. Journal of the Experimental Analysis of Behavior, 17, 75-81.         [ Links ]

Breiter, H. C., Aharon, I., Kahneman, D., Dale, A., & Shizgal, P. (2001). Functional imaging of neural responses to expectancy and experience of monetary gains and losses. Neuron, 30, 619-639.         [ Links ]

Bueno, J. L. O. (1977). Efeitos da sinalização e do não-reforçamento sobre o repertório comportamental do rato. Tese de doutoramento não-publicada, Instituto de Psicologia, Universidade de São Paulo, São Paulo, Brasil.         [ Links ]

Bueno, J. L. O., & Bernardes, E. F. O efeito da sinalização e da omissão do reforço no repertório comportamental de ratos com lesões nos núcleo central e complexo basolateral da amígdala. (Artigo submetido).         [ Links ]

Bueno, J. L. O., Judice-Daher, D. M., & Tavares, T.F. (2010). Do amygdala lesions affect the reinforcement omission effect? In 7^th FENS Forum of European Neuroscience: Vol. 5. FENS Forum Abstracts (pp. 596). Netherlands: Federation of European Neuroscience Societies.         [ Links ]

Bueno, J. L. O., Judice-Daher, D. M., & Tavares, T. F. (2012). Role of the amygdala in the reinforcement omission effect. Psychology & Neuroscience, 5 (2), 265-273.         [ Links ]

Bueno, J. L. O., Tavares, T. F., & Judice-Daher, D.M. (2012). Neurotoxic amygdala lesions impair the reinforcement omission effects in rats. In Society for Neuroscience 's 42th Annual Meeting, New Orleans. Washington DC: Society for Neuroscience.         [ Links ]

Catania, A. C. (1999). Aprendizagem: Comportamento, Linguagem e Cognição (4^a ed). Porto Alegre: Artmed.         [ Links ]

Corbit, L. H., & Balleine, B. W. (2005). Double dissociation of basolateral and central amygdala lesions on the general and outcome-specific forms of Pavlovian-instrumental transfer. The Journal of Neuroscience, 25 (4), 962-970.         [ Links ]

Everitt, B. J., Cardinal, R. N., Parkinson, J. A., & Robbins, T. W. (2003). Appetitive behavior: Impact of amygdala-dependent mechanisms of emotional learning. Annals New York Academy Sciences, 985, 233-250.         [ Links ]

Gallagher, M., & Chiba, A. A. (1996). The amygdala and emotion. Current Opinion in Neurobiology, 6, 221-227.         [ Links ]

Giertler, C., Bohn, I., & Hauber, W. (2003). The rat nucleus accumbens is involved in guiding of instrumental response by stimuli predicting reward magnitude. European Journal of Neuroscience, 18, 1993-1996.         [ Links ]

Giertler, C., Bohn, I., & Hauber, W. (2005). Involvement of NMDA and AMPA/KA receptors in the nucleus accumbens core in instrumental learning guided by reward-predictive cues. European Journal of Neuroscience, 21, 1689-1702.         [ Links ]

Henke, P. G. (1973). Effects of reinforcement omission on rats with lesion in the amygdala. Journal of Comparative and Physiological Psychology, 84 (1), 187-193.         [ Links ]

Henke, P. G. (1974). Persistence of runway performance after septal lesions in rats. Journal of Comparative and Physiological Psychology, 86 (5), 760-767.         [ Links ]

Henke, P. G. (1977). Dissociation of frustration effect and partial-reinforcement extinction effect after limbic lesions in rats. Journal of Comparative and Physiological Psychology, 91 (5), 1032-1038.         [ Links ]

Henke, P. G., & Maxwell, D. (1973). Lesions in the amygdala and the frustration effect. Physiology and Behavior, 10, 647-650.         [ Links ]

Holland, P. C., & Gallagher, M. (1999). Amygdala circuitry in attentional and representational processes. Trends in Cognitive Sciences, 3 (2), 65-73.         [ Links ]

Holland, P. C., & Gallagher, M. (2003). Double dissociation of the effects of lesions of basolateral and central amygdala on conditioned stimulus-potentiated feeding and Pavlovian-instrumental transfer. European Journal of Neuroscience, 17, 1680-694.         [ Links ]

Judice-Daher, D. M., Tavares, T. F., & Bueno, J. L. O. (2011) . Influence of the reinforcement magnitude on omission effects. Behavioural Processes, 88 (1), 60-62.         [ Links ]

Judice-Daher, D. M., Tavares, T. F., & Bueno, J. L. O. (2012) . Involvement of the basolateral complex and central nucleus of amygdala in the reinforcement omission effects of different magnitudes. Behavioural Brain Research, 233, 149-156.         [ Links ]

Knutson, B., Fong, G. W., Adams, C. M., Varner, J. L. & Hommer, D. (2001). Dissociation of reward anticipation and outcome with event-related fMRI. NeuroReport, 12, 3683-3687.         [ Links ]

LeDoux, J. E. (2000). The amygdala and emotion: A view through fear. In J. P. Aggleton (Ed.), The amygdala: Neurobiological aspects of emotion, memory, and mental dysfunction (pp. 289-310). New York: Oxford University Press.         [ Links ]

Matzel, L. D. (1985). Signal properties of reinforcement and reinforcement omission on a multiple fixedratio schedule. Animal, Learning and Behavior, 13, 187-193.         [ Links ]

McDonough, J. H. & Manning, F. J. (1979). The effects of lesion in amygdala or dorsomedial frontal cortex on reinforcement omission and noncontingent reinforcement in rats. Physiological Psychology, 7, 167-172.         [ Links ]

Papini, M. R. (2003). Comparative psychology of surprising nonreward. Brain, Behavior and Evolution, 62, 83-95.         [ Links ]

Papini, M. R. & Dudley, T. (1997). Consequences of surprising reward omissions. Review of General Psychology, 1, 175-197.         [ Links ]

Parkinson, J. A., Robbins, T. W. & Everitt, B. J. (2000). Dissociable roles of the central and basolateral amygdala in appetitive emotional learning. European Journal of Neuroscience, 12 (1), 405-413.         [ Links ]

Sah, P., Faber, E. S. L., Armentia, M. L. & Power, J. (2003). The amygdaloid complex: anatomy and physiology. Physiological Review, 83, 803-834.         [ Links ]

Salinas, J. A., Parent, M. B. & McGaugh, J. L. (1996). Ibotenic acid lesions of the amygdala basolateral complex or central nucleus differentially effect the response to reductions in reward. Brain Research, 742, 283-293.         [ Links ]

Salinas, J. A. & White, N. M. (1998). Contributions of the hippocampus, amygdala, and dorsal striatum to the response elicited by reward reduction. Behavioral Neuroscience, 112 (4), 812-826.         [ Links ]

Seward, J. P., Pereboom, A. C., Butler, B., & Jones, R. B. (1957). The role of prefeeding in an apparent frustration effect. Journal of Experimental Psychology, 54, 445-450.         [ Links ]

Staddon, J. E. R. (1974). Temporal control, attention, and memory. Psychological Review, 81 (5), 375-391.         [ Links ]

Staddon, J. E. R. & Higa, J. J. (1999). Time and memory: Towards a pacemaker-free theory of interval timing. Journal of the Experimental Analysis of Behavior, 71, 215-251.         [ Links ]

Staddon, J. E. R. & Innis, N. K. (1969). Reinforcement omission on fixed-interval schedules. Journal of the Experimental Analysis of Behavior, 12, 689-700.         [ Links ]

Stout, S. C., Boughner, R. L. & Papini, M. R. (2003). Reexamining the frustration effect in rats: Aftereffects of surprising reinforcement and nonreinforcement. Learning and Motivation, 34, 437-456.         [ Links ]

Stout, S. C., Muzio, R. N., Boughner, R. L. & Papini, M. R. (2002). Aftereffects of the surprising presentation and omission of appetitive reinforcers on key-pecking performance in pigeons. Journal of Experimental Psychology: Animal Behavior Processes, 28 (3), 242-256.         [ Links ]

Wang, S., Ostlund, S. B., Nader, K. & Balleine, B. W. (2005). Consolidation and reconsolidation of incentive learning in the amygdala. The Journal of Neuroscience, 25 (4), 830-835.         [ Links ]