Prendendo spunto dalle evidenze sperimentali circa il comportamento oscillatorio di alcune strutture del sistema nervoso, quali ad esempio il sistema talamo-corticale, il presente lavoro si prefigge lo scopo di indagare il comportamento dinamico di alcuni sistemi neurali artificiali realizzati in funzione di parametri che risultano fondamentali nella messa in scena delle variabili implicate nei sistemi biologici originali. A tal proposito, dopo una breve presentazione delle evidenze sperimentali acquisite nello studio dei ritmi del cervello, la prima parte del lavoro presenta alcune simulazioni effettuate su modelli di reti neurali in grado di attivare diversi comportamenti oscillatori che vanno dal lineare al periodico o quasiperiodico fino alle dinamiche tipiche del caos deterministico. Nella seconda parte, prendendo spunto dalla organizzazione strutturale del sistema talamocorticale, i modelli precedentemente studiati vengono organizzati in metamodelli ad architettura gerarchica o simmetrica al fine di esplorare la possibilità dell'emergenza di comportamenti oscillatori regolari e coerenti. Nella terza parte si è cercato di studiare l'apprendimento di una rete neurale Error Back Propagation (EBP) nel riconoscimento e nella anticipazione di segnali caotici risultanti dall'attività dei modelli precedentemente studiati. Infine, tenendo conto sia dei risultati sperimentali osservati che dell'ormai abbondante quantità dei lavori teorici sul campo, vengono discusse alcune ipotesi circa il ruolo funzionale delle dinamiche caotiche nell'attività nervosa e mentale del cervello.

1. Corso di Perfezionamento
“Psicologia Cognitiva e Reti Neurali”
Università di Roma “La Sapienza”
a.a. 1994-1995
Martorelli Luigino
Emergenza di configurazioni in sistemi neurali caotici
Tutor Cotutor
Prof. Valerio Cimagalli1
Vilfredo D Pascalis2
1 Università degli Studi di Roma "La Sapienza" - Dipartimento di Ingegneria Elettronica
2 Università degli Studi di Roma "La Sapienza" - Dipartimento di Psicologia

2. EMERGENZA DI CONFIGURAZIONI IN SISTEMI NEURALI CAOTICI
Abstract
Prendendo spunto dalle evidenze sperimentali circa il comportamento oscillatorio di alcune
strutture del sistema nervoso, quali ad esempio il sistema talamo-corticale, il presente
lavoro si prefigge lo scopo di indagare il comportamento dinamico di alcuni sistemi neurali
artificiali realizzati in funzione di parametri che risultano fondamentali nella messa in scena
delle variabili implicate nei sistemi biologici originali. A tal proposito, dopo una breve
presentazione delle evidenze sperimentali acquisite nello studio dei ritmi del cervello, la
prima parte del lavoro presenta alcune simulazioni effettuate su modelli di reti neurali in
grado di attivare diversi comportamenti oscillatori che vanno dal lineare al periodico o
quasiperiodico fino alle dinamiche tipiche del caos deterministico.
Nella seconda parte, prendendo spunto dalla organizzazione strutturale del sistema
talamocorticale, i modelli precedentemente studiati vengono organizzati in metamodelli ad
architettura gerarchica o simmetrica al fine di esplorare la possibilità dell'emergenza di
comportamenti oscillatori regolari e coerenti.
Nella terza parte si è cercato di studiare l'apprendimento di una rete neurale Error Back
Propagation (EBP) nel riconoscimento e nella anticipazione di segnali caotici risultanti
dall'attività dei modelli precedentemente studiati.
Infine, tenendo conto sia dei risultati sperimentali osservati che dell'ormai abbondante
quantità dei lavori teorici sul campo, vengono discusse alcune ipotesi circa il ruolo
funzionale delle dinamiche caotiche nell'attività nervosa e mentale del cervello.
2

3. 1. INTRODUZIONE
Negli ultimi trenta anni, a partire dagli studi di Lorenz nel 1963, si è assistito ad una
notevole proliferazione di studi sui sistemi dinamici complessi in quasi tutte le discipline
scientifiche. Anche nell'approccio connessionista allo studio della mente si è realizzato un
progressivo aumento di interesse verso i comportamenti dinamici di sistemi al di là dei cicli
limite. Sono apparsi così i lavori di Babloyantz (1981; 1985; 1986) sui segnali EEG nei
diversi stati di vigilanza o il bellissimo lavoro di Skarda & Freeman (1987) sulla emergenza
dal caos di dinamiche dotate di maggiore stabilità in seguito ad apprendimento o
riconoscimento di tratti significativi dell'ambiente. Al di là delle differenze di stile e di
obiettivi, la maggior parte delle ricerche realizzate fino ad oggi sui ritmi del cervello ha
permesso lo sviluppo di tre aspetti fondamentali:
i) A livello cellulare, è ormai accettato che alcuni tipi di cellule presentano intrinseche
proprietà oscillatorie, e che queste attività sottendono i ritmi EEG;
ii) Nelle simulazioni con sistemi neurali artificiali si evidenzia il comportamento oscillatorio,
caotico o meno, di diversi circuiti neurali (ad es. le strutture talamo-corticali e, di rimando,
le cortico-talamiche), coinvolti nei diversi fenomeni mentali (ciclo sonno-veglia,
comportamenti attentivi, apprendimento ecc.);
iii) A livello teorico si hanno svariati studi sulla possibilità che le reti si comportino come
sistemi dinamici complessi con proprietà del caos deterministico.
Prendendo spunto da questi tre aspetti, e tenendo presenti le rispettive evidenze
sperimentali, il presente lavoro si prefige fondamentalmente tre obiettivi:
1) Investigare le condizioni ed i fattori di emergenza di dinamiche caotiche o periodiche in
piccoli sistemi neurali, realizzati con solo tre unità di attivazione, osservando la loro
traiettoria evolutiva in funzione di tre variabili principali, cioè:
a) il ruolo delle soglie interne dei neuroni;
b) la competizione tra connessioni eccitatorie ed inibitorie;
c) il ruolo del rientro dell'attivazione o feedback .
2) Studiare la dinamica di questi sistemi in interazione tra loro.
Si tratta cioè di osservare il ruolo del rientro non solo tra unità dello stesso sistema ma
anche tra unità di sistemi distinti;
3

4. 3) Osservare il comportamento di una rete neurale a Error Back Propagation (EBP) nel corso
dell'apprendimento di un segnale caotico risultante dalla attività dei suddetti sistemi.
Poiché i modelli ed i risultati delle sperimentazioni effettuate sono stati fortemente
influenzati dalle evidenze sperimentali acquisite in relazione ai tre aspetti fondamentali
sopraelencati, cercherò di esplicitare meglio le informazioni ed i dati che più mi hanno
indirizzato nella realizzazione e nella interpretazione delle esperienze di simulazione.
2. LIVELLO CELLULARE DI ANALISI
Per quanto attiene il livello cellulare di analisi, particolarmente interessanti sono le
proprietà dei neuroni reticolari-talamici (RE).
Questi, insieme alle cellule del sistema talamo-corticale (TCR), formano il principale
sistema neurale talamico responsabile della generazione di segnali fusiformi.
I neuroni reticolo-talamici (RE) presentano due fondamentali stati di attivazione, cioè uno
stato tonico, ed uno ad improvvisi scoppi. Evidenze sperimentali (Jahnsen & Llinas, 1984)
hanno mostrato che questi neuroni sono in grado di attivarsi ritmicamente in assenza di
input esterni. Essi quindi si comporterebbero come degli oscillatori-pacemaker per altre
strutture dell'encefalo.
Per quanto riguarda invece l'attività dei neuroni del sistema talamo-corticale (TCR) diversi
studi si sono orientati a studiare il ruolo di questa struttura durante i primi stadi del sonno,
quando essa mostra un'attività di tipo fusiforme. Questa attività oscillatoria compare nella
maggior parte dei mammiferi con una frequenza di circa 7-14 Hz., formando dei fusi della
durata di circa 1.5-2 sec. i quali ricorrono con periodo irregolare ogni 5-10 sec. (Lopes da
Silva, 1991).
Si è potuto verificare (Steriade, 1985) che questo tipo di attività oscillatoria della struttura
talamo-corticale non insorge quando la si deconnette dai nuclei del sistema reticolare-
talamico, e questo mostra che la connessione tra queste due strutture è fondamentale ai fini
della corretta attività del sistema talamo-corticale. Altri studi hanno permesso di indagare
il peso di diverse variabili quali ad esempio l'intensità del segnale, l'entità delle connessioni
e delle soglie, nella insorgenza dell'attività oscillatoria dei due sistemi RE e TCR.
In sintesi si può dire che la frequenza delle oscillazioni dipende fortemente dalle proprietà
di membrana delle singole unità, sia dai potenziali di membrana che dalla forza delle
interazioni sinaptiche. Naturalmente questa è solo una schematizzazione dell'attività
congiunta di queste due strutture (RE & TCR). Altre vie ed altre strutture influiscono, sia pur
in misura minore, nella insorgenza delle oscillazioni caratteristiche di queste strutture
talamiche.
4

5. Proiezioni colinergiche, ad esempio, hanno una serie di effetti sulla iperpolarizzazione delle
cellule RE, mentre il contributo degli input portati dalle fibre noradrenergiche determinano
un aumento della frequenza nei segnali di attivazione delle cellule TCR. Tuttavia ciò che mi
sembra importante, nell'ambito di questo lavoro, è il fatto che l'attività oscillatoria di due
strutture talamiche (RE & TCR) formi un unico sistema autorganizzato che, grazie alle
dinamiche di rientro del segnale e di competizione tra stati di iperpolarizzazione e
depolarizzazione delle membrane, sia in grado di generare stati di oscillazione che sono in
relazione ai livelli di vigilanza. Peraltro l'organizzazione delle relazioni strutturali tra il
talamo e la corteccia (Lopes da Silva, 1980) rivela la fondamentale importanza dell'attività
oscillatoria dei neuroni talamici le cui proiezioni sulle aree corticali sono alla base
dell'insorgenza di ritmi alfa correlati agli stati attentivi coscienti.
Sono stati fatti diversi studi sperimentali per valutare il peso delle proiezioni talamiche
nella insorgenza di comportamenti oscillatori coerenti nella corteccia. Tuttavia questo
rimane un campo estremamente difficile da investigare sperimentalmente a causa degli
effetti incontrollati prodotti sia dalle tecniche invasive (deafferentazione talamica ecc...),
che dai farmaci utilizzati durante gli esperimenti quali ad esempio barbiturici o vari altri
sistemi di anestesia. Esistono dei tentativi di valutazione basati su modelli teorici statistici,
quali ad esempio il "Theoretical Thalamic Deafferentation" di Lopes da Silva (1980), ma
questi portano con sé l'inevitabile tasso di incertezza riguardo alle reali condizioni biofisiche
del sistema oggetto di studio.
Dopo questa breve schematizzazione del problema credo quindi sia pertinente, nell'ambito
dell'approccio connessionista, uno studio sperimentale che si ponga come obiettivo quello
di analizzare il comportamento oscillatorio di alcuni modelli di rete neurale costruiti sulla
base delle variabili fondamentali che caratterizzano i comportamenti oscillatori dei sistemi
di cui sopra. Questo spiega in parte la formulazione dei primi due punti in cui si suddivide
questo lavoro, cioè:
1) Investigare le condizioni ed i fattori di emergenza di dinamiche caotiche o periodiche in
piccoli sistemi neurali, realizzati con solo tre unità di attivazione, osservando la loro
traiettoria evolutiva in funzione di tre variabili principali, cioè:
a) il ruolo delle soglie interne dei neuroni;
b) la competizione tra connessioni eccitatorie ed inibitorie;
c) il ruolo del rientro dell' attivazione, o feedback .
2) Studiare la dinamica di questi sistemi in interazione tra loro.
5

6. Il terzo punto invece, quello relativo al comportamento di una rete neurale EBP
nell'apprendimento di un segnale caotico, riguarda la questione dell'apprendimento da
parte di un sistema neurale a riconoscere ed anticipare una dinamica. E' una questione non
banale in quanto il nostro sistema nervoso non ha solo il compito di riconoscere oggetti più
o meno regolari, cioè dotati di un alto tasso di figuratività e di ridondanza, ma anche quello
di riconoscere ed anticipare stati di attivazione interna molto complessi legati ad eventi
quali ad esempio gli stati attentivi.
Il presente lavoro sperimentale non ha la pretesa di realizzare un modello o un paradigma
per la generazione di stati, quali il ritmo alpha o l'insorgenza di attività oscillatorie della
corteccia e del talamo sottesi a diversi eventi mentali. Il lavoro si pone ad un livello
puramente esplorativo riguardo al comportamento dinamico di sistemi neurali regolati da
parametri che risultano verosimili nella messa in scena delle variabili fondamentali
implicate nei sistemi biologici originali.
3. DESCRIZIONE DEI MODELLI
Il primo modello di rete è costituito da tre neuroni ad attivazione non lineare. Non è
presente nessun algoritmo di aggiornamento dei pesi sinaptici, mentre l'architettura della
rete è quella riportata di seguito :
fig.1
La dinamica della rete è determinata dalle seguenti equazioni:
1) U1 (t+dt) = F1 [ W1 U2 (t) + W2 U3 (t) ] ;
2) U2 (t+dt) = F2 [ U1 (t) ] ;
3) U3 (t+dt) = F3 [ U1 (t) ] ;
6

7. dove F è la funzione sigmoide di attivazione nella forma:
4) Fi (V)= ( 1 + exp [-Bi ( V – Thi )] )-1 ;
con Bi una costante opportunamente scelta, mentre Thi e V sono rispettivamente la soglia
relativa alla i-esima unità e la sommatoria dei contributi pesati delle attivazioni. Questo
tipo di modelli sono stati oggetto di precedenti studi (F.Chapeau-Blondeau & G.Chauvet,
1992). Utilizzando come variabili indipendenti i parametri Bi Thi e Wi è possibile osservare
diversi titpi di comportamento dinamico della rete, dagli stati stabili o quasi periodici fino ai
regimi caotici.
I fattori che maggiormente influiscono sulle dinamiche emergenti, fissati i parametri Bi ,
sono le soglie Thi , la rottura di simmetria nei pesi W1 e W2 e il ritardo nella trasmissione del
segnale.
Nelle prove sperimentali ho scelto di discretizzare il tempo di ritardo secondo un rate di
dt=1. Da un punto di vista neurobiologico la discretizzazione del tempo di scarica potrebbe
emergere dai ritardi di trasmissione che avvengono tra i neuroni lungo determinati circuiti.
Le variazioni sinaptiche infatti potrebbero facilmente indurre ritardi nella risposta di
attivazione tra neuroni. La discretizzazione del tempo in queste condizioni potrebbe essere
vista come una media a breve termine nella frequenza di spike che un neurone genera come
conseguenza delle attivazioni ricevute in un qualche dt. Modelli con tempi di evoluzione
discretizzati sono stati adottati in diverse sperimentazioni (Hopfield, 1982) fornendo
risultati interessanti nella messa in scena di dinamiche diverse.
In questo lavoro, oltre a ripercorrere alcune di queste prove sperimentali, ci si prefige lo
scopo di osservare l'insorgenza di diversi regimi oscillatori nella interazione di due sistemi
tra loro, in condizioni di connessione sia simmetrica che asimmetrica. L'architettura dei
modelli utilizzati per questo tipo di prove sperimentali è riportata più avanti.
L'evoluzione dei regimi oscillatori, nei modelli isolati e in interazione, è stata studiata sia in
condizioni di non variabilità dei parametri (Bi,Thi e Wi fissi), sia in condizioni di variabilità dei
soli pesi W2 e delle soglie Thi.
Nei modelli isolati, si tratta di osservare l'emergenza di diversi stati dinamici come
conseguenza della competizione tra pesi eccitatori e pesi inibitori e come conseguenza del
ritardo nella trasmissione dell'attivazione tra unità distinte.
Nei sistemi interattivi invece lo scopo è quello di osservare l'influenza tra sistemi dotati di
diversi regimi oscillatori, sia in situazione di connessione gerarchica o asimmetrica che in
situazioni di connessione simmetrica tra i sistemi, e questo nelle due condizioni di stabilità e
cambiamento dei parametri critici (Bi ,Thi e Wi) durante il tempo di interazione.
7

8. Come accennato nella breve discussione degli aspetti cellulari, lo studio dei sistemi isolati è
utile al fine di verificare le possibilità, anche in sistemi neurali semplici, della emergenza di
diversi regimi oscillatori che potrebbero fungere da pacemaker per altre strutture neurali.
L'osservazione del comportamento risultante dalla interazione di due sistemi trova invece
giustificazione nelle evidenze sperimentali circa la connessione fisiologica e funzionale di
alcune strutture del sistema nervoso (ad es. le relazioni tra i nuclei della sostanza reticolare
e le strutture talamocorticali).
4. RISULTATI SPERIMENTALI
4.1. COMPORTAMENTO DEL MODELLO ISOLATO
La prima prova sperimentale si è concentrata sulla osseravazione del comportamento
oscillatorio del sistema in funzione della competizione tra connessioni eccitatorie e
connessioni inibitorie.
Tenendo fissi i parametri Bi , Thi e W1 , ed usando un criterio per il ritardo dell'attivazione di
dt=1, ho scelto la W2 come variabile indipendente facendola variare, con un rate di
dW2=0.00001, prima nell'intervallo 0>W2>-1 , quindi nell'intervallo -1>W2>-10.
I valori per i restanti parametri sono stati fissati a:
B1=7; B2=7; B3=13; Th1=0.5; Th2=0.3; Th3=0.7; W1=1.
In queste condizioni il sistema ha mostrato un comportamento oscillatorio estremamente
interessante. Utilizzando un sistema di rappresentazione grafica (fig.2) è stato possibile
effettuare una prima valutazione qualitativa della dinamica del sistema.
8

9. Nell'intervallo [0, -.8] il sistema mostra un comportamento tipico di molti sistemi caotici
quali ad esempio la funzione logistica X t+1 = X t k (1- X t ) al variare del fattore k
nell'intervallo 0 < k < 4. Al variare di W2 il sistema passa da un comportamento
caratterizzato da uno stato stabile, per W2>-4 ,ad un comportamento oscillatorio di periodo
2 (prima biforcazione) per -5.8 < W2 < -.4.
Per W2<-5.8 si può chiaramente osservare il passaggio ad un regime oscillatorio di periodo
4 (seconda biforcazione) quindi, appena oltre, alla insorgenza di oscillazioni di periodo 8 in
rapida successione portano il sistema in un regime caotico. La regione ad attivazione
caotica è interrotta da brevi tratti di comportamento oscillatorio periodico, ma il
comportamento della rete, nell'intervallo -1<W2<-.6, è decisamente caotico.
Per valori W2<-1 il sistema continuerà a mostrare il tipico comportamento del caos
deterministico, fino a raggiungere regimi più stabili per valori W2<-5.
Per W2<-8 il sistema torna ad un comportamento stabile mostrando una debolissima
attivazione.
9

10. Nelle tavole 1a-1b sono riportati alcuni grafici che mostrano in dettaglio l'attività
oscillatoria dell'unità U1 in corrispondenza di diversi valori della connessione W2 .
In corrispondenza del valore di connessione W2=-.8 il calcolo della dimensione di
correlazione, con il metodo di Grassberger & Procaccia (1983), per il segnale risultante è di
Dc=(0.96 + 0.03), mentre con W2=-5 risulta Dc =(0.93 + 0.01).
10

11. 11

12. 4.2 COMPORTAMENTO DEI MODELLI IN INTERAZIONE
Utilizzando modelli come quelli riportati sopra (fig.1), dotati di più o meno unità, con diversi
tempi di ritardo nella trasmissione del segnale, è possibile effettuare numerose
sperimentazioni. Tuttavia, in questo lavoro, mi sono limitato ad indagare l'interazione di
due sistemi con identica architettura utilizzando come variabili sperimentali la connessione
simmetrica o asimmetrica dei sistemi, eccitatoria o inibitoria, ed il valore delle rispettive
connessioni W2 . Riporto di seguito nelle figure 3a-3b l'architettura dei modelli utilizzati per
le prove sperimentali.
Per tutti i modelli, sia a connessione simmetrica che asimmetrica, il valore della connessione
è stato posto uguale W i = 1. Poiché questi modelli sono stati costruiti utilizzando come
modulo il sistema isolato originale, di cui abbiamo già potuto osservare le principali
caratteristiche oscillatorie, tutti gli altri parametri sono rimasti invariati. Con riferimento alle
equazioni 5-16 , si avrà:
B'1 = B1=7; Th'1 = Th1 = 0.5;
B'2 = B2=7; Th'2 = Th2=0.3;
B'3 = B3=13; Th'3 = Th3=0.7;
W'1 = W1=1.
12

13. Le prove sperimentali sono state condotte utilizzando come variabile sperimentale la
connessione critica W2 dei sottosistemi ed osservando il loro comportamento durante l'
interazione. Le equazioni che descrivono il comportamento del modello asimmetrico o
gerarchico (fig. 3a) sono:
5) U1 (t+dt) = F1 [ W1 U2 (t) + W2 U3 (t) + U'1 (t) ] ;
6) U2 (t+dt) = F2 [ U1 (t) ] ;
7) U3 (t+dt) = F3 [ U1 (t) ] ;
8) U'1 (t+dt) = F1 [ W1 U'2 (t) + W'2 U'3 (t) ] ;
9) U'2 (t+dt) = F2 [ U'1 (t) ] ;
10) U'3 (t+dt) = F3 [ U'1 (t) ] ;
per il modello a connessione simmetrica tra i sottosistemi (fig. 3b) si avrà:
11) U1 (t+dt) = F1 [ W1 U2 (t) + W2 U3 (t) + U'1 (t) ] ;
12) U2 (t+dt) = F3 [ U1 (t) ] ;
13) U3 (t+dt) = F3 [ U1 (t) ] ;
14) U'1 (t+dt) = F1 [ W1 U'2 (t) + W'2 U'3 (t) + U1 (t)] ;
15) U'2 (t+dt) = F2 [ U'1 (t) ] ;
16) U'3 (t+dt) = F3 [ U'1 (t) ] ;
La F è la funzione sigmoide nella forma:
Fi (V)= ( 1 + exp [-Bi ( V - Thi )] )-1 .
Per quanto riguarda il modello gerarchico (eq. 5-10) si è assistito a diversi tipi di
comportamento oscillatorio del sistema Sp in interazione con Si , in funzione dei valori delle
connessioni critiche W2 e W'2.
Nelle tavole 2a-2b vengono riportati dei tracciati relativi ad alcune simulazioni.
Con riferimento alla Tav.2a, il primo tracciato in alto si riferisce ad una simulazione
effettuata con i pesi W2=-5 e W'2=-.5, rispettivamente per i sottosistemi Sp ed Si del
modello gerarchico.
13

14. Il secondo tracciato è stato invece ottenuto con i pesi W2 = -.8 e W'2 = -.5 . Sono state
eseguite diverse simulazioni utilizzando valori di W2 e W'2 ogni volta diversi. In ogni
simulazione il sottosistema con oscillazioni periodiche o quasi-periodiche costringeva
sempre all'ordine il sottosistema ad attivazione caotica, mentre l'interazione tra sottosistemi
entrambi caotici si risolveva in uno stato oscillatorio anch'esso caotico (terzo tracciato della
Tav.2a).
14

15. Queste prime simulazioni potrebbero in parte chiarire il ruolo giocato dalle cellule di alcune
strutture del sistema nervoso quali la sostanza reticolare. Come ho già avuto modo di
accennare, attraverso due principali tipi di attivazione, cioè un'attivazione tonica ed una ad
improvvisi treni d'onda, alcuni nuclei di questa struttura fungono da pacemaker per altre
strutture talamiche e corticali. Il secondo tipo di attivazione (burst oscillations) sembra
essere alla base della generazione delle cosiddette spindle activatios nel talamo.
Le simulazioni eseguite potrebbero rappresentare una parziale messa in scena di questo tipo
di interazioni. L'induzione di un tipo di attivazione fusiforme risulta poi ancora più evidente
in alcune simulazioni effettuate con il modello simmetrico di attivazione tra i due
sottosistemi. Come si può osservare dai tracciati riportati nella Tav.2b, con valori di W2 =
-.8 e W'2 = -5 per i due sottosistemi, si assiste ad un comportamento oscillatorio periodico,
per entrambe i sottosistemi, con un tipo di attivazione fusiforme. Con questi valori delle
connessioni critiche, e senza l'interazione, ogni sottosistema oscillerebbe in modo caotico,
questo è stato chiaramente messo in evidenza dalle simulazioni effettuate sul modello
isolato. L'interazione reciproca, in questo caso, porta i due sistemi ad oscillare in modo
periodico, con segnali fusiformi e quasi in sincronia.
15

16. 5. RICONOSCIMENTO E PREVISIONE DI UN SEGNALE CAOTICO IN UNA RETE
NEURALE EBP
L'ultimo obiettivo di questo lavoro consiste nell'osservare il comportamento di una rete
neurale EBP (Error Back Propagation) nell'apprendimento di un segnale caotico. Il
problema è pertinente in quanto questi segnali, tutt'altro che rari nell'attività del nostro
sistema nervoso, sottendono spesso precisi eventi mentali soggetti, a loro volta, ad
apprendimento.
Il segnale, in questo caso, è quello risultante dalle oscillazioni della rete semplice a tre
unità di attivazione, precedentemente studiata, con un valore della connessione critica
W2=-.8. In corrispondenza di questo valore, come si è visto, il sistema mostra una dinamica
tipica del caos deterministico.
Il compito di apprendimento che intendo sottoporre alla rete EBP è guidato in input dal
segnale caotico di output del sistema dinamico esaminato precedentemente. La risposta in
output della rete EBP viene invece forzata alla previsione della prima e della seconda
iterazione nella dinamica del sistema.
Per quanto riguarda le caratteristiche della rete EBP ho utilizzato una architettura a
connessione totale. La funzione di attivazione per le unità è la sigmoide nella sua forma
classica, mentre l'algoritmo di apprendimento è il tipico Error Back Propagation (Rumelhart
& McLelland, 1984), con aggiornamento sia dei pesi che delle soglie.
Ho provato ad effettuare le prime simulazioni con una rete feedforward 1-8-2, cioè con una
unità in input (l'unità di output della rete caotica), otto unità hidden, due unità nascoste e
nessun rientro del segnale.
Forzando la rete a rispondere trial by trial ad ogni epoca, anche utilizzando diversi
accorgimenti per favorire l'apprendimento (momentum, apprendimento sulle soglie ecc...), il
sistema non è quasi mai riuscito a completare l'apprendimento, neanche sulla prima
iterazione. Per completare l'apprendimento in modo soddisfacente si è dovuto portare delle
modifiche rilevanti.
Per prima cosa ho aumentato di due le unità hidden, quindi ho aggiunto una unità in input
che fornisse alla rete, oltre al segnale U1(t), anche il segnale U1(t-1). Il sistema risultante si
presenta come una EBP 2-10-2. Inoltre, data la complessità del compito dovuta al fatto
che la rete è forzata a rispondere ed aggiornare i suoi pesi ad ogni input, ho modificato la
forma del momentum in modo da fornire alla rete più informazioni globali sulla dinamica da
apprendere.
In queste condizioni la rete è riuscita sempre ad apprendere il compito. I tempi di
apprendimento, con un criterio di 0.05 per l'errore, sono di circa 5.000 epoche per la prima
iterazione e di circa 50.000 per la seconda iterazione.
16

17. Una ulteriore modifica è stata portata introducendo il segnale di rientro in input per ogni
unità di output della rete. Questo tipo di organizzazione ha permesso un ulteriore
miglioramento dell'apprendimento portando la rete a completare il primo target
(anticipazione della prima iterazione sul segnale) in sole 2.700 epoche, mentre per la
seconda iterazione sono occorse circa 25.000 epoche.
Riporto due schermate di due istanti diversi della simulazione nelle immagini che seguono:
In questa prima schermata vediamo l’istantanea di una delle diverse simulazioni effettuate.
I primi due riquadri grafici in alto mostrano la mappa di Poincaré, o mappa iterativa,
tracciata plottando il segnale al tempo t (in ascissa) contro il segnale al tempo t+1
(ordinata) e al tempo t+2 per la seconda mappa. Le mappe mostrano i segnali di teaching
(ciò che la rete dovrebbe rispondere) ed i segnali di output (ciò che la rete neurale
effettivamente risponde) plottati con colori diversi in modo da poter notare la progressione
dell’apprendimento. Ad apprendimento ultimato infatti i punti si sovrappongono
perfettamente.
17

18. Questo tipo di rappresentazione è molto utile sia per rendersi conto della complessità del
segnale in input sia per verificare la progressione dell’apprendimento.
Per quanto riguarda la complessità del segnale, plottando i valori prodotti da una funzione
periodica e regolare come, ad esempio, una sinusoide, avremmo un cerchio perfetto per la
prima iterazione (prima mappa). Più il segnale è complesso e non stazionario più la
geometria della figura tracciata nella mappa sarà irregolare e frastagliata.
La schermata che segue mostra la dinamica della rete in una fase avanzata di
apprendimento:
Come si può notare i punti tracciati nelle due mappe (segnale di teaching contro il segnale
di output) sono abbastanza ben sovrapposti, indicando qualitativamente l’avvenuto
apprendimento della rete neurale.
L’architettura finale della RNA impiegata ha generato un ulteriore miglioramento
dell'apprendimento portando la rete a completare il primo target (anticipazione della prima
iterazione sul segnale) in sole 2.700 epoche, la seconda iterazione in circa 25.000 epoche.
18

19. E' importante notare che il rientro del segnale in input, il cui contributo risulta trascurabile
all'inizio dell'apprendimento quando le risposte della rete sono molto distanti dal target,
fornisce un contributo notevole man mano che il sistema inizia ad avvicinarsi agli obiettivi
dell'apprendimento.
Sarebbe interessante analizzare l'evoluzione temporale delle unità nascoste nel corso
dell'apprendimento. La presenza del segnale o di più segnali di rientro potrebbe favorire la
formazione di cluster nello strato delle unità nascoste con forti connessioni con i segnali di
rientro. La presenza eventuale di queste "sottomappe" potrebbe, sia pure in parte, costituire
una buona prova sperimentale a favore della teoria di Edelman sulla formazione di mappe
di neuroni la cui funzione è quella di "storicizzare" l'attività del sistema nervoso (Edelman,
1988, 1989).
19

20. 6. CONCLUSIONI
Questo breve lavoro ha messo chiaramente in evidenza che la stabilità di un piccolo
sistema, governato da poche variabili, non è affatto garantita e che l'interazione dinamica
tra sistemi caotici non sempre da come risultante un meta-sistema a sua volta caotico.
Quando si prende in considerazione un sistema caotico, in genere, si pensa che debba essere
governato da un numero piuttosto alto di parametri e variabili. Questo è spesso vero ed il
sistema nervoso, con i suoi svariati miliardi di neuroni, rappresenta sicuramente un ottimo
esempio di sistema dinamico complesso capace di lasciare emergere stati di attivazione più
o meno caotici in diversi punti della sua totalità.
Tuttavia, occorre notare che lo stato attuale della conoscenza fisica e matematica dei
sistemi dinamici caotici, per quanto molto avanti, raramente permette, partendo dalle
diverse caratteristiche del sistema quali la dimensione frattale o altri indici, di ricostruire le
equazioni che governano l'esistenza del sistema oggetto di studio.
Occorre inoltre notare che dato il carattere altamente non stazionario delle serie temporali
registate negli EEG risulta piuttosto ambiguo, oltre che molto difficile, poter calcolare degli
indici di dimensione frattale che rispecchino fedelmente la "reale" complessità dei fenomeni
sottostanti. Esistono algoritmi di calcolo più sensibili alla non-stazionarietà dei dati, quale
ad esempio l'algoritmo PD2i di Skinner (Elbert T., Ray W. et all., 1994), con i quali è
possibile avere delle stime più "fedeli" della dimensione frattale. Tuttavia c'è da chiedersi
che senso può mai avere andare alla ricerca di un invariante di un sistema per poi scoprire
che la misura che dovrebbe esprimerne l'entità non è affatto "invariante".
Al di là dei problemi di calcolo c'è infine da considerare che per parlare di caos
deterministico e comparare fisicamente dei sistemi caotici noi dovremmo poter determinare
quanta energia occorre fornire ai rispettivi sistemi per portarli da uno stato ordinato ad uno
turbolento o, se si vuole, caotico. Dovremmo cioè ricostruire esattamente le equazioni di
stato dei sistemi che permettano di prevedere la loro evoluzione temporale. Questa
operazione, in parte possibile in termodinamica, diventa una questione estremamente
difficile, se non impossibile, nello studio di altri sistemi dinamici caratterizzati da stati tipici
del caos deterministico.
Stando così le cose, una volta verificata l'esistenza di dinamiche instabili o caotiche in
diverse strutture del sistema nervoso, dopo aver condotto delle simulazioni che diano una
idea almeno parziale di come tali dinamiche potrebbero prendere forma, la questione più
importante, da un punto di vista psicologico, è quella di comprendere quali ruoli potrebbero
giocare tali dinamiche nella vita di un essere vivente. Alcune considerazioni, riguardo ad
esempio alle interazioni tra strutture talamocorticali, sono state già fatte sia nella
introduzione che durante lo svolgimento di questo lavoro.
20

21. Alcuni autori (Nicolis J.S., 1987) hanno preso in considerazione la possibilità che la memoria
sia organizzata come un sistema di attrattori multipli coesistenti su un substrato biofisico. Il
passaggio da un attrattore ad un altro, in seguito a stimolazioni ambientali o a percezioni
dello stato interno del sistema, potrebbe essere favorito dalle attivazioni ascendenti
talamocorticali.
Nella dinamica di richiamo alcuni nuclei di questa struttura potrebbero fornire segnali
capaci di stimolare alcuni attrattori del sistema corticale lasciandoli emergere, e quindi
esaltandoli, rispetto al rumore di fondo dovuto alle innumerevoli fonti di stimoli provenienti
dall'ambiente circostante. Innescando in alcune aree corticali delle dinamiche oscillatorie
altamente sincronizzate questi pacemaker talamocorticali permetterebbero dunque il
passaggio da un attrattore ad un altro.
Da un punto di vista psicofisiologico le ricerche di Freeman (Skarda & Freeman, 1987)
hanno ben messo in evidenza stati di attivazione caotici che precedevano o seguivano stati
di sincronizzazione parziale nel bulbo olfattifero del coniglio. Questi stati di
sincronizzazione parziale erano sempre correlati ad eventi mentali di riconoscimento di
alcuni oggetti noti.
In qualche modo sembra che il caos sia in grado di favorire l'improvvisa emergenza di
processi di sincronizzazione parziale relativi a diverse realtà significative per il sistema. Esso
dunque, aumentando i gradi di libertà di un sistema, sembrerebbe giocare un ruolo
funzionale di flessibilità nel passaggio a diversi stati di attivazione stabili per un qualche dt
diverso da zero.
Questo ruolo funzionale trova una parziale conferma quando si osserva lo stato di
attivazione della corteccia durante una crisi epilettica (Babloyantz, 1981; 1985; 1986). In
queste condizioni infatti il sistema appare fortemente sincronizzato in aree piuttosto vaste e
per tempi relativamente più lunghi rispetto ai passaggi di stato che avvengono in seguito ad
altri eventi mentali.
E' noto che, quando un plotone militare si accinge ad attraversare un ponte, l'ufficiale dà
ordine di rompere il passo. La marcia a passo sincronizzato porterebbe in breve tutta la
struttura ad oscillare con una risonanza distruttiva. In questo caso è l'ufficiale di turno a
dare l'ordine di desincronizzare la marcia per evitare effetti disastrosi.
E' possibile che il sistema nervoso, nella sua storia evolutiva, abbia maturato proprie
strategie interne per "randomizzare" gli stati di attivazione ed evitare i disastrosi effetti della
sincronia che possiamo osservare durante gli attacchi epilettici.
L'importanza della desincronizzazione appare ancora più evidente quando si prendano in
considerazione i fenomeni dell'attivazione muscolare dove una vasta sincronizzazione
dell'attivazione nei diversi motoneuroni porterebbe a fenomeni di tremolio indesiderati,
impedendo così la regolazione fine del movimento e dell'orientamento nello spazio.
21

22. BIBLIOGRAFIA
Abarbanel H. D. (1993). The Analysis of Observed Chaotic Data in Physiccal Systems.
Reviews of Modern Physics, Vol. 65, N.4.
Babloyantz A. (1985). Evidence of chaotic dynamics of brain activity during the sleep cylce.
Phys. Lett. (A), 111:152-156.
Babloyantz A., Lourenco C. (1994). Computation with Chaos:
A paradigm for cortical activity. Proc. Natl. Aad. Sci. USA, Vol.91.
Babloyantz A., Destexhe A. (1986). Low-dimensional chaos in an instance of epilepsy.
Proc. Ntl. Acad. Sci. USA, Neurobiology.
Babloyantz A. Destexhe A. (1991). Deterministic Chaos in a Model of the Thalamo-Cortical
System. In Self-Organization, Emerging Properties and Learning, Ed. by A. Babloyantz, NY.
Buscema, M. (1994). Squashing Thory. Ed. Armando.
Complex Systems Operational Approaches in Neurobiology, Physics and Computers.
(1985). Proceedings of the Interntional Symposium on Synergetics, May 6-11. Ed. H.
Hken.
Caglioti G. (1983). Simmetrie Infrante. Ed. CLUP.
Chapeau F., Chauvet G. (1992). Stable, Oscillatory, and Chaotic regimes in the dynamics of
small neural networks with delay.
Neural Networks, Vol. 5.
Dimensions and Entropies in Chaotic Systems. (1985). G. Mayer-Kress Springer- Verlag.
Degn H, Holden A.H., Olsen L.F. (1987). Chaos in Biological Systems. NATO ASI Series,
Vol. 138.
Edelman G.M. (1988). Topobiology. Ed. Basic Books.
Edelman G.M. (1991). Il Presente Ricordato. Ed. Rizzoli.
22

23. Elbert T., Ray W. et all. (1994). Chos and Physiology: Deterministic Chaos in Excitable Cell
Assemblies. Physiological Reviews.
Grassberger P., Procaccia I. (1983). Measuring The Strangeness of Strange Attractors.
Physica 9D, 198-208.
Haken H. (1987). Information Compression in Biological Systems. Biol. Cybern. 56, 11-17.
Handbook of Physiology. (1987) Vol. 5,
American Physiological Society.
Kaneko K. (1994). Relevance of Dynamic Clustering to Biological Networks. Physica D 75.
Lopes da Silva F. (1991). Neural mechanism underlying brain waves: from neural
membranes to networks. Electroencephalography and clinical Neurophysiology, 79: 81-
93.
Molle M. , Marshall L. et all. (1995). Dimensional complexity of the EEG indicates a right
fronto-cortical locus of attentional control. Journal of Psycophysiology, 9.
Ott E. (1994). Chaos in Dynamical Systems. Cambridge University Press.
Pessa E. Stabilità ed Auto-Organizzazione. Ed. Veschi.
Pessa E. (1993). Reti Neurali e Procssi Cognitivi. Armando Ed.
Pratap R., Nampoori V.P.N. at all. (1988). Invariant Characterization of Neural Systems.
Intern J. Neuroscience, Vol. 39.
Prigogine, Y., Stengers, I. (1989). Tra il Tempo e l'Eternità. Boringhieri
Pritchard W.S., Duke D.W. (1992). Measuring Chaos in the Brain. Intern. J. Neuroscience,
Vol. 67.
Rapp E.P., Zimmerman I.D. et all. (1985). Experimental Studies of Chaotic NeuralBehavior:
Cellular Activity and Electroencephalographic Signals. In Lecture Notes in Biomathematics,
Springer Verlag.
23

24. Ravelli F., Antolini R. (1992). Complex Dynamics Underlying the Human
Electrocardiogram. Biol. Cybern.. 67.
Ray W. et all. (1991). EEG and Chaos: Dimensional Estimation of Sensory and Hypnotic
Processes. In: Measuring Chaos in the Human Brain, Ed. Duke D. & Pritchard W., World
Scientific.
Rumelhart D.E., McClelland J.L. (1986). Parallel Distribuited Processing. The MIT Press.
Scarda C.A., Freeman W. J. (1987). How brain make chaos in order to make sense of the
world. Behavioral and Brain Science, 10: 161-195.
Wright J.J. (1990). Reticular Activation and the Dynamics of Neuronal Networks. Biol.
Cybern. 62.
24