MODELLO

Consiglio Nazionale delle Ricerche	Progetto COORDINATO - AGENZIA2001
codice: CNRC01CB50_005

Coordinatore del progetto	ERINA FERRO
Titolo del progetto	Sistema di monitoraggio del territorio mediante visione artificiale e tecnologie mobili

Cognome	GORI
Nome	MARCO
Sesso	M
Data di nascita	10/04/1957
Luogo di nascita	Tizzana
Nazionalità	ITALY
Istituzione di appartenenza	Università di Siena
Qualifica	Professore ordinario
Matricola CNR (se dipendente)
Codice Fiscale	GROMRC57D10H109S

L'unita' di ricerca (UR) del Dipartimento di Ingegneria dell'Informazione dell'Università di Siena si propone come obiettivo lo studio di algoritmi per la rilevazione di eventi anomali in sequenze temporali di dati allo scopo di fornire gli strumenti necessari per la verifica delle condizioni di allarme nel monitoraggio dello stato di un corso d'acqua. In particolare l'algoritmo dovrà avere caratteristiche di affidabilità riducendo le possibilità di mancato allarme (sicuramente più dannoso rispetto a casi di falso allarme) e di adattabilità alle diverse condizioni di funzionamento. L'attività riguarderà sia aspetti teorici relativi ai modelli scelti che aspetti implementativi in modo da verificare i requisiti imposti dall'architettura complessiva del sistema. L'attività dell'UR di Siena si inserisce in quella del gruppo di lavoro WG3 che si occupa delle tematiche relative all'elaborazione delle immagini prodotte dalla telecamera sul palo intelligente. L'attività sperimentale dell'UR è legata alla disponibilità dei dati prodotti dalle UR che si occupano della pre-elaborazione delle immagini (task TK2 del working group WG3).

Il monitoraggio del regime di corsi d'acqua è effettuato con l'acquisizione di immagini ed eventualmente altre tipologie di misure e produce una sequenza di dati relativa ad ogni postazione. Il problema del monitoraggio è quindi quello di analizzare una sequenza di dati corrispondenti a caratteristiche significative estratte con una pre-elaborazione dai dati disponibili. La fase di estrazione di un insieme di variabili caratteristiche per ogni istante di campionamento è necessaria per ridurre la dimensionalità dei dati che come nel caso delle immagini contengono una quantità ridondante di informazioni. Si può quindi supporre che ogni stazione produca un vettore di dati con una frequenza sufficiente a evidenziare le variazioni rilevanti.

La verifica della presenza di situazioni anomale che possono preludere a possibili condizioni di pericolo è basata sul confronto della sequenza misurata rispetto ad un prototipo relativo alla condizione normale. Data la differenza delle scene in cui saranno posizionati i sensori e la variabilità delle condizioni in uno stesso luogo (giornaliere o stagionali), il prototipo dovrà essere costruito in modo adattivo osservando un insieme di dati relativi alla situazione normale. Il problema della verifica è reso difficile dal fatto di non conoscere a priori tutti i possibili casi di situazioni anomale. In base a queste considerazioni, tecniche di apprendimento automatico sembrano particolarmente indicate per questo problema in cui occorre costruire un algoritmo di verifica.

I modelli di Markov sono stati utilizzati con successo per la modellazione di sequenze temporali in diversi contesti applicativi come ad esempio il riconoscimento vocale. Un modello di Markov stima la probabilità che una data sequenza osservata appartenga alla classe descritta dal modello. Gli Hidden Markov Models (HMM) in particolare riescono a modellare fenomeni in cui l'ambiente fisico può trovarsi, in ogni istante di tempo, in uno fra un insieme finito di possibili stati. Ad esempio, nel caso specifico gli stati potrebbero modellare le condizioni ambientali. Per ciascun stato il modello rappresenta la distribuzione di probabilità degli eventi osservati (ovvero delle misure). Il modello di Markov può essere addestrato a partire da un insieme di esempi della classe di interesse. Nel caso di un problema di verifica il modello di Markov può essere utilizzato per modellare le sequenze di dati normali. Dunque, le condizioni anomale possono essere rivelate quando il modello non riesce a "spiegare" in modo soddisfacente la sequenza osservata, ovvero quando la probabilità condizionata della sequenza dato il modello è inferiore ad una certa soglia. I dati da utilizzare per l'addestramento vengono collezionati nel tempo in modo da costituire un campione statistico significativo di tutte le condizioni di funzionamento.

Si può utilizzare un modello ibrido markoviano-neurale per modellare sequenze di vettori non quantizzati. Nel caso in esame può essere opportuno modellare i vettori di caratteristiche senza una quantizzazione per evitare una perdita eccessiva di informazione. I modelli ibridi possono essere addestrati con tecniche simili a quelle dei modelli classici utilizzando per la parte relativa alla rete neurale un algoritmo simile a backpropagation. La ricerca servirà a valutare i miglioramenti ottenibili con l'uso del modello ibrido rispetto ai modelli classici.

L'attività dell'UR si articolerà nelle seguenti fasi:

I Anno
- Sviluppo del modello ibrido
- Implementazione software di un simulatore sperimentale
- Sperimentazione su dati off-line

II Anno
- Sperimentazione con dati reali
- Valutazione delle prestazioni e ottimizzazione del modello
- Integrazione finale e sperimentazione sul campo del sistema (in
collaborazione con le altre UR del progetto)

The Research Unit (RU) of the Department of Information Engineering of the University of Siena will develop algorithms which can detect anomalous events in temporal sequences. The algorithms are intended as a tool through which one can verify the presence of an alarm condition while monitoring the river. In particular, an important feature of the algorithms should be that of reducing the possibility of incurring in a missing alarm (certainly more critical that a case of false alarm) as well as their adaptive capability with respect to the working environment. The work of the RU of Siena is related to that of the WR3 group which studies the preprocessing of images taken from the camera located on the "intelligent post". The experimental activity of the RU of Siena is then tightly linked to the availability of data produced by the RU dealing with the image preprocessing (task TK2 of the working group WR3).

The surveillance of the status of the river is carried out trough the image acquisition and possibly other kind of instruments. In this way, a sequence of data is obtained for each sensor location. The surveillance problem is then that of analyzing the data sequence corresponding to the significant extracted features. The feature extraction is necessary in oder to reduce the dimensionality of the data which in the case of images can be very redundant. We can then assume that each sensor location produces an array of data with a frequency sufficient to capture the relevant variations.

To verify the presence of a possible anomalous condition (which can prelude to a real dangerous condition) one can compare the sequence at hand with a prototype representing the normal condition. Because of the large variability of the scenes where the sensor will be located as well as the variability of the working conditions (both daily and seasonal) for each sensor location, we propose to build a prototype by adaptively observing a set of data relative to the normal condition. The problem of verifying the presence of an anomalous event is of difficult solution because we need to know all the possible cases of anomalous conditions a priori. Based on the ideas discussed above, machine learning techniques seem to be particularly appropriate for the a solution of the problem.

Hidden Markov Models (HMM) have been successfully used to model temporal sequences in different application scenarios, e.g. the problem of speech recognition. A HMM provides an estimate of the probability that a given observed sequence will belong to the class described by the model. In particular, HMMs are able to model a class of data where, for each instant of time, the physical environment can be in one of a finite set of states. For instance, in our case the states of the HMM could describe/encode the different environmental conditions. For each state, the HMM represents the probability distribution of the observed event. The HMM can be trained on a set of examples of the class of interest. In the case of a verification problem, the HMM can be used to model the sequences of normal events. Thus, a anomalous event can be verified when the model is not able to "explain" the observed sequence, i.e. when the conditional probability given the model is smaller than a fixed threshold. The data used to train the model are collected online taking into account a time interval in order to produce a sample which is statistically significant for each working condition.

One can use a Hybrid Markov-neural model to model sequences of continuous vectors, i.e. not quantized vectors. In the case at hand, it can be more efficient to work with the vectors without quantization because this way there is no loss of information. Hybrid models can be trained by using algorithms similar to that used with HMM. For the part relative to the neural nets on can use algorithms similar to back-propagation. The research will be addressed to verify the possible improvement of a hybrid approach with respect to a
classical approach.

The research activity is organized as following:

First Year
- Development of the Hybrid model
- Development of a software tool for experiment simulations
- Experiments on data off-line

Second Year
- Experiments on real data
- Evaluation of the experimental performance and optimization of the model
- Final integration, field trial and experimentation of the system (in
cooperation with all other RU in the project)

Area Scientifica	Scienze della terra e dell'ambiente
Settore	ING-IND/09 - Sistemi per l'energia e l'ambiente

Parola chiave 1	MODELLI DI MARKOV
Parola chiave 2	RETI NEURALI
Parola chiave 3	APPRENDIMENTO DA ESEMPI
Parola chiave 4	ANALISI DI SEQUENZE
Parola chiave 5

Parola chiave 1	HIDDEN MARKOV MODELS
Parola chiave 2	NEURAL NETWORKS
Parola chiave 3	MACHINE LEARNING
Parola chiave 4	SEQUENCE ANALYSIS
Parola chiave 5

Marco Gori ha ottenuto il Dottorato di Ricerca all'Università di Bologna nel 1990. Nel periodo Ottobre 1988-Giugno 1989 ha condotto la sua attività di ricerca presso la School of Computer Science (McGill University, Montreal). Nel 1992 è divenuto professore associato presso l'Università di Firenze e, nel Novembre 1995, si è trasferito all'Università di Siena, dove è attualmente professore straordinario. I suoi principali interessi di ricerca riguardano le reti neurali, il pattern recognition e le applicazioni dell'apprendimento all' information retrieval. E' stato promotore di numerose manifestazioni scientifiche, tra cui IJCNN'2000, di cui è stato program chair. Il prof. Gori è Associate Editor di diverse riviste tecniche nel suo settore di ricerca, fra cui le IEEE Trans. on Neural Networks, Pattern Recognition, e l'International Journal on Pattern Recognition and Artificial Intelligence.
Il prof. Gori è il presidente della sezione italiana dell'
IEEE Neural Network Council ed è stato recentemente nominato IEEE Fellow.

RECENTI RELAZIONI INVITATE A CONFERENZE E WORKSHOPS

``Perceptrons: 30 years later,'' ECCS'99 (European Conference on Cognitive Science), Siena (Italy), October 27-30, 1999,

``Adaptive computation on structured domains", European Symposium on Artificial Neural Networks, Bruges (Belgium), 21-24 April 1999,

``Adaptive graphical pattern recognition: the joint role of structure and learning,'' International Conference on Advances in Pattern Recognition, ICAPR'98, Plymouth (UK), 23-25 Movember 1998

``Integration of graphical-based rules with adaptive learning of structured information, ''Workshop on hybrid Neural Symbolic Integration, NIPS'98, December 1998, Denver (CO)

``Adaptive processing of structured information: The loading problem'' Workshop on Learning in Structured Domains, Wollongong (Australia), August 1998.

``Combining Neural Networks and Hidden Markov Models for Speech Recognition,'' WIRN'98, Vietri sul Mare, Italy, May 1998

``A voice device for X11 pointer control'', ISIS'97, Reggio Calabria, September 1997

ELENCO DI PUBBLICAZIONI RECENTI

LIBRI

Adaptive Processing of Sequences and Data Structures (1998) - libro intero - Casa Editrice: springer Verlag (Berlino) pagg. 434, Editori:M. Gori, C. Giles

Springer Verlag, Lecture Notes in Artificial Intelligence (LNAI Tutorial), 1387, 1998. International Summer School, Vietri sul Mare, Salerno.

CAPITOLI IN LIBRI

M.Gori, ``Adaptive processing of data structures: Topics in complexity,'' in Lecture Notes in Artificial Intelligence, 1387 (M.Gori and C.Giles, eds., ch.6, pp.145--167, Springer Verlag, 1998.

M.Bianchini, P.Frasconi, M.Gori, and M.Maggini, ``Optimal learning in artificial neural networks: A theoretical view,'' in Neural Network Systems Techniques and Applications (C.Leondes, ed.), ch.1,pp.1--51, Academic-Press, 1998.

P.Frasconi, M.Gori, and A.Tesi, ``Successes and failures of backpropagation: a theoretical investigation,'' in Progress in Neural Networks} (O.Omidvar and C.Wilson, eds.), ch.8, pp.205--242, Norwood, New Jersey: Ablex Publishing, 1997.

P.Frasconi, C.Goller, M.Gori, A.Kuchler, and A.Sperduti, ``Applications of adaptive computation on structured domains,'' J.Kolen and S.Kremer (Eds), ch.22, IEEE-Press (il libro non e' ancora stato pubblicato).

P.Frasconi, C.L.Giles, M.Gori, C.Omlin, ``Injecting prior knowledge into recursive networks,'' J.Kolen and S.Kremer (Eds), ch.16, IEEE-Press (il libro non e' ancora stato pubblicato).

J.Chappelier, M.Gori, and A.Grumbach, ``Time in connectionist models,'' Louis Villa (Ed), MIT-Press (il libro non e' ancora stato pubblicato).

P.Frasconi, M.Gori, and A.Sperduti, ``Integration of graphical-based rules with adaptive learning of structured information,'' in Hybrid Neural Systems, S. Wertmer (Ed) (il libro non e' ancora stato pubblicato)

ARTICOLI SU RIVISTA

M. Gori, A. Kuechler, and A. Sperduti, ``On the implementation of frontier-to-root tree automata in recursive neural networks,'' IEEE Transactions on Neural Networks. num. 10, pp. 1305-1314, 1999.

P.Frasconi, M.Gori, and G.Soda, ``Data categorization using decision trellises,'' IEEE Transactions on Knowledge and Data Engineering, Num. 11, pp 697-712, 1999.

G.Adorni, M.Gori, and M.Mordonini, ``Just-in-time landmark recognition,'' Real-Time Imaging, vol. 5, no. 4, pp. 95--107, 1999.

M.Gori and F.Scarselli, ``Are multilayer perceptrons adequate for pattern recognition and verification?'', IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.20, pp.1121--1132, October 1998.

M.Gori, M.Maggini, and E.Martinelli, ``A voice pointer device under x11 environment,'' The ASME Journal, pp.83--90, 1998.

M.Gori, F.Scarselli, and A.C. Tsoi, ``On the closure of the set of functions that can be realized by a given multilayer perceptron,'' IEEE Transactions on Neural Networks, vol.9, pp.1086--1098, November 1998.

M.Gori and A.C. Tsoi, ``Comments on local minima free conditions in multilayer perceptrons,'' IEEE Transactions on Neural Networks, vol.9, pp.1051--1053, September 1998.

P.Frasconi, M.Gori, and A.Sperduti, ``A general framework for adaptive processing of data structures,'' IEEE Transactions on Neural Networks, vol.9, pp.768--786, September 1998.

M.Gori, M.Maggini, E.Martinelli, and G.Soda, ``Inductive inference from noisy examples using the hybrid finite state filter,'' IEEE Transactions on Neural Networks, vol.9, pp.571--575, May 1998.

F.Cesarini, M.Gori, S.Marinai, and G.Soda, ``Informys: A flexible form reader system,'' IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.20, pp.730--745, July 1998.

P.Frasconi, M.Gori, and G.Soda, ``Links between lvq and backpropagation,'' Pattern Recognition Letters, vol.18, pp.303--310, April 1997.

Denominazione	Dipartimento di Ingegneria dell'Informazione - Università di Siena
Via/piazza	Roma 56
Cap	53100
Città	SIENA
Provincia	SI
Nazione	ITALIA
Telefono	+39 0577 233610
Fax	+39 0577 233602
Posta elettronica	marco@dii.unisi.it

nº	Nome Cognome	Sesso	Data di nascita Luogo di nascita Provincia Codice Fiscale	Qualifica Istituzione di appartenenza matricola CNR	Funzioni Mesi persona
1.	DE MAURO CIRO	M	15/03/1974 Siena SI DMRCRI74C15I726X	Dottorando di ricerca Università di Siena -	Ricercatore - 3
2.	MAGGINI MARCO	M	22/03/1965 Firenze FI MGGMRC65C22D612N	Professore associato Università di Siena -	Ricercatore - 2
3.	PONTIL MASSIMIIANO	M	14/08/1970 Genova GE PNTMSM70M14D969G	Dottore di ricerca Universita' di Siena -	Ricercatore - 2
4.	SANTINI FABRIZIO	M	05/11/1970 Albano Laziale RM SNTFRZ70S05A132X	Dottorando di ricerca Universita' di Firenze -	Ricercatore - 3

Titolo	Quota 1 anno	Quota cofinanziamento	Quota 2 anno	Quota cofinanziamento
Personale: dipendente e non dipendente	5 (2582 Euro)	5 (2582 Euro)	4 (2066 Euro)	4 (2066 Euro)
Spese generali	3 (1549 Euro)	3 (1549 Euro)	3 (1549 Euro)	3 (1549 Euro)
Attrezzature	8 (4132 Euro)	8 (4132 Euro)	3 (1549 Euro)	3 (1549 Euro)
Viaggi e missioni	12 (6197 Euro)	12 (6197 Euro)	18 (9296 Euro)	18 (9296 Euro)
Prestazioni di terzi	1 (516 Euro)	1 (516 Euro)	1 (516 Euro)	1 (516 Euro)
Materiali	1 (516 Euro)	1 (516 Euro)	1 (516 Euro)	1 (516 Euro)
TOTALE	30 (15494 Euro)	30 (15494 Euro)	30 (15494 Euro)	30 (15494 Euro)

Firma _________________________________________________ Per la copia da depositare presso il Rappresentante legale dell'Ente di appartenenza. - Se istituto del Cnr, presso il Direttore - per l'assenso alla diffusione via internet dei dati e la loro elaborazione necessaria al processo di Valutazione CL. 675/96 "Tutela dei dati personali" e per la veridicita' delle informazioni fornite.	Data 07/09/2001 12:14