[Comp-neuro] Key papers in computational neuroscience

Jim Stone j.v.stone at sheffield.ac.uk
Fri Jul 18 12:09:24 CEST 2008


 
 T h i s   i s   a   c o l l e c t i o n   o f  
 r e f e r e n c e s   o b t a i n e d   i n  
 r e s p o n s e   t o   a   r e q u e s t  
 f o r   k e y   p a p e r s   f r o m   t h e  
 c o m p u t a t i o n a l  
 n e u r o s c i e n c e   c o m m u n i t y .  
 I   h a v e   e x c l u d e d  
 s e l f - c i t a t i o n s   ( b u t   m a n y  
 o f   t h o s e   e x c l u d e d   p a p e r s  
 a c t u a l l y   a p p e a r   i n   m y  
 o w n   l i s t   o f   k e y   p a p e r s  
 b e l o w ) .   I   h a v e   r e m o v e d  
 t h e   n a m e s   o f  
 r e s p o n d e n t s ,   b u t   h a v e  
 l e f t   t h e i r   c o m m e n t s   i n ,  
 a s   t h e s e   c a n   b e   v e r y  
 u s e f u l . 
 
 M a n y   t h a n k s   t o   a l l   t h o s e  
 w h o   c o n t r i b u t e d   t o   t h i s  
 w i d e - r a n g i n g   c o l l e c t i o n . 
 
 J i m   S t o n e ,   1 8 t h   J u l y   2 0 0 8 . 
 
 - - 
 
 J V   S t o n e ' s   k e y   p a p e r s : 
 
 S B   L a u g h l i n .   A   s i m p l e  
 c o d i n g   p r o c e d u r e  
 e n h a n c e s   a   n e u r o n ' s  
 i n f o r m a t i o n 
 c a p a c i t y .   Z   N a t u r f o r s c h ,  
 3 6 c : 9 1 0 { 9 1 2 ,   1 9 8 1 . 
 S e e   o t h e r   p a p e r s   b y  
 L a u g h l i n   w h i c h   c o v e r  
 s i m i l a r   m a t e r i a l . 
 
 L e t t v i n ,   J . Y . ,   M a t u r a n a ,  
 H . R . ,   M c C u l l o c h ,   W . S . ,  
 a n d   P i t t s ,   W . H . ,   W h a t  
 t h e   F r o g ¼ s   E y e   T e l l s   t h e  
 F r o g ' s   B r a i n ,   P r o c .  
 I n s t .   R a d i o   E n g r .  
 4 7 : 1 9 4 0 - 1 9 5 1 ,   1 9 5 9 .   
 
 B a l l a r d ,   D H ,   C o r t i c a l  
 c o n n e c t i o n s   a n d   p a r a l l e l  
 p r o c e s s i n g :   S t r u c t u r e  
 a n d   f u n c t i o n ,   i n   V i s i o n ,  
 i n   B r a i n   a n d   c o o p e r a t i v e  
 c o m p u t a t i o n ,   p p   5 6 3 - 6 2 1 ,  
 1 9 8 7 ,   A r b i b ,   M A   a n d  
 H a n s o n   A R   ( E d s ) .   
 
 Y   W e i s s ,   E P   S i m o n c e l l i ,  
 a n d   E H   A d e l s o n .   M o t i o n  
 i l l u s i o n s   a s   o p t i m a l  
 p e r c e p t s .   
 N a t u r e   N e u r o s c i e n c e ,  
 5 ( 6 ) : 5 9 8  6 0 4 ,   2 0 0 2 .   
 
 B A   O l s h a u s e n   a n d   D J  
 F i e l d .   S p a r s e   c o d i n g   o f  
 s e n s o r y   i n p u t s .   C u r r e n t  
 O p i n i o n   i n   N e u r o b i o l o g y ,  
 1 4 : 4 8 1  4 8 7 ,   2 0 0 4 .   
 
 T   P o g g i o ,   V   T o r r e ,   a n d   C  
 K o c h .   C o m p u t a t i o n a l  
 v i s i o n   a n d  
 r e g u l a r i z a t i o n   t h e o r y .  
 N a t u r e ,   3 1 7 : 3 1 4  3 1 9 ,  
 1 9 8 5 .   
 
 A A   S t o c k e r   a n d   E P  
 S i m o n c e l l i .   N o i s e  
 c h a r a c t e r i s t i c s   a n d  
 p r i o r   e x p e c t a t i o n s   i n  
 h u m a n   v i s u a l   s p e e d  
 p e r c e p t i o n .   N a t u r e  
 N e u r o s c i e n c e ,   9 ( 4 ) : 5 7 8 
 5 8 5 ,   2 0 0 6 .   
 
 M a r r ,   D . ,   a n d   T .   P o g g i o .  
 < h t t p : / / c b c l . m i t . e d u / p e o p l e / p o g g i o / j o u r n a l s / m a r r - p o g g i o - s c i e n c e - 1 9 7 6 . p d f > 
 C o o p e r a t i v e   C o m p u t a t i o n  
 o f   S t e r e o   D i s p a r i t y ,  
 S c i e n c e ,   1 9 4 ,   2 8 3 - 2 8 7 ,  
 1 9 7 6 . 
 
 R u m e l h a r t ,   D .   E . ,  
 H i n t o n ,   G .   E . ,   a n d  
 W i l l i a m s ,   R .   J .   L e a r n i n g  
 r e p r e s e n t a t i o n s   b y  
 b a c k - p r o p a g a t i n g   e r r o r s .  
 N a t u r e ,   3 2 3 ,   5 3 3 - - 5 3 6 . 
 
 H i n t o n ,   G .   E .   a n d  
 N o w l a n ,   S .   J .   H o w  
 l e a r n i n g   c a n   g u i d e  
 e v o l u t i o n .   C o m p l e x  
 S y s t e m s ,   1 ,   4 9 5 - - 5 0 2 . 
 
 H i n t o n ,   G .   E .   a n d   P l a u t ,  
 D .   C .     U s i n g   f a s t  
 w e i g h t s   t o   d e b l u r   o l d  
 m e m o r i e s .   
 P r o c e e d i n g s   o f   t h e   N i n t h  
 A n n u a l   C o n f e r e n c e   o f   t h e  
 C o g n i t i v e   S c i e n c e  
 S o c i e t y ,   S e a t t l e ,   W A 
 
 B e c k e r ,   S .   a n d   H i n t o n ,  
 G .   E .     A   s e l f - o r g a n i z i n g  
 n e u r a l   n e t w o r k   t h a t  
 d i s c o v e r s   s u r f a c e s   i n  
 r a n d o m - d o t   s t e r e o g r a m s .  
 N a t u r e ,   3 5 5 : 6 3 5 6 ,  
 1 6 1 - 1 6 3 
 
 A c k l e y ,   D .   H . ,   H i n t o n ,  
 G .   E . ,   a n d   S e j n o w s k i ,   T .  
 J .     A   l e a r n i n g   a l g o r i t h m  
 f o r   B o l t z m a n n   m a c h i n e s .   
 C o g n i t i v e   S c i e n c e ,   9 ,   1 4 7 - 1 6 9 . 
 
 @ a r t i c l e { D U R B I N _ W I L L S H A W _ T S P , 
         a u t h o r     = " D u r b i n ,   R  
 a n d   W i l l s h a w ,   D " , 
         t i t l e       =   " A n  
 a n a l o g u e   a p p r o a c h   t o   t h e  
 t r a v e l l i n g   s a l e s m a n  
 p r o b l e m   u s i n g   a n   e l a s t i c  
 n e t   m e t h o d " , 
         j o u r n a l   =   " N a t u r e " , 
         v o l u m e     =   " 3 2 6 " , 
         n u m b e r     =   " 6 1 1 4 " , 
         p a g e s       =   " 6 8 9 - 6 9 1 " , 
         m o n t h       =   " " , 
         y e a r         =   " 1 9 8 7 " 
         } 
 
 @ a r t i c l e { D O U G L A S _ C A N O N I C A L _ 8 9 , 
         a u t h o r     =   " D o u g l a s ,  
 R J   a n d   M a r t i n ,   K A C   a n d  
 W h i t t e r i d g e ,   D " , 
         t i t l e       =   " A  
 C a n o n i c a l   M i c r o c i r c u i t  
 f o r   N e o c o r t e x " , 
         j o u r n a l   =   " N e u r a l   C o m p u t a t i o n " , 
         v o l u m e     =   " 1 " , 
         n u m b e r     =   " " , 
         p a g e s       =   " 4 8 0 - 4 8 8 " , 
         m o n t h       =   " " , 
         y e a r         =   " 1 9 8 9 " 
         } 
 
 @ a r t i c l e { S W I N D A L E 8 2 , 
         a u t h o r     =   " S w i n d a l e ,   N V " , 
         t i t l e       =   " A   m o d e l  
 f o r   t h e   f o r m a t i o n   o f  
 o r i e n t a t i o n   c o l u m n s " , 
         j o u r n a l   =  
 " P r o c e e d i n g s   R o y a l  
 S o c i e t y   L o n d o n   B " , 
         v o l u m e     =   " 2 1 5 " , 
         n u m b e r     =   " " , 
         p a g e s       =   " 2 1 1 - 2 3 0 " , 
         m o n t h       =   " " , 
         y e a r         =   " 1 9 8 2 " 
         } 
 
 
 Z o h a r y ,   E ,   S h a d l e n ,   M N  
 a n d   N e w s o m e ,   W T   ( 1 9 9 4 ) .  
 C o r r e l a t e d   n e u r o n a l  
 d i s c h a r g e   r a t e   a n d   i t s  
 i m p l i c a t i o n s   f o r  
 p s y c h o p h y s i c a l  
 p e r f o r m a n c e .   N a t u r e  
 3 7 0 : 1 4 0 - 1 4 3 . 
 
 H o p f i e l d 's   p a p e r s   ( s e e   b e l o w ) . 
 
 - - 
 
 H o d g k i n   a n d   H u x l e y   1 9 5 2 d  
 ( t h e   m o d e l i n g   p a p e r ) 
 
 - - 
 
 S o n g   a n d   A b b o t t :  
 C o r t i c a l   d e v e l o p m e n t   a n d  
 r e m a p p i n g   t h r o u g h   s p i k e  
 t i m i n g - d e p e n d e n t  
 p l a s t i c i t y . 
 N e u r o n   3 2 : 3 3 9 - 5 0 ,   2 0 0 1 
 
 a n d 
 
 B u o n o m a n o   a n d   M e r z e v i c h :  
 T e m p o r a l   i n f o r m a t i o n  
 t r a n s f o r m e d   i n t o   a  
 s p a t i a l   c o d e   b y   a   n e u r a l  
 n e t w o r k   w i t h   r e a l i s t i c  
 p r o p e r t i e s . 
 S c i e n c e .   1 9 9 5   F e b   1 7 ; 2 6 7 ( 5 2 0 0 ) : 1 0 2 8 - 3 0 . 
 
 - - 
 
 W i l s o n   H R ,   C o w a n   J D . 
 E x c i t a t o r y   a n d  
 i n h i b i t o r y   i n t e r a c t i o n s  
 i n   l o c a l i z e d   p o p u l a t i o n s  
 o f   m o d e l 
 n e u r o n s .   B i o p h y s   J .   1 9 7 2  
 J a n ; 1 2 ( 1 ) : 1 - 2 4 . 
 
 H . B .   B a r l o w ,   T h e   m e c h a n i c a l   m i n d . 
 A n n .   R e v .   N e u r o s c i .   1 3   1 5 - 2 4   ( 1 9 9 0 ) 
 I t   i s   a b o u t   a   s i m p l e  
 m o d e l   o f   c o n s c i o u s n e s s . 
 
 
 - - 
 
 F r o m   t h e   c o g n i t i v e   s i d e  
 o f   c o m p u t a t i o n a l  
 n e u r o s c i e n c e   a n d   I  
 r e c o m m e n d : 
 
 P o u g e t   A ,   D e n e v e   S ,  
 D u h a m e l   J R   ( 2 0 0 2 )   A  
 c o m p u t a t i o n a l  
 p e r s p e c t i v e   o n   t h e  
 n e u r a l   b a s i s   o f  
 m u l t i s e n s o r y   s p a t i a l  
 r e p r e s e n t a t i o n s .   N a t   R e v  
 N e u r o s c i .   3 :   7 4 1 - 7 4 7 . 
 
 H a m k e r ,   F . H . ,   Z i r n s a k ,  
 M . ,   C a l o w ,   D . ,   L a p p e ,   M .  
 ( 2 0 0 8 ) Ý T h e   p e r i - s a c c a d i c  
 p e r c e p t i o n   o f   o b j e c t s  
 a n d   s p a c e . Ý P L O S  
 C o m p u t a t i o n a l   B i o l o g y  
 4 ( 2 ) : e 2 1 
 
 O l s h a u s e n   B A ,   F i e l d   D J .  
 1 9 9 6 .   E m e r g e n c e   o f  
 s i m p l e - c e l l   r e c e p t i v e  
 f i e l d   p r o p e r t i e s   b y  
 l e a r n i n g   a   s p a r s e   c o d e  
 f o r   n a t u r a l   i m a g e s .  
 N a t u r e   3 8 1 : 6 0 7 - 9 . 
 
 - - 
 
 I   w a s   r e a l l y   i n f l u e n c e d   b y 
 
 @ a r t i c l e { A t i c k 9 2 , 
 	 A u t h o r   =   { A t i c k ,   J o s e p h   J . } , 
 	 J o u r n a l   =   { N e t w o r k :  
 { C } o m p u t a t i o n   i n  
 { N } e u r a l   { S } y s t e m s } , 
 	 N u m b e r   =   { 2 } , 
 	 P a g e s   =   { 2 1 3 - - 5 2 } , 
 	 T i t l e   =   { C o u l d  
 { I } n f o r m a t i o n   { T } h e o r y  
 { P } r o v i d e   a n  
 { E } c o l o g i c a l   { T } h e o r y   o f  
 { S } e n s o r y  
 { P } r o c e s s i n g ? } , 
 	 V o l u m e   =   { 3 } , 
 	 Y e a r   =   { 1 9 9 2 } } 
 
 w h i c h   i s   a   r e v i e w   p a p e r  
 r a t h e r   r e l a t e d   t o   t h e  
 s e m i n a l   p a p e r s   f r o m  
 B a r l o w   a n d   M a r r . 
 
 - - 
 
 W i l s o n   H R ,   C o w a n   J D . 
 E x c i t a t o r y   a n d  
 i n h i b i t o r y   i n t e r a c t i o n s  
 i n   l o c a l i z e d   p o p u l a t i o n s  
 o f   m o d e l 
 n e u r o n s . 
 B i o p h y s   J .   1 9 7 2   J a n ; 1 2 ( 1 ) : 1 - 2 4 . 
 
 - - 
 
 W i r i n g   O p t i m i z a t i o n  
 D m i t r i   B .   C h k l o v s k i i 
 T r a u b ' s   C A 1   m o d e l / P i n s k y  
 R i n z e l   2   c o m p a r t m e n t a l  
 m o d e l s 
 E r i k   D e   S c h u t t e r ' s   P u r k i n j e   c e l l   m o d e l s 
 H e n r y   M a r k r a m ' s   C o r t i c a l   M o d e l s 
 R o l l s   &   T r e v e s   -   H i p p o c a m p a l   N e t w o r k 
 P o l s k y   &   M e l   -   2 l a y e r  
 p y r a m i d a l   c e l l   m o d e l 
 T e r r y   S e j n o w s k i   -   S y n a p s e ,   m o d e l d b 
 U p i n d e r   S   B h a l l a   -  
 M i l l i o n   S y n a p s e s   /  
 B i s t a b l e   s y s t e m s 
 
 - - 
 
 T h e s e   p a p e r s   i n t r o d u c e d  
 a c c u r a t e   m o d e l s   o f  
 c a l c i u m   d y n a m i c s   a n d  
 n e u r o m o d u l a t o r y   e f f e c t s  
 o n   i o n   c h a n n e l   a c t i v i t y . 
 
 B h a l l a   U S ,   I y e n g a r   R . 
 E m e r g e n t   p r o p e r t i e s   o f  
 n e t w o r k s   o f   b i o l o g i c a l  
 s i g n a l i n g   p a t h w a y s . 
 S c i e n c e .   1 9 9 9   J a n   1 5 ; 2 8 3 ( 5 4 0 0 ) : 3 8 1 - 7 .   
 
 Z a d o r   A ,   K o c h   C ,   B r o w n   T H . 
 B i o p h y s i c a l   m o d e l   o f   a   H e b b i a n   s y n a p s e . 
 P r o c   N a t l   A c a d   S c i   U   S  
 A .   1 9 9 0  
 S e p ; 8 7 ( 1 7 ) : 6 7 1 8 - 2 2 . 
 
 H o l m e s   W R ,   L e v y   W B . A b s t r a c t 
 I n s i g h t s   i n t o  
 a s s o c i a t i v e   l o n g - t e r m  
 p o t e n t i a t i o n   f r o m  
 c o m p u t a t i o n a l   m o d e l s   o f  
 N M D A   r e c e p t o r - m e d i a t e d  
 c a l c i u m   i n f l u x   a n d  
 i n t r a c e l l u l a r   c a l c i u m  
 c o n c e n t r a t i o n   c h a n g e s . 
 J   N e u r o p h y s i o l .   1 9 9 0   M a y ; 6 3 ( 5 ) : 1 1 4 8 - 6 8 . 
 
 - - 
 
 T h e r e   a r e   t w o  
 t h e o r e t i c a l   p a p e r s  
 w h i c h ,   i n   m y   o p i n i o n ,  
 h a v e   h a d   a   s t r o n g  
 i n f l u e n c e   o n   t h e   w a y   w e  
 t h i n k   a b o u t   s y n a p t i c  
 t r a n s m i s s i o n   a n d   s h o r t  
 t e r m   p l a s t i c i t y   t o d a y : 
 
 A   W   L i l e y   a n d   K   A   N o r t h .  
 A n   e l e c t r i c a l  
 i n v e s t i g a t i o n   o f   e f f e c t s  
 o f   r e p e t i t i v e 
 s t i m u l a t i o n   o n   m a m m a l i a n  
 n e u r o m u s c u l a r   j u n c t i o n .  
 J   N e u r o p h y s i o l ,  
 1 6 ( 5 ) : 5 0 9  
 5 2 7 ,   S e p   1 9 5 3 . 
 
 W   J   B e t z .   D e p r e s s i o n   o f  
 t r a n s m i t t e r   r e l e a s e   a t  
 t h e   n e u r o m u s c u l a r  
 j u n c t i o n   o f   t h e 
 f r o g .   J   P h y s i o l ,   2 0 6 ( 3 ) : 6 2 9  6 4 4 ,   1 9 7 0 . 
 
 T h e s e   w e r e ,   o f   c o u r s e ,  
 p u b l i s h e d   b e f o r e   t h e  
 t e r m   " c o m p u t a t i o n  
 n e u r o s c i e n c e "   w a s   u s e d .  
 T h e   f i r s t   p r o p o s e d   a  
 m a t h e m a t i c a l   m o d e l   f o r  
 v e s i c l e   p o o l   d e p l e t i o n ,  
 w h i c h   i s   s t i l l   i n   u s e  
 t o d a y .   T h e   s e c o n d   w a s  
 t h e   f i r s t   t o   e x t e n d   t h i s  
 w i t h   t h e   r e l e a s e  
 p r o b a b i l i t y   a s   a   d y n a m i c  
 v a r i a b l e .   T h e s e   i d e a s  
 w e r e   t h e n   f u r t h e r  
 p o p u l a r i s e d   b y   t h e s e  
 c l a s s i c   p a p e r s : 
 
 L   F   A b b o t t ,   J   A   V a r e l a ,  
 K   S e n ,   a n d   S   B   N e l s o n .  
 S y n a p t i c   d e p r e s s i o n   a n d  
 c o r t i c a l 
 g a i n   c o n t r o l .   S c i e n c e ,  
 2 7 5 ( 5 2 9 7 ) : 2 2 0  2 2 4 ,   J a n  
 1 9 9 7 . 
 
 M   V   T s o d y k s   a n d   H  
 M a r k r a m .   T h e   n e u r a l   c o d e  
 b e t w e e n   n e o c o r t i c a l  
 p y r a m i d a l 
 n e u r o n s   d e p e n d s   o n  
 n e u r o t r a n s m i t t e r   r e l e a s e  
 p r o b a b i l i t y .   P r o c   N a t l  
 A c a d   S c i   U   S 
 A ,   9 4 ( 2 ) : 7 1 9  7 2 3 ,   J a n   1 9 9 7 . 
 
 W h a t   I   f o u n d   h a v e   d u r i n g  
 m y   c o l l a b o r a t i o n s   w i t h  
 b i o l o g i s t s   w a s   t h a t   n o t  
 s o   m u c h   t h e   p r e c i s e  
 m a t h e m a t i c a l  
 f o r m u l a t i o n ,   b u t   t h e  
 v e r y   b a s i c   i d e a s   a n d  
 c o n c e p t s   e x p l o r e d   i n  
 t h e s e   p a p e r s   h a v e   m a d e   a  
 s t r o n g   i m p a c t   i n   t h e  
 w h o l e   f i e l d ,   a n d   h a v e  
 c e r t a i n l y   c l e a r e d   t h e  
 w a y   f o r   n u m e r o u s   f u r t h e r  
 t h e o r e t i c a l   s t u d i e s . 
 
 A n o t h e r   p a p e r   I   h a v e  
 c o m e   a c r o s s   j u s t  
 r e c e n t l y   w h i c h   I   w o u l d  
 c o n s i d e r   a s   r a t h e r  
 i m p o r t a n t   a n d   u s e f u l   i s  
 t h i s : 
 
 J   J   H o p f i e l d   a n d   A   V   M  
 H e r z .   R a p i d   L o c a l  
 S y n c h r o n i z a t i o n   o f  
 A c t i o n   P o t e n t i a l s :  
 T o w a r d   C o m p u t a t i o n   w i t h  
 C o u p l e d  
 I n t e g r a t e - a n d - F i r e  
 N e u r o n s .   P r o c   N a t l   A c a d  
 S c i   U   S 
 A ,   9 2 ( 1 5 ) :   6 6 5 5 - 6 6 6 2 ,   J u l   1 9 9 5 . 
 
 C i t e d   m o r e   t h a n   1 5 0  
 t i m e s ,   i t   c o n t a i n s   s o m e  
 s t r o n g   r e s u l t s   r e g a r d i n g  
 t h e   b e h a v i o u r   o f  
 r e c u r r e n t   n e t w o r k s ,   a n d  
 a l s o   a n t i c i p a t e s   a  
 n u m b e r   o f   r e s u l t s   s h o w n  
 m o r e   r e c e n t l y . 
 
 
 - - 
 
 H e r e   i s   m y   t o p   1 2  
 p a p e r s ,   i n   c h r o n o l o g i c a l  
 o r d e r .   I   h a v e   g o n e   f o r  
 o n e s   t h a t   m a k e   m y  
 s c i e n c e   h e a r t   s i n g ,   t h a t  
 i n t r o d u c e   a   b i g   i d e a ,  
 u s e f u l   t o o l ,   c o n n e c t  
 e x p e r i m e n t   a n d   t h e o r y   i n  
 a   s a t i s f y i n g   w a y ,   o r   a r e  
 a n   e x a m p l e   o f 
 w o r k   o n   a   t o p i c   t h a t   h a s  
 b e e n   m y s t e r i o u s l y  
 u n d e r - r e p r e s e n t e d . 
 
 I   h a v e   t r i e d   t o   b r i e f l y  
 q u a l i f y   w h y   t h e y   c o u l d  
 b e   t h o u g h t   o f   a s   c l a s s i c  
 b y   t h e   w i d e r   c o m m u n i t y . 
 
 1 )   W i l l s h a w   a n d   v o n   d e r  
 M a l s b u r g   ( 1 9 7 9 ) . 
 	 F u t u r e   h o t   t o p i c :  
 m o d e l l i n g   d e v e l o p m e n t   
 	 E x c e l l e n t  
 i n t e r a c t i o n   b e t w e e n  
 t h e o r y   a n d   e x p e r i m e n t   -   
 	 p r e d i c t e d   e p h r i n s  
 a n d   e p h   r e c e p t o r s . 
  
	 h t t p : / / w w w . j s t o r . o r g / s t a b l e / p d f p l u s / 2 4 1 8 2 2 6 . p d f 
 2 )   L a u g h l i n   ( 1 9 8 1 )   Z .  
 N a t u r f o r s c h .   C   3 6 : 9 1 0 - 2 
 	 B i g   i d e a :   c o d i n g  
 m a t c h e s   s t i m u l u s  
 s t a t i s t i c s . 
 	 
 h t t p : / / w w w . n c b i . n l m . n i h . g o v / s i t e s / e n t r e z ? D b = p u b m e d & T e r m T o S e a r c h = 7 3 0 3 8 2 3 
 3 )   S r i n i v a s a n   e t   a l .  
 ( 1 9 8 2 )   P r o c .   R o y .   S o c .   B  
 2 1 6 ( 1 2 0 5 ) : 4 2 7 - 5 9 
 	 E x c e l l e n t  
 i n t e r a c t i o n   b e t w e e n  
 t h e o r y   a n d   e x p e r i m e n t : 
 	 p r e d i c t s   r e s p o n s e s  
 o f   f i r s t   o r d e r   v i s u a l  
 i n t e r n e u r o n s 
 	 i f   t h e y   e x p l o i t  
 s p a t i a l   a n d   t e m p o r a l  
 c o r r e l a t i o n s   t o 
 	 r e d u c e   r e d u n d a n c y . 
 	 
 h t t p : / / w w w . k y b . t u e b i n g e n . m p g . d e / b e t h g e g r o u p / t e a c h i n g / w s 0 7 0 8 _ s e m _ r e t i n a _ w 
 h i t e n i n g / S r i n i v a s a n _ e t _ a l _ 1 9 8 2 . p d f 
 
 4 )   B u c h s b a u m   a n d  
 G o t t s c h a l k   ( 1 9 8 3 ) .   P r o c .  
 R .   S o c .   B   2 2 0 : 8 9 - 1 1 3 
 	 E x c e l l e n t  
 i n t e r a c t i o n   b e t w e e n  
 t h e o r y   a n d   e x p e r i m e n t : 
 	 u s e s   P C A   t o  
 a c c u r a t e l y   c a l c u l a t e   t h e  
 c o l o u r   c h a n n e l s 
 	 t h a t   m a x i m i s e  
 i n f o r m a t i o n  
 t r a n s m i s s i o n .   D e s e r v e s  
 t o   b e   
 	 m o r e   w i d e l y   k n o w n . 
  
	 h t t p : / / w w w . j s t o r . o r g / s t a b l e / p d f p l u s / 3 5 8 7 3 . p d f 
 
 
 5 )   B i a l e k   e t   a l .   ( 1 9 9 1 )   S c i e n c e 
 	 U s e f u l   a p p l i c a t i o n  
 f o r   t h e o r i s t :   n e a t  
 m e t h o d   f o r 
 	 c a l c u l a t i n g   s t i m u l u s  
 f i l t e r s   i n   t h e   r e s p o n s e . 
  
	 h t t p : / / w w w 2 . h a w a i i . e d u / ~ s s t i l l / n e u r a l _ c o d e _ 9 1 . p d f 
 
 
 6 )   T r e v e s   a n d   R o l l s  
 ( 1 9 9 2 )   H i p p o c a m p u s  
 2 ( 2 ) : 1 8 9 - 9 9 
 	 E x c e l l e n t  
 i n t e r a c t i o n   b e t w e e n  
 t h e o r y   a n d   e x p e r i m e n t : 
 	 i d e n t i f i e d   t h e  
 f u n c t i o n   o f   t h e   d e n t a t e  
 g y r u s   i n   t h e 
 	 h i p p o c a m p u s ,   a n d  
 m a t c h e d   n e t w o r k  
 o r g a n i s a t i o n   t o 
 	 f u n c t i o n   f a r   m o r e  
 s u c c e s s f u l l y   t h a t   M a r r . 
 	 
 h t t p : / / w w w 3 . i n t e r s c i e n c e . w i l e y . c o m / c g i - b i n / f u l l t e x t / 1 0 9 7 1 1 3 3 3 / P D F S T A R T 
 7 )   V a n   H a t e r e n   ( 1 9 9 2 )   J .  
 C o m p   P h y s .   A   1 7 1 : 1 5 7 - 1 7 0 
 	 E x c e l l e n t  
 i n t e r a c t i o n   b e t w e e n  
 t h e o r y   a n d   e x p e r i m e n t : 
 	 p r e d i c t s   v i s u a l  
 s p a t i o t e m p o r a l   r e c e p t i v e  
 f i e l d s   o f   c e l l s 
 	 c o n n e c t e d   t o  
 p h o t o r e c e p t o r s   i n   t h e  
 f l y   s o   a s   t o   m a x i m i s e   
 	 i n f o r m a t i o n   a b o u t  
 n a t u r a l   i m a g e s   f r o m  
 f i r s t   p r i n c i p l e s ,   
 	 w i t h   s t u n n i n g   s u c c e s s . 
 	 
 h t t p : / / w w w . s p r i n g e r l i n k . c o m / c o n t e n t / h 4 6 8 1 x 3 4 4 j 3 7 8 2 2 9 / f u l l t e x t . p d f 
 
 
 8 )   W o l p e r t   e t   a l .   ( 1 9 9 5 )  
 S c i e n c e   2 6 9 ( 5 2 3 2 ) : 1 8 8 0 - 2 
 	 B i g   i d e a :   i n t e r n a l  
 m o d e l s   a n d   t h e   u s e   o f  
 p r i o r s . 
  
	 h t t p : / / k e c k . u c s f . e d u / ~ h o u d e / s e n s o r i m o t o r _ j c / D M W o l p e r t 9 5 a . p d f 
 
 
 9 )   Z e m e l   e t   a l .   ( 1 9 9 8 )  
 N e u r .   C o m p .   1 0 ( 2 ) : 4 0 3 - 3 0 
 	 B i g   i d e a :   n e u r o n s  
 e n c o d e   d i s t r i b u t i o n s ,  
 n o t   s i n g l e   v a l u e s 
  
	 h t t p : / / w w w . g a t s b y . u c l . a c . u k / ~ d a y a n / p a p e r s / z d p 9 8 . p d f 
 
 
 1 0 )   V a n   R o s s u m   e t   a l .  
 ( 2 0 0 0 )   J .   N e u r o .  
 2 0 ( 2 3 ) : 8 8 1 2 - 2 1 
 	 E x c e l l e n t  
 i n t e r a c t i o n   b e t w e e n  
 t h e o r y   a n d   e x p e r i m e n t : 
 	 S i m p l e   a p p l i c a t i o n  
 o f   F o k k e r - P l a n c k  
 e q u a t i o n   p h y s i c s   t o 
 	 e x p l a i n   f u n c t i o n a l  
 c o n s e q u e n c e s   t o   t h e  
 n e t w o r k   o f   
 	 c e l l u l a r   l e v e l   e x p e r i m e n t a l   d a t a . 
  
	 h t t p : / / w w w . j n e u r o s c i . o r g / c g i / r e p r i n t / 2 0 / 2 3 / 8 8 1 2 . p d f 
 
 
 1 1 )   B r u n e l   ( 2 0 0 0 )   J .  
 C o m p .   N e u r o   8 : 1 8 3 - 2 0 8 
 	 U s e f u l   a p p l i c a t i o n  
 f o r   t h e o r i s t :  
 c a l c u l a t i o n s   o f   t h e   
 	 p o p u l a t i o n   a c t i v i t y  
 o f   a   n e t w o r k   o f  
 i n t e g r a t e - a n d - f i r e  
 n e u r o n s .   
 	 
 h t t p : / / w w w . s p r i n g e r l i n k . c o m / c o n t e n t / u 4 4 6 l 5 7 2 2 l p 0 3 6 7 7 / f u l l t e x t . p d f 
 
 
 1 2 )   S c h r e i b e r   ( 2 0 0 0 )  
 P h y s i c a l   R e v i e w   L e t t e r s  
 8 5 ( 2 ) : 4 6 1 - 6 4 
 	 F u t u r e   h o t   t o p i c :  
 C u r r e n t   b e s t   m e t h o d   t o  
 i n f e r   c a u s a l   
 	 r e l a t i o n s h i p s  
 b e t w e e n   n e u r o n s   u s i n g  
 i n f o r m a t i o n   t h e o r y . 
  
	 h t t p : / / p r o l a . a p s . o r g / p d f / P R L / v 8 5 / i 2 / p 4 6 1 _ 1 
 
 - - 
 
 H e r e   a r e   t h e   m o s t  
 i m p o r t a n t   p a p e r s   i n   3    
 s u b j e c t s ,   p l a s t i c i t y   a n d 
 s i m p l e   n e u r o n   m o d e l s   a n d  
 n e t w o r k   d y n a m i c s 
 O f   c o u r s e ,   t h e r e   a r e  
 o t h e r   c a t e g o r i e s   i n  
 C o m p u t a t i o n a l  
 n e u r o s c i e n c e 
 ( d e t a i l e d   n e u r o n   m o d e l ,  
 c o r t e x   m o d e l i n g ,   v i s i o n ,  
 a u d i t i o n   e t c )   o n   w h i c h  
 o t h e r s   w i l l   r e p o r t . 
 
 1 )   I n   p l a s t i c i t y : 
 
 H e b b ,   1 9 4 9   ( b o o k ) 
 
 B i e n e n s t o c k ,   C o o p e r  
 M u n r o ,   J .   N e u r o s c i . 1 9 8 2  
 ( B C M   r u l e ) 
 
 K o h o n e n   N e u r a l  
 N e t w o r k s 1 9 9 3   ( K o h o n e n  
 a l g o   i n   c o m p   n e u r o  
 p e r s p e c t i v e 
                                                  
                                                  
   o t h e r   p a p e r s   o f   h i m  
 w o u l d   a l s o   d o ) 
 H o p f i e l d ,   P N A S ,   1 9 8 2   ( H o p f i e l d   m o d e l ) 
 
 A m i t   G u t f r e u n d  
 S o m p o l i n k s y ,   P h y s   R e v   A ,  
 1 9 8 5   ( A n a l y s i s   o f  
 H o p f i e l d   m o d e l ) 
 
 L i n s k e r   P N A S ,   1 9 8 6   ( e m e r g e n c e   o f   f i e l d ) 
 
 M a c K a y   a n d   M i l l e r   1 9 9 0  
 N e u r a l   C o m p u t .   ( a n a l y s i s  
 o f   L i n s k e r s   r u l e ) 
 
 M i l l e r   a n d   M a c K a y   1 9 9 4  
 N e u r a l   C o m p u t .   t h e   r o l e  
 o f   c o n s t r a i n t s 
 
 G e r s t n e r   e t   a l ,   N a t u r e  
 1 9 9 6   ( f i r s t   p a p e r   o n  
 S T D P ) 
 
 K e m p t e r   e t   a l .   P h y s   R e v  
 E ,   1 9 9 9   ( f i r s t   a n a l y s i s  
 o f   S T D P ) 
 
 L i s m a n ,   P N A S ,   1 9 9 9  
 ( f i r s t   m o d e l   o f  
 p l a s t i c i t y   b a s e d   o n  
 c a l c i u m   d y n a m i c s ) 
 
 S o n g   M i l l e r   A b b o t t ,   N a t .  
 N e u r o s c i ,   2 0 0 0   ( p o p u l a r  
 p a p e r   o n   S T D P ) 
 
 R o s s u m   e t   a l .   2 0 0 0 ,   J .  
 N e u r o s c i e   ( S T D P   w i t h  
 s o f t   b o u n d s   f o r   t h e  
 w e i g h t s ) 
 
 F u s i ,   B i o l o g i c a l  
 C y b e r n e t i c s ,   2 0 0 2   ( s o m e  
 g e n e r a l   p r o b l e m s   o f  
 H e b b i a n   r u l e s   -   n i c e  
 r e v i e w   o f   w o r k   o f   F u s i ) _ 
 
 S h o u v a l   e t   a l . ,   P N A S ,  
 2 0 0 2   ( c a l c i u m   m o d e l   o f  
 p l a s t i c i t y ) 
 
 S e n n   T s o d y k s ,   M a r k r a m ,  
 N e u r a l .   c o m p .   2 0 0 1   ( S T D P  
 a l g o r i t h m ) 
 
 F u s i ,   D r e w ,   A b b o t t   N a t .  
 N e u r o s c i e n c e   2 0 0 5  
 ( C a s c a d e   m o d e l ) 
 
 T o y o i z u m i   e t   a l .   P N A S  
 2 0 0 5   ( B C M   r u l e   f o r  
 s p i k i n g   n e u r o n   a l s o  
 o p t i m i z e d   i n f o r m a t i o n ) 
 
 
 2 )   I n   s i m p l i f i e d   n e u r o n   m o d e l s 
 
 L a p i c q u e   0 7   ( o f t e n   c i t e d  
 a s   f i r s t  
 i n t e g r a t e - a n d - f i r e  
 m o d e l ,   e v e n   t h o u g h   i t  
 d o e s   n o t   s h o w   r e s e t ) 
 
 F i t z H u g h   1 9 6 1 ,   B i o p h y s .  
 J o u r n a l   ( 2 - d i m   n e u r o n  
 m o d e l ) 
 
 S t e i n   1 9 6 7 ,   B i o p h y s .  
 J o u r n a l     ( s o m e   m o d e l s   o f  
 n e u r a l   v a r i a b i l i t y   -  
 i n t e g r a t e - a n d - f i r e   m o d e l  
 w i t h   n o i s e ) 
 
 E r m e n t r o u t   1 9 9 6 ,   N e u r a l  
 C o m p u t . ,   C a n o n i c a l   t y p e  
 I   m o d e l ,   q u a d r a t i c  
 i n t e g r a t e - a n d - f i r e 
 
 K i s t l e r   e t   a l .   1 9 9 7 ,  
 N e u r a l   C o m p u t a t i o n  
 ( s y s t e m a t i c   r e d u c t i o n   t o  
 a   t h r e s h o l d   m o d e l / S p i k e  
 R e s p o n s e   M o d e l ) 
 
 L a t h a m   2 0 0 0 ,   J .  
 N e u r o p h y s .   q u a d r a t i c  
 i n t e g r a t e - a n d - f i r e 
 
 I z h i k e v i c h   2 0 0 3 ,   I E E E ,  
 2 - d i m .   n e u r o n   m o d e l 
 
 F o u r c a u d   e t   a l .   2 0 0 3 ,   J .  
 N e u r o s c i .   e x p .  
 i n t e g r a t e - a n d - f i r e   m o d e l 
 
 J o l i v e t   e t   a l .   2 0 0 6 ,   J .  
 c o m p u t .   N e u r o s c i .   - -  
 s p i k i n g   i n   r e a l   n e u r o n s  
 c a n   b e   e x p l a i n e d   b y  
 t h r e s h o l d   m o d e l s 
 
 B a d e l   e t   a l .   2 0 0 8 ,   J .  
 N e u r o p h y s i o l .   - -   r e a l  
 n e u r o n s   a r e   e x p o n e n t i a l  
 i n t e g r a t e - a n d - f i r e  
 m o d e l s ,   t h i s   i s   a   v e r y  
 r e c e n t   p a p e r , 
                                                  
                                                  
                 b u t   i t   i s   r e a l l y  
 i m p o r t a n t   f o r   t h e  
 d i s c u s s i o n   o f   s i m p l e  
 n e u r o n   m o d e l s 
 
 
 3 )   N e t w o r k   d y n a m i c s 
 
 W i l s o n   a n d   C o w a n ,   1 9 7 2 
 
 A m a r i   1 9 7 4 
 
 B r u n e l   a n d   H a k i m ,   1 9 9 9  
 N e u r a l   C o m p u t a t i o n 
 
 G e r s t n e r   2 0 0 0   N e u r a l   C o m p u t a t i o n 
 
 B r u n e l   2 0 0 0   C o m p u t .   N e u r o s c i 
 
 
 - - 
 
 F i n a l l y ,   I   a m   a t t a c h i n g  
 a   l i s t   o f   g r e a t   p a p e r s .    
 I f   I   w e r e   t r y i n g   t o   g e t  
 o u t s i d e r s   e x c i t e d ,   I ' d  
 d e f i n i t e l y   u s e   t h e   A n d y  
 S c h w a r t z   p a p e r   o n   n e u r a l  
 p r o s t h e t i c s .     A l s o   t h i n k  
 I   w o u l d   d o   O l s h a u s e n   &  
 F i e l d   a s   i t   r e a l l y  
 k i c k e d   p e o p l e   o f f   o n  
 t h i n k i n g   a b o u t   n a t u r a l  
 i m a g e s .     T h e   H o p f i e l d  
 p a p e r   i s   t h e   g r e a t e s t   o f  
 t h e   b u n c h   b u t   i s   l i k e l y  
 t o o   o l d   f o r   w h a t   y o u ' r e  
 l o o k i n g   f o r .    
 S p i k e - t i m i n g - d e p e n d e n t  
 p l a s t i c i t y   i s   a   h o t  
 t o p i c   a n d   I   t h i n k  
 c a r r i e s   o n   a   g r e a t  
 t r a d i t i o n   o f  
 c o m p u t a t i o n a l  
 n e u r o s c i e n t i s t s  
 c o n n e c t i n g   c e l l u l a r  
 p l a s t i c i t y   t o   l a r g e r  
 n e t w o r k   f u n c t i o n s ;   a n d   I  
 t h i n k   P e t e r   D a y a n   ( a n d  
 M o n t a g u e ' s   i n   t h e  
 o r i g i n a l   p a p e r )   w o r k   i s  
 s o m e   o f   t h e   f i r s t   t h a t  
 r e a l l y   p u t s   a   f r a m e w o r k  
 i n   p l a c e   f o r   t h i n k i n g  
 a b o u t   n e u r o m o d u l a t o r s .    
 B u t   t h e y ' r e   a l l   g r e a t ,  
 a n d   I   t r i e d   t o   h i t   m a n y  
 d i f f e r e n t   c o n t r i b u t i o n s  
 ( m a y b e   t h i s   i s   t h e  
 g r e a t e s t   m e s s a g e - - t h a t  
 c o m p u t a t i o n a l  
 n e u r o s c i e n c e   p e r v a d e s   s o  
 m a n y   f i e l d s   f r o m  
 s i n g l e - n e u r o n  
 c o m p u t a t i o n   t o  
 n e u r o m o d u l a t o r s   t o  
 m o d e l s   o f   m e m o r y ) .     
 
 1 .     M o n t a g u e   P R ,   D a y a n  
 P ,   S e j n o w s k i   T J   A  
 f r a m e w o r k   f o r  
 m e s e n c e p h a l i c   d o p a m i n e  
 s y s t e m s   b a s e d   o n  
 p r e d i c t i v e   H e b b i a n  
 l e a r n i n g .     J   N e u r o s c i .  
 1 9 9 6   M a r  
 1 ; 1 6 ( 5 ) : 1 9 3 6 - 4 7 . 
 A b s t r a c t :   W e   d e v e l o p   a  
 t h e o r e t i c a l   f r a m e w o r k  
 t h a t   s h o w s   h o w  
 m e s e n c e p h a l i c   d o p a m i n e  
 s y s t e m s   c o u l d   d i s t r i b u t e  
 t o   t h e i r   t a r g e t s   a  
 s i g n a l   t h a t   r e p r e s e n t s  
 i n f o r m a t i o n   a b o u t   f u t u r e  
 e x p e c t a t i o n s .   I n  
 p a r t i c u l a r ,   w e   s h o w   h o w  
 a c t i v i t y   i n   t h e   c e r e b r a l  
 c o r t e x   c a n   m a k e  
 p r e d i c t i o n s   a b o u t   f u t u r e  
 r e c e i p t   o f   r e w a r d   a n d  
 h o w   f l u c t u a t i o n s   i n   t h e  
 a c t i v i t y   l e v e l s   o f  
 n e u r o n s   i n   d i f f u s e  
 d o p a m i n e   s y s t e m s   a b o v e  
 a n d   b e l o w   b a s e l i n e  
 l e v e l s   w o u l d   r e p r e s e n t  
 e r r o r s   i n   t h e s e  
 p r e d i c t i o n s   t h a t   a r e  
 d e l i v e r e d   t o   c o r t i c a l  
 a n d   s u b c o r t i c a l   t a r g e t s .  
 W e   p r e s e n t   a   m o d e l   f o r  
 h o w   s u c h   e r r o r s   c o u l d   b e  
 c o n s t r u c t e d   i n   a   r e a l  
 b r a i n   t h a t   i s   c o n s i s t e n t  
 w i t h   p h y s i o l o g i c a l  
 r e s u l t s   f o r   a   s u b s e t   o f  
 d o p a m i n e r g i c   n e u r o n s  
 l o c a t e d   i n   t h e   v e n t r a l  
 t e g m e n t a l   a r e a   a n d  
 s u r r o u n d i n g   d o p a m i n e r g i c  
 n e u r o n s .   T h e   t h e o r y   a l s o  
 m a k e s   t e s t a b l e  
 p r e d i c t i o n s   a b o u t   h u m a n  
 c h o i c e   b e h a v i o r   o n   a  
 s i m p l e   d e c i s i o n - m a k i n g  
 t a s k .   F u r t h e r m o r e ,   w e  
 s h o w   t h a t ,   t h r o u g h   a  
 s i m p l e   i n f l u e n c e   o n  
 s y n a p t i c   p l a s t i c i t y ,  
 f l u c t u a t i o n s   i n   d o p a m i n e  
 r e l e a s e   c a n   a c t   t o  
 c h a n g e   t h e   p r e d i c t i o n s  
 i n   a n   a p p r o p r i a t e  
 m a n n e r . 
 T h i s   p a p e r   i s   t h e   f i r s t  
 o f   a   s e r i e s   o f   p a p e r s  
 s e t t i n g   u p   a   f r a m e w o r k  
 f o r   h o w   m e s e n c e p h a l i c  
 d o p a m i n e   n e u r o n s  
 r e p r e s e n t   r e w a r d   a n d   c a n  
 s e r v e   a s   t h e   b a s i s   f o r  

 t e m p o r a l   d i f f e r e n c e 

 - b a s e d   r e w a r d   l e a r n i n g  
 i n   w h i c h   t h e   r e w a r d   i s  
 o f f e r e d   a t   a   d e l a y e d  
 t i m e . 
 
 * 2 .     S t r o n g ,   S . ,  
 K o b e r l e ,   R . ,   d e   R u y t e r  
 v a n   S t e v e n i n c k ,   R .   a n d  
 B i a l e k ,   W .   1 9 9 8 .   E n t r o p y  
 a n d   i n f o r m a t i o n   i n  
 n e u r a l   s p i k e   t r a i n s ,  
 P h y s i c a l   R e v i e w   L e t t e r s  
 8 0 :   1 9 7 - 2 0 0 . 
 A b s t r a c t .   T h e   n e r v o u s  
 s y s t e m   r e p r e s e n t s   t i m e  
 d e p e n d e n t   s i g n a l s   i n  
 s e q u e n c e s   o f   d i s c r e t e ,  
 i d e n t i c a l   a c t i o n  
 p o t e n t i a l s   o r   s p i k e s ;  
 i n f o r m a t i o n   i s   c a r r i e d  
 o n l y   i n   t h e   s p i k e  
 a r r i v a l   t i m e s .   W e   s h o w  
 h o w   t o   q u a n t i f y   t h i s  
 i n f o r m a t i o n ,   i n   b i t s ,  
 f r e e   f r o m   a n y  
 a s s u m p t i o n s   a b o u t   w h i c h  
 f e a t u r e s   o f   t h e   s p i k e  
 t r a i n   o r   i n p u t   s i g n a l  
 a r e   m o s t   i m p o r t a n t ,   a n d  
 w e   a p p l y   t h i s   a p p r o a c h  
 t o   t h e   a n a l y s i s   o f  
 e x p e r i m e n t s   o n   a   m o t i o n  
 s e n s i t i v e   n e u r o n   i n   t h e  
 f l y   v i s u a l   s y s t e m .   T h i s  
 n e u r o n   t r a n s m i t s  
 i n f o r m a t i o n   a b o u t   t h e  
 v i s u a l   s t i m u l u s   a t   r a t e s  
 o f   u p   t o   9 0   b i t s / s ,  
 w i t h i n   a   f a c t o r   o f   2   o f  
 t h e   p h y s i c a l   l i m i t   s e t  
 b y   t h e   e n t r o p y   o f   t h e  
 s p i k e   t r a i n   i t s e l f . 
 T h i s   p a p e r   u s h e r e d   i n   a  
 n e w   s e t   o f   t e c h n i q u e s  
 f o r   c h a r a c t e r i z i n g   s p i k e  
 t r a i n s   u s i n g   t h e   m e t h o d s  
 o f   i n f o r m a t i o n   t h e o r y ,  
 a n d   a l s o   i l l u s t r a t e d  
 t h a t   t h e r e   w a s  
 i n f o r m a t i o n   o n   m u c h  
 s m a l l e r   t i m e   s c a l e s   ( ~ a  
 c o u p l e   m s )   t h a n   h a d  
 t y p i c a l l y   b e e n   a s s u m e d  
 p r e v i o u s l y . 
 
 3 a .   A b b o t t   L F ,   V a r e l a  
 J A ,   S e n   K ,   N e l s o n   S B .  
 S y n a p t i c   d e p r e s s i o n   a n d  
 c o r t i c a l   g a i n  
 c o n t r o l . S c i e n c e .   1 9 9 7  
 J a n   1 0 ; 2 7 5 ( 5 2 9 7 ) : 2 2 0 - 4 
 A b s t r a c t .   C o r t i c a l  
 n e u r o n s   r e c e i v e   s y n a p t i c  
 i n p u t s   f r o m   t h o u s a n d s   o f  
 a f f e r e n t s   t h a t   f i r e  
 a c t i o n   p o t e n t i a l s   a t  
 r a t e s   r a n g i n g   f r o m   l e s s  
 t h a n   1   h e r t z   t o   m o r e  
 t h a n   2 0 0   h e r t z .   B o t h   t h e  
 n u m b e r   o f   a f f e r e n t s   a n d  
 t h e i r   l a r g e   d y n a m i c  
 r a n g e   c a n   m a s k   c h a n g e s  
 i n   t h e   s p a t i a l   a n d  
 t e m p o r a l   p a t t e r n   o f  
 s y n a p t i c   a c t i v i t y ,  
 l i m i t i n g   t h e   a b i l i t y   o f  
 a   c o r t i c a l   n e u r o n   t o  
 r e s p o n d   t o   i t s   i n p u t s .  
 M o d e l i n g   w o r k   b a s e d   o n  
 e x p e r i m e n t a l  
 m e a s u r e m e n t s   i n d i c a t e s  
 t h a t   s h o r t - t e r m  
 d e p r e s s i o n   o f  
 i n t r a c o r t i c a l   s y n a p s e s  
 p r o v i d e s   a   d y n a m i c  
 g a i n - c o n t r o l   m e c h a n i s m  
 t h a t   a l l o w s   e q u a l  
 p e r c e n t a g e   r a t e   c h a n g e s  
 o n   r a p i d l y   a n d   s l o w l y  
 f i r i n g   a f f e r e n t s   t o  
 p r o d u c e   e q u a l  
 p o s t s y n a p t i c   r e s p o n s e s .  
 U n l i k e   i n h i b i t o r y   a n d  
 a d a p t i v e   m e c h a n i s m s   t h a t  
 r e d u c e   r e s p o n s i v e n e s s   t o  
 a l l   i n p u t s ,   s y n a p t i c  
 d e p r e s s i o n   i s  
 i n p u t - s p e c i f i c ,   l e a d i n g  
 t o   a   d r a m a t i c   i n c r e a s e  
 i n   t h e   s e n s i t i v i t y   o f   a  
 n e u r o n   t o   s u b t l e   c h a n g e s  
 i n   t h e   f i r i n g   p a t t e r n s  
 o f   i t s   a f f e r e n t s . 
 
 
 - A N D - 
 
 3 b .   M a r k r a m   H ,   T s o d y k s  
 M .   R e d i s t r i b u t i o n   o f  
 s y n a p t i c   e f f i c a c y  
 b e t w e e n   n e o c o r t i c a l  
 p y r a m i d a l   n e u r o n s .  
 N a t u r e .   1 9 9 6   A u g  
 2 9 ; 3 8 2 ( 6 5 9 4 ) : 8 0 7 - 1 0 . 
 A b s t r a c t .  
 E x p e r i e n c e - d e p e n d e n t  
 p o t e n t i a t i o n   a n d  
 d e p r e s s i o n   o f   s y n a p t i c  
 s t r e n g t h   h a s   b e e n  
 p r o p o s e d   t o   s u b s e r v e  
 l e a r n i n g   a n d   m e m o r y   b y  
 c h a n g i n g   t h e   g a i n   o f  
 s i g n a l s   c o n v e y e d   b e t w e e n  
 n e u r o n s .   H e r e   w e   e x a m i n e  
 s y n a p t i c   p l a s t i c i t y  
 b e t w e e n   i n d i v i d u a l  
 n e o c o r t i c a l   l a y e r - 5  
 p y r a m i d a l   n e u r o n s .   W e  
 s h o w   t h a t   a n   i n c r e a s e   i n  
 t h e   s y n a p t i c   r e s p o n s e ,  
 i n d u c e d   b y   p a i r i n g  
 a c t i o n - p o t e n t i a l  
 a c t i v i t y   i n   p r e -   a n d  
 p o s t s y n a p t i c   n e u r o n s ,  
 w a s   o n l y   o b s e r v e d   w h e n  
 s y n a p t i c   i n p u t   o c c u r r e d  
 a t   l o w   f r e q u e n c i e s .   T h i s  
 f r e q u e n c y - d e p e n d e n t  
 i n c r e a s e   i n   s y n a p t i c  
 r e s p o n s e s   a r i s e s   b e c a u s e  
 o f   a   r e d i s t r i b u t i o n   o f  
 t h e   a v a i l a b l e   s y n a p t i c  
 e f f i c a c y   a n d   n o t   b e c a u s e  
 o f   a n   i n c r e a s e   i n   t h e  
 e f f i c a c y .   R e d i s t r i b u t i o n  
 o f   s y n a p t i c   e f f i c a c y  
 c o u l d   r e p r e s e n t   a  
 m e c h a n i s m   t o   c h a n g e   t h e  
 c o n t e n t ,   r a t h e r   t h a n   t h e  
 g a i n ,   o f   s i g n a l s  
 c o n v e y e d   b e t w e e n  
 n e u r o n s . 
 T h e s e   2   p a p e r s   c o n n e c t e d  
 s h o r t - t e r m   s y n a p t i c  
 p l a s t i c i t y   t o   i m p o r t a n t  
 c o m p u t a t i o n a l  
 i m p l i c a t i o n s . 
 
 4 a .   H o p f i e l d   J J .   N e u r a l  
 n e t w o r k s   a n d   p h y s i c a l  
 s y s t e m s   w i t h   e m e r g e n t  
 c o l l e c t i v e   c o m p u t a t i o n a l  
 a b i l i t i e s .   P r o c   N a t l  
 A c a d   S c i   U   S   A .   1 9 8 2  
 A p r ; 7 9 ( 8 ) : 2 5 5 4 - 8 
 A b s t r a c t .   C o m p u t a t i o n a l  
 p r o p e r t i e s   o f   u s e   o f  
 b i o l o g i c a l   o r g a n i s m s   o r  
 t o   t h e   c o n s t r u c t i o n   o f  
 c o m p u t e r s   c a n   e m e r g e   a s  
 c o l l e c t i v e   p r o p e r t i e s   o f  
 s y s t e m s   h a v i n g   a   l a r g e  
 n u m b e r   o f   s i m p l e  
 e q u i v a l e n t   c o m p o n e n t s  
 ( o r   n e u r o n s ) .   T h e  
 p h y s i c a l   m e a n i n g   o f  
 c o n t e n t - a d d r e s s a b l e  
 m e m o r y   i s   d e s c r i b e d   b y  
 a n   a p p r o p r i a t e   p h a s e  
 s p a c e   f l o w   o f   t h e   s t a t e  
 o f   a   s y s t e m .   A   m o d e l   o f  
 s u c h   a   s y s t e m   i s   g i v e n ,  
 b a s e d   o n   a s p e c t s   o f  
 n e u r o b i o l o g y   b u t   r e a d i l y  
 a d a p t e d   t o   i n t e g r a t e d  
 c i r c u i t s .   T h e   c o l l e c t i v e  
 p r o p e r t i e s   o f   t h i s   m o d e l  
 p r o d u c e   a  
 c o n t e n t - a d d r e s s a b l e  
 m e m o r y   w h i c h   c o r r e c t l y  
 y i e l d s   a n   e n t i r e   m e m o r y  
 f r o m   a n y   s u b p a r t   o f  
 s u f f i c i e n t   s i z e .   T h e  
 a l g o r i t h m   f o r   t h e   t i m e  
 e v o l u t i o n   o f   t h e   s t a t e  
 o f   t h e   s y s t e m   i s   b a s e d  
 o n   a s y n c h r o n o u s   p a r a l l e l  
 p r o c e s s i n g .   A d d i t i o n a l  
 e m e r g e n t   c o l l e c t i v e  
 p r o p e r t i e s   i n c l u d e   s o m e  
 c a p a c i t y   f o r  
 g e n e r a l i z a t i o n ,  
 f a m i l i a r i t y   r e c o g n i t i o n ,  
 c a t e g o r i z a t i o n ,   e r r o r  
 c o r r e c t i o n ,   a n d   t i m e  
 s e q u e n c e   r e t e n t i o n .   T h e  
 c o l l e c t i v e   p r o p e r t i e s  
 a r e   o n l y   w e a k l y  
 s e n s i t i v e   t o   d e t a i l s   o f  
 t h e   m o d e l i n g   o r   t h e  
 f a i l u r e   o f   i n d i v i d u a l  
 d e v i c e s . 
 T h i s   c l a s s i c   p a p e r  
 i l l u s t r a t e d   t h e   i d e a   o f  
 a t t r a c t o r   m o d e l s   a n d   a  
 c o r r e s p o n d e n c e   w i t h  
 e n e r g y   s u r f a c e s .     I t   i s  
 n o w   u n i v e r s a l l y  
 p e r m e a t e s   d i s c u s s i o n s   o f  
 l o n g - t e r m   m e m o r y   s t o r a g e  
 i n   n e t w o r k s ,   e s p e c i a l l y  
 i n   t h e   h i p p o c a m p u s .     I t  
 w a s   f o l l o w e d   m o r e  
 r e c e n t l y   b y   t h e   a r t i c l e  
 b e l o w ,   w h i c h   e x p a n d e d  
 t h e   i d e a   o f   a t t r a c t o r  
 m o d e l s   t o   c o n t i n u o u s  
 a t t r a c t o r s  t h i s   n o w   i s  
 t h e   f r a m e w o r k   f o r  
 d i s c u s s i o n   o f   m a n y  
 n e t w o r k s   s t o r i n g  
 s h o r t - t e r m   m e m o r i e s   ( t h e  
 o t h e r   s e t   o f   m o d e l s  
 b e i n g   t h e   s o - c a l l e d  

 r i n g   m o d e l s 
   b u t   i   a m  
 n o t   s u r e   o f   t h e   o r i g i n a l  
 r e f e r e n c e   f o r   t h o s e ) . 
 
 4 b .   S e u n g   H S .   H o w   t h e  
 b r a i n   k e e p s   t h e   e y e s  
 s t i l l .   P r o c   N a t l   A c a d  
 S c i   U   S   A .   1 9 9 6   N o v  
 1 2 ; 9 3 ( 2 3 ) : 1 3 3 3 9 - 4 4 . 
 A b s t r a c t .   T h e   b r a i n   c a n  
 h o l d   t h e   e y e s   s t i l l  
 b e c a u s e   i t   s t o r e s   a  
 m e m o r y   o f   e y e   p o s i t i o n .  
 T h e   b r a i n ' s   m e m o r y   o f  
 h o r i z o n t a l   e y e   p o s i t i o n  
 a p p e a r s   t o   b e  
 r e p r e s e n t e d   b y  
 p e r s i s t e n t   n e u r a l  
 a c t i v i t y   i n   a   n e t w o r k  
 k n o w n   a s   t h e   n e u r a l  
 i n t e g r a t o r ,   w h i c h   i s  
 l o c a l i z e d   i n   t h e  
 b r a i n s t e m   a n d  
 c e r e b e l l u m .   E x i s t i n g  
 e x p e r i m e n t a l   d a t a   a r e  
 r e i n t e r p r e t e d   a s  
 e v i d e n c e   f o r   a n  
 " a t t r a c t o r   h y p o t h e s i s "  
 t h a t   t h e   p e r s i s t e n t  
 p a t t e r n s   o f   a c t i v i t y  
 o b s e r v e d   i n   t h i s   n e t w o r k  
 f o r m   a n   a t t r a c t i v e   l i n e  
 o f   f i x e d   p o i n t s   i n   i t s  
 s t a t e   s p a c e .   L i n e  
 a t t r a c t o r   d y n a m i c s   c a n  
 b e   p r o d u c e d   i n   l i n e a r   o r  
 n o n l i n e a r   n e u r a l  
 n e t w o r k s   b y   l e a r n i n g  
 m e c h a n i s m s   t h a t  
 p r e c i s e l y   t u n e   p o s i t i v e  
 f e e d b a c k . 
 
 5 a .   S o n g   S ,   M i l l e r   K D ,  
 A b b o t t   L F .   C o m p e t i t i v e  
 H e b b i a n   l e a r n i n g   t h r o u g h  
 s p i k e - t i m i n g - d e p e n d e n t  
 s y n a p t i c   p l a s t i c i t y .   N a t  
 N e u r o s c i .   2 0 0 0  
 S e p ; 3 ( 9 ) : 9 1 9 - 2 6 . 
 A b s t r a c t .   H e b b i a n   m o d e l s  
 o f   d e v e l o p m e n t   a n d  
 l e a r n i n g   r e q u i r e   b o t h  
 a c t i v i t y - d e p e n d e n t  
 s y n a p t i c   p l a s t i c i t y   a n d  
 a   m e c h a n i s m   t h a t   i n d u c e s  
 c o m p e t i t i o n   b e t w e e n  
 d i f f e r e n t   s y n a p s e s .   O n e  
 f o r m   o f   e x p e r i m e n t a l l y  
 o b s e r v e d   l o n g - t e r m  
 s y n a p t i c   p l a s t i c i t y ,  
 w h i c h   w e   c a l l  
 s p i k e - t i m i n g - d e p e n d e n t  
 p l a s t i c i t y   ( S T D P ) ,  
 d e p e n d s   o n   t h e   r e l a t i v e  
 t i m i n g   o f   p r e -   a n d  
 p o s t s y n a p t i c   a c t i o n  
 p o t e n t i a l s .   I n   m o d e l i n g  
 s t u d i e s ,   w e   f i n d   t h a t  
 t h i s   f o r m   o f   s y n a p t i c  
 m o d i f i c a t i o n   c a n  
 a u t o m a t i c a l l y   b a l a n c e  
 s y n a p t i c   s t r e n g t h s   t o  
 m a k e   p o s t s y n a p t i c   f i r i n g  
 i r r e g u l a r   b u t   m o r e  
 s e n s i t i v e   t o   p r e s y n a p t i c  
 s p i k e   t i m i n g .   I t   h a s  
 b e e n   a r g u e d   t h a t   n e u r o n s  
 i n   v i v o   o p e r a t e   i n   s u c h  
 a   b a l a n c e d   r e g i m e .  
 S y n a p s e s   m o d i f i a b l e   b y  
 S T D P   c o m p e t e   f o r   c o n t r o l  
 o f   t h e   t i m i n g   o f  
 p o s t s y n a p t i c   a c t i o n  
 p o t e n t i a l s .   I n p u t s   t h a t  
 f i r e   t h e   p o s t s y n a p t i c  
 n e u r o n   w i t h   s h o r t  
 l a t e n c y   o r   t h a t   a c t   i n  
 c o r r e l a t e d   g r o u p s   a r e  
 a b l e   t o   c o m p e t e   m o s t  
 s u c c e s s f u l l y   a n d   d e v e l o p  
 s t r o n g   s y n a p s e s ,   w h i l e  
 s y n a p s e s   o f  
 l o n g e r - l a t e n c y   o r  
 l e s s - e f f e c t i v e   i n p u t s  
 a r e   w e a k e n e d . 
 
 - A N D - 
 
 
 5 b .   S o n g   S ,   A b b o t t  
 L F . N e u r o n .   C o r t i c a l  
 d e v e l o p m e n t   a n d  
 r e m a p p i n g   t h r o u g h   s p i k e  
 t i m i n g - d e p e n d e n t  
 p l a s t i c i t y .   2 0 0 1   O c t  
 2 5 ; 3 2 ( 2 ) : 3 3 9 - 5 0 
 A b s t r a c t .   L o n g - t e r m  
 m o d i f i c a t i o n   o f   s y n a p t i c  
 e f f i c a c y   c a n   d e p e n d   o n  
 t h e   t i m i n g   o f   p r e -   a n d  
 p o s t s y n a p t i c   a c t i o n  
 p o t e n t i a l s .   I n   m o d e l  
 s t u d i e s ,   s u c h   s p i k e  
 t i m i n g - d e p e n d e n t  
 p l a s t i c i t y   ( S T D P )  
 i n t r o d u c e s   t h e   d e s i r a b l e  
 f e a t u r e s   o f   c o m p e t i t i o n  
 a m o n g   s y n a p s e s   a n d  
 r e g u l a t i o n   o f  
 p o s t s y n a p t i c   f i r i n g  
 c h a r a c t e r i s t i c s .   S T D P  
 s t r e n g t h e n s   s y n a p s e s  
 t h a t   r e c e i v e   c o r r e l a t e d  
 i n p u t ,   w h i c h   c a n   l e a d   t o  
 t h e   f o r m a t i o n   o f  
 s t i m u l u s - s e l e c t i v e  
 c o l u m n s   a n d   t h e  
 d e v e l o p m e n t ,   r e f i n e m e n t ,  
 a n d   m a i n t e n a n c e   o f  
 s e l e c t i v i t y   m a p s   i n  
 n e t w o r k   m o d e l s .   T h e  
 t e m p o r a l   a s y m m e t r y   o f  
 S T D P   s u p p r e s s e s   s t r o n g  
 d e s t a b i l i z i n g  
 s e l f - e x c i t a t o r y   l o o p s  
 a n d   a l l o w s   a   g r o u p   o f  
 n e u r o n s   t h a t   b e c o m e  
 s e l e c t i v e   e a r l y   i n  
 d e v e l o p m e n t   t o   d i r e c t  
 o t h e r   n e u r o n s   t o   b e c o m e  
 s i m i l a r l y   s e l e c t i v e .  
 S T D P ,   a c t i n g   a l o n e  
 w i t h o u t   f u r t h e r  
 h y p o t h e t i c a l   g l o b a l  
 c o n s t r a i n t s   o r  
 a d d i t i o n a l   f o r m s   o f  
 p l a s t i c i t y ,   c a n   a l s o  
 r e p r o d u c e   t h e   r e m a p p i n g  
 s e e n   i n   a d u l t   c o r t e x  
 f o l l o w i n g   a f f e r e n t  
 l e s i o n s . 
 T h e   p a p e r s   a b o v e     h a v e  
 b e e n   s e m i n a l   i n  
 i l l u s t r a t i n g   t h e  
 i m p l i c a t i o n s   f o r  
 l e a r n i n g   o f  
 s p i k e - t i m i n g - d e p e n d e n t  
 s y n a p t i c   p l a s t i c i t y 
 
 6 .   P o l s k y   A ,   M e l   B W ,  
 S c h i l l e r   J .   N a t  
 N e u r o s c i .   2 0 0 4  
 J u n ; 7 ( 6 ) : 6 2 1 - 7 .   E p u b  
 2 0 0 4   M a y   2 3 . 
 C o m p u t a t i o n a l   s u b u n i t s  
 i n   t h i n   d e n d r i t e s   o f  
 p y r a m i d a l   c e l l s . 
 A b s t r a c t .   T h e   t h i n   b a s a l  
 a n d   o b l i q u e   d e n d r i t e s   o f  
 c o r t i c a l   p y r a m i d a l  
 n e u r o n s   r e c e i v e   m o s t   o f  
 t h e   s y n a p t i c   i n p u t s   f r o m  
 o t h e r   c e l l s ,   b u t   t h e i r  
 i n t e g r a t i v e   p r o p e r t i e s  
 r e m a i n   u n c e r t a i n .  
 P r e v i o u s   s t u d i e s   h a v e  
 m o s t   o f t e n   r e p o r t e d  
 g l o b a l   l i n e a r   o r  
 s u b l i n e a r   s u m m a t i o n .   A n  
 a l t e r n a t i v e   v i e w ,  
 s u p p o r t e d   b y   b i o p h y s i c a l  
 m o d e l i n g   s t u d i e s ,   h o l d s  
 t h a t   t h i n   d e n d r i t e s  
 p r o v i d e   a   l a y e r   o f  
 i n d e p e n d e n t  
 c o m p u t a t i o n a l   ' s u b u n i t s '  
 t h a t   s i g m o i d a l l y  
 m o d u l a t e   t h e i r   i n p u t s  
 p r i o r   t o   g l o b a l  
 s u m m a t i o n .   T o  
 d i s t i n g u i s h   t h e s e  
 p o s s i b i l i t i e s ,   w e  
 c o m b i n e d   c o n f o c a l  
 i m a g i n g   a n d   d u a l - s i t e  
 f o c a l   s y n a p t i c  
 s t i m u l a t i o n   o f  
 i d e n t i f i e d   t h i n  
 d e n d r i t e s   i n   r a t  
 n e o c o r t i c a l   p y r a m i d a l  
 n e u r o n s .   W e   f o u n d   t h a t  
 n e a r b y   i n p u t s   o n   t h e  
 s a m e   b r a n c h   s u m m e d  
 s i g m o i d a l l y ,   w h e r e a s  
 w i d e l y   s e p a r a t e d   i n p u t s  
 o r   i n p u t s   t o   d i f f e r e n t  
 b r a n c h e s   s u m m e d  
 l i n e a r l y .   T h i s   s t r o n g  
 s p a t i a l  
 c o m p a r t m e n t a l i z a t i o n  
 e f f e c t   i s   i n c o m p a t i b l e  
 w i t h   a   g l o b a l   s u m m a t i o n  
 r u l e   a n d   p r o v i d e s   t h e  
 f i r s t   e x p e r i m e n t a l  
 s u p p o r t   f o r   a   t w o - l a y e r  
 ' n e u r a l   n e t w o r k '   m o d e l  
 o f   p y r a m i d a l   n e u r o n  
 t h i n - b r a n c h   i n t e g r a t i o n .  
 O u r   f i n d i n g s   c o u l d   h a v e  
 i m p o r t a n t   i m p l i c a t i o n s  
 f o r   t h e   c o m p u t i n g   a n d  
 m e m o r y - r e l a t e d   f u n c t i o n s  
 o f   c o r t i c a l   t i s s u e . 
 T h i s   p a p e r ,   a s   w e l l   a s  
 p r e v i o u s   t h e o r e t i c a l  
 w o r k ,   s u g g e s t s   t h a t  
 d e n d r i t e s   m i g h t   e n a b l e  
 s i n g l e   n e u r o n s   t o   b e h a v e  
 a s   f e e d f o r w a r d   n e u r a l  
 n e t w o r k s . 
 
 7 .   M e d i n a   J F ,   N o r e s   W L ,  
 M a u k   M D .   N a t u r e .   2 0 0 2  
 M a r   2 1 ; 4 1 6 ( 6 8 7 8 ) : 3 3 0 - 3 . 
 I n h i b i t i o n   o f   c l i m b i n g  
 f i b r e s   i s   a   s i g n a l   f o r  
 t h e   e x t i n c t i o n   o f  
 c o n d i t i o n e d   e y e l i d  
 r e s p o n s e s . 
 A b s t r a c t .   A   f u n d a m e n t a l  
 t e n e t   o f   c e r e b e l l a r  
 l e a r n i n g   t h e o r i e s  
 a s s e r t s   t h a t   c l i m b i n g  
 f i b r e   a f f e r e n t s   f r o m   t h e  
 i n f e r i o r   o l i v e   p r o v i d e   a  
 t e a c h i n g   s i g n a l   t h a t  
 p r o m o t e s   t h e   g r a d u a l  
 a d a p t a t i o n   o f   m o v e m e n t s .  
 D a t a   f r o m   s e v e r a l   f o r m s  
 o f   m o t o r   l e a r n i n g  
 p r o v i d e   s u p p o r t   f o r   t h i s  
 t e n e t .   I n   p a v l o v i a n  
 e y e l i d   c o n d i t i o n i n g ,   f o r  
 e x a m p l e ,   w h e r e   a   t o n e   i s  
 r e p e a t e d l y   p a i r e d   w i t h   a  
 r e i n f o r c i n g  
 u n c o n d i t i o n e d   s t i m u l u s  
 l i k e   p e r i o r b i t a l  
 s t i m u l a t i o n ,   t h e  
 u n c o n d i t i o n e d   s t i m u l u s  
 p r o m o t e s   a c q u i s i t i o n   o f  
 c o n d i t i o n e d   e y e l i d  
 r e s p o n s e s   b y   a c t i v a t i n g  
 c l i m b i n g   f i b r e s .  
 C l i m b i n g   f i b r e   a c t i v i t y  
 e l i c i t e d   b y   a n  
 u n c o n d i t i o n e d   s t i m u l u s  
 i s   i n h i b i t e d   d u r i n g   t h e  
 e x p r e s s i o n   o f  
 c o n d i t i o n e d  
 r e s p o n s e s - c o n s i s t e n t  
 w i t h   t h e   i n h i b i t o r y  
 p r o j e c t i o n   f r o m   t h e  
 c e r e b e l l u m   t o   i n f e r i o r  
 o l i v e .   H e r e ,   w e   s h o w  
 t h a t   i n h i b i t i o n   o f  
 c l i m b i n g   f i b r e s   s e r v e s  
 a s   a   t e a c h i n g   s i g n a l   f o r  
 e x t i n c t i o n ,   w h e r e  
 l e a r n i n g   n o t   t o   r e s p o n d  
 i s   s i g n a l l e d   b y  
 p r e s e n t i n g   a   t o n e  
 w i t h o u t   t h e  
 u n c o n d i t i o n e d   s t i m u l u s .  
 W e   u s e d   r e v e r s i b l e  
 i n f u s i o n   o f   s y n a p t i c  
 r e c e p t o r   a n t a g o n i s t s   t o  
 s h o w   t h a t   b l o c k i n g  
 i n h i b i t o r y   i n p u t   t o   t h e  
 c l i m b i n g   f i b r e s   p r e v e n t s  
 e x t i n c t i o n   o f   t h e  
 c o n d i t i o n e d   r e s p o n s e ,  
 w h e r e a s   b l o c k i n g  
 e x c i t a t o r y   i n p u t   i n d u c e s  
 e x t i n c t i o n .   T h e s e  
 r e s u l t s ,   c o m b i n e d   w i t h  
 a n a l y s i s   o f   c l i m b i n g  
 f i b r e   a c t i v i t y   i n   a  
 c o m p u t e r   s i m u l a t i o n   o f  
 t h e   c e r e b e l l a r - o l i v a r y  
 s y s t e m ,   s u g g e s t   t h a t  
 t r a n s i e n t   i n h i b i t i o n   o f  
 c l i m b i n g   f i b r e s   b e l o w  
 t h e i r   b a c k g r o u n d   l e v e l  
 i s   t h e   s i g n a l   t h a t  
 d r i v e s   e x t i n c t i o n . 
 T h i s   i s   o n e   o f   s e v e r a l  
 c o m p u t a t i o n a l   s t u d i e s   b y  
 M a u k   a n d   c o l l a b o r a t o r s  
 t h a t   a r e   e n h a n c i n g   o u r  
 k n o w l e d g e   o f   c e r e b e l l a r  
 p r o c e s s i n g   ( a l s o   s e e  
 s i m i l a r   p a p e r s   b y  
 R a y m o n d   &   L i s b e r g e r  
 a p p l i e d   t o   t h e   V O R ) . 
 
 8 .   O l s h a u s e n   B A ,   F i e l d  
 D J .     N a t u r e .   E m e r g e n c e  
 o f   s i m p l e - c e l l   r e c e p t i v e  
 f i e l d   p r o p e r t i e s   b y  
 l e a r n i n g   a   s p a r s e   c o d e  
 f o r   n a t u r a l   i m a g e s .   1 9 9 6  
 J u n   1 3 ; 3 8 1 ( 6 5 8 3 ) : 6 0 7 - 9 
 A b s t r a c t . T h e   r e c e p t i v e  
 f i e l d s   o f   s i m p l e   c e l l s  
 i n   m a m m a l i a n   p r i m a r y  
 v i s u a l   c o r t e x   c a n   b e  
 c h a r a c t e r i z e d   a s   b e i n g  
 s p a t i a l l y   l o c a l i z e d ,  
 o r i e n t e d   a n d   b a n d p a s s  
 ( s e l e c t i v e   t o   s t r u c t u r e  
 a t   d i f f e r e n t   s p a t i a l  
 s c a l e s ) ,   c o m p a r a b l e   t o  
 t h e   b a s i s   f u n c t i o n s   o f  
 w a v e l e t   t r a n s f o r m s .   O n e  
 a p p r o a c h   t o  
 u n d e r s t a n d i n g   s u c h  
 r e s p o n s e   p r o p e r t i e s   o f  
 v i s u a l   n e u r o n s   h a s   b e e n  
 t o   c o n s i d e r   t h e i r  
 r e l a t i o n s h i p   t o   t h e  
 s t a t i s t i c a l   s t r u c t u r e   o f  
 n a t u r a l   i m a g e s   i n   t e r m s  
 o f   e f f i c i e n t   c o d i n g .  
 A l o n g   t h e s e   l i n e s ,   a  
 n u m b e r   o f   s t u d i e s   h a v e  
 a t t e m p t e d   t o   t r a i n  
 u n s u p e r v i s e d   l e a r n i n g  
 a l g o r i t h m s   o n   n a t u r a l  
 i m a g e s   i n   t h e   h o p e   o f  
 d e v e l o p i n g   r e c e p t i v e  
 f i e l d s   w i t h   s i m i l a r  
 p r o p e r t i e s ,   b u t   n o n e   h a s  
 s u c c e e d e d   i n   p r o d u c i n g   a  
 f u l l   s e t   t h a t   s p a n s   t h e  
 i m a g e   s p a c e   a n d   c o n t a i n s  
 a l l   t h r e e   o f   t h e   a b o v e  
 p r o p e r t i e s .   H e r e   w e  
 i n v e s t i g a t e   t h e   p r o p o s a l  
 t h a t   a   c o d i n g   s t r a t e g y  
 t h a t   m a x i m i z e s  
 s p a r s e n e s s   i s   s u f f i c i e n t  
 t o   a c c o u n t   f o r   t h e s e  
 p r o p e r t i e s .   W e   s h o w   t h a t  
 a   l e a r n i n g   a l g o r i t h m  
 t h a t   a t t e m p t s   t o   f i n d  
 s p a r s e   l i n e a r   c o d e s   f o r  
 n a t u r a l   s c e n e s   w i l l  
 d e v e l o p   a   c o m p l e t e  
 f a m i l y   o f   l o c a l i z e d ,  
 o r i e n t e d ,   b a n d p a s s  
 r e c e p t i v e   f i e l d s ,  
 s i m i l a r   t o   t h o s e   f o u n d  
 i n   t h e   p r i m a r y   v i s u a l  
 c o r t e x .   T h e   r e s u l t i n g  
 s p a r s e   i m a g e   c o d e  
 p r o v i d e s   a   m o r e  
 e f f i c i e n t   r e p r e s e n t a t i o n  
 f o r   l a t e r   s t a g e s   o f  
 p r o c e s s i n g   b e c a u s e   i t  
 p o s s e s s e s   a   h i g h e r  
 d e g r e e   o f   s t a t i s t i c a l  
 i n d e p e n d e n c e   a m o n g   i t s  
 o u t p u t s . 
 T h i s   n o w   c l a s s i c   s t u d y  
 s u g g e s t s   h o w   t h e  
 s t a t i s t i c a l   s t r u c t u r e   o f  
 n a t u r a l   i m a g e s   m a y  
 d e t e r m i n e   t h e   r e s p o n s e  
 p r o p e r t i e s   o f   V 1   c e l l s ,  
 a n d   s e t   t h e   s t a g e   f o r  
 m a n y   l a t e r   s t u d i e s  
 d i s c u s s i n g   t h e   c o n c e p t  
 o f   
 s p a r s e   c o d i n g 
   o f  
 i m a g e s . 
 
 9 .   T a y l o r   D M ,   T i l l e r y  
 S I ,   S c h w a r t z   A B .   D i r e c t  
 c o r t i c a l   c o n t r o l   o f   3 D  
 n e u r o p r o s t h e t i c   d e v i c e s .  
 S c i e n c e .   2 0 0 2   J u n  
 7 ; 2 9 6 ( 5 5 7 4 ) : 1 8 2 9 - 3 2 .   
 A b s t r a c t .  
 T h r e e - d i m e n s i o n a l   ( 3 D )  
 m o v e m e n t   o f  
 n e u r o p r o s t h e t i c   d e v i c e s  
 c a n   b e   c o n t r o l l e d   b y   t h e  
 a c t i v i t y   o f   c o r t i c a l  
 n e u r o n s   w h e n   a p p r o p r i a t e  
 a l g o r i t h m s   a r e   u s e d   t o  
 d e c o d e   i n t e n d e d   m o v e m e n t  
 i n   r e a l   t i m e .   P r e v i o u s  
 s t u d i e s   a s s u m e d   t h a t  
 n e u r o n s   m a i n t a i n   f i x e d  
 t u n i n g   p r o p e r t i e s ,   a n d  
 t h e   s t u d i e s   u s e d  
 s u b j e c t s   w h o   w e r e  
 u n a w a r e   o f   t h e   m o v e m e n t s  
 p r e d i c t e d   b y   t h e i r  
 r e c o r d e d   u n i t s .   I n   t h i s  
 s t u d y ,   s u b j e c t s   h a d  
 r e a l - t i m e   v i s u a l  
 f e e d b a c k   o f   t h e i r  
 b r a i n - c o n t r o l l e d  
 t r a j e c t o r i e s .   C e l l  
 t u n i n g   p r o p e r t i e s  
 c h a n g e d   w h e n   u s e d   f o r  
 b r a i n - c o n t r o l l e d  
 m o v e m e n t s .   B y   u s i n g  
 c o n t r o l   a l g o r i t h m s   t h a t  
 t r a c k   t h e s e   c h a n g e s ,  
 s u b j e c t s   m a d e   l o n g  
 s e q u e n c e s   o f   3 D  
 m o v e m e n t s   u s i n g   f a r  
 f e w e r   c o r t i c a l   u n i t s  
 t h a n   e x p e c t e d .   D a i l y  
 p r a c t i c e   i m p r o v e d  
 m o v e m e n t   a c c u r a c y   a n d  
 t h e   d i r e c t i o n a l   t u n i n g  
 o f   t h e s e   u n i t s . 
 T h i s   r e p r e s e n t s   s o m e   o f  
 t h e   s e m i n a l   w o r k  
 d e c o d i n g   c o r t i c a l  
 a c t i v i t y   t o   c o n t r o l  
 n e u r a l   p r o s t h e t i c s . 
 
 1 0 .   V a n   V r e e s w i j k   C ,  
 A b b o t t   L F ,   E r m e n t r o u t  
 G B .   W h e n   i n h i b i t i o n   n o t  
 e x c i t a t i o n   s y n c h r o n i z e s  
 n e u r a l   f i r i n g .   J   C o m p u t  
 N e u r o s c i .   1 9 9 4  
 D e c ; 1 ( 4 ) : 3 1 3 - 2 1 . 
 A b s t r a c t .   E x c i t a t o r y   a n d  
 i n h i b i t o r y   s y n a p t i c  
 c o u p l i n g   c a n   h a v e  
 c o u n t e r - i n t u i t i v e  
 e f f e c t s   o n   t h e  
 s y n c h r o n i z a t i o n   o f  
 n e u r o n a l   f i r i n g .   W h i l e  
 i t   m i g h t   a p p e a r   t h a t  
 e x c i t a t o r y   c o u p l i n g  
 w o u l d   l e a d   t o  
 s y n c h r o n i z a t i o n ,   w e   s h o w  
 t h a t   f r e q u e n t l y  
 i n h i b i t i o n   r a t h e r   t h a n  
 e x c i t a t i o n   s y n c h r o n i z e s  
 f i r i n g .   W e   s t u d y   t w o  
 i d e n t i c a l   n e u r o n s  
 d e s c r i b e d   b y  
 i n t e g r a t e - a n d - f i r e  
 m o d e l s ,   g e n e r a l  
 p h a s e - c o u p l e d   m o d e l s   o r  
 t h e   H o d g k i n - H u x l e y   m o d e l  
 w i t h   m u t u a l ,  
 n o n - i n s t a n t a n e o u s  
 e x c i t a t o r y   o r   i n h i b i t o r y  
 s y n a p s e s   b e t w e e n   t h e m .  
 W e   f i n d   t h a t   i f   t h e   r i s e  
 t i m e   o f   t h e   s y n a p s e   i s  
 l o n g e r   t h a n   t h e   d u r a t i o n  
 o f   a n   a c t i o n   p o t e n t i a l ,  
 i n h i b i t i o n   n o t  
 e x c i t a t i o n   l e a d s   t o  
 s y n c h r o n i z e d   f i r i n g . 
 
   I f   I   w e r e   t o   u p d a t e ,   I  
 t h i n k   I   w o u l d   a d d   p a p e r s  
 f r o m : 
 
 1 )   N e u r o e c o n o m i c s   &  
 R e i n f o r c e m e n t   L e a r n i n g - -  
 i n   a d d i t i o n   t o   t h e  
 s e m i n a l   w o r k   b y   D a y a n   &  
 S c h u l t z   ( a l r e a d y   i n  
 a t t a c h e d ) ,   p e r h a p s  
 L o e w e n s t e i n / S e u n g   p a p e r  
 o n   m a t c h i n g   b e h a v i o r   a s  
 a   g e n e r i c   c o n s e q u e n c e   o f  
 c o r r e l a t i o n a l   l e a r n i n g  
 r u l e s . 
 
 2 )   B a y e s i a n   n e t w o r k s   - -  
 m a y b e   M a ,   B e c k ,   L a t h a m ,  
 P o u g e t   o r   o t h e r s   o n   i d e a  
 t h a t   t h e   b r a i n   m a y  
 e n c o d e   &   c o m p u t e   w i t h  
 p r o b a b i l i t i e s 
 
 - - 
END OF FILE
--
-- 
Dr Jim Stone,
Psychology Department, Sheffield University, Sheffield, S10 2TP, UK.
Tel: 0114 2226522. http://jim-stone.staff.shef.ac.uk/


More information about the Comp-neuro mailing list