[Comp-neuro] Key papers in computational neuroscience
Jim Stone
j.v.stone at sheffield.ac.uk
Fri Jul 18 12:09:24 CEST 2008
T h i s i s a c o l l e c t i o n o f
r e f e r e n c e s o b t a i n e d i n
r e s p o n s e t o a r e q u e s t
f o r k e y p a p e r s f r o m t h e
c o m p u t a t i o n a l
n e u r o s c i e n c e c o m m u n i t y .
I h a v e e x c l u d e d
s e l f - c i t a t i o n s ( b u t m a n y
o f t h o s e e x c l u d e d p a p e r s
a c t u a l l y a p p e a r i n m y
o w n l i s t o f k e y p a p e r s
b e l o w ) . I h a v e r e m o v e d
t h e n a m e s o f
r e s p o n d e n t s , b u t h a v e
l e f t t h e i r c o m m e n t s i n ,
a s t h e s e c a n b e v e r y
u s e f u l .
M a n y t h a n k s t o a l l t h o s e
w h o c o n t r i b u t e d t o t h i s
w i d e - r a n g i n g c o l l e c t i o n .
J i m S t o n e , 1 8 t h J u l y 2 0 0 8 .
- -
J V S t o n e ' s k e y p a p e r s :
S B L a u g h l i n . A s i m p l e
c o d i n g p r o c e d u r e
e n h a n c e s a n e u r o n ' s
i n f o r m a t i o n
c a p a c i t y . Z N a t u r f o r s c h ,
3 6 c : 9 1 0 { 9 1 2 , 1 9 8 1 .
S e e o t h e r p a p e r s b y
L a u g h l i n w h i c h c o v e r
s i m i l a r m a t e r i a l .
L e t t v i n , J . Y . , M a t u r a n a ,
H . R . , M c C u l l o c h , W . S . ,
a n d P i t t s , W . H . , W h a t
t h e F r o g ¼ s E y e T e l l s t h e
F r o g ' s B r a i n , P r o c .
I n s t . R a d i o E n g r .
4 7 : 1 9 4 0 - 1 9 5 1 , 1 9 5 9 .
B a l l a r d , D H , C o r t i c a l
c o n n e c t i o n s a n d p a r a l l e l
p r o c e s s i n g : S t r u c t u r e
a n d f u n c t i o n , i n V i s i o n ,
i n B r a i n a n d c o o p e r a t i v e
c o m p u t a t i o n , p p 5 6 3 - 6 2 1 ,
1 9 8 7 , A r b i b , M A a n d
H a n s o n A R ( E d s ) .
Y W e i s s , E P S i m o n c e l l i ,
a n d E H A d e l s o n . M o t i o n
i l l u s i o n s a s o p t i m a l
p e r c e p t s .
N a t u r e N e u r o s c i e n c e ,
5 ( 6 ) : 5 9 8 6 0 4 , 2 0 0 2 .
B A O l s h a u s e n a n d D J
F i e l d . S p a r s e c o d i n g o f
s e n s o r y i n p u t s . C u r r e n t
O p i n i o n i n N e u r o b i o l o g y ,
1 4 : 4 8 1 4 8 7 , 2 0 0 4 .
T P o g g i o , V T o r r e , a n d C
K o c h . C o m p u t a t i o n a l
v i s i o n a n d
r e g u l a r i z a t i o n t h e o r y .
N a t u r e , 3 1 7 : 3 1 4 3 1 9 ,
1 9 8 5 .
A A S t o c k e r a n d E P
S i m o n c e l l i . N o i s e
c h a r a c t e r i s t i c s a n d
p r i o r e x p e c t a t i o n s i n
h u m a n v i s u a l s p e e d
p e r c e p t i o n . N a t u r e
N e u r o s c i e n c e , 9 ( 4 ) : 5 7 8
5 8 5 , 2 0 0 6 .
M a r r , D . , a n d T . P o g g i o .
< h t t p : / / c b c l . m i t . e d u / p e o p l e / p o g g i o / j o u r n a l s / m a r r - p o g g i o - s c i e n c e - 1 9 7 6 . p d f >
C o o p e r a t i v e C o m p u t a t i o n
o f S t e r e o D i s p a r i t y ,
S c i e n c e , 1 9 4 , 2 8 3 - 2 8 7 ,
1 9 7 6 .
R u m e l h a r t , D . E . ,
H i n t o n , G . E . , a n d
W i l l i a m s , R . J . L e a r n i n g
r e p r e s e n t a t i o n s b y
b a c k - p r o p a g a t i n g e r r o r s .
N a t u r e , 3 2 3 , 5 3 3 - - 5 3 6 .
H i n t o n , G . E . a n d
N o w l a n , S . J . H o w
l e a r n i n g c a n g u i d e
e v o l u t i o n . C o m p l e x
S y s t e m s , 1 , 4 9 5 - - 5 0 2 .
H i n t o n , G . E . a n d P l a u t ,
D . C . U s i n g f a s t
w e i g h t s t o d e b l u r o l d
m e m o r i e s .
P r o c e e d i n g s o f t h e N i n t h
A n n u a l C o n f e r e n c e o f t h e
C o g n i t i v e S c i e n c e
S o c i e t y , S e a t t l e , W A
B e c k e r , S . a n d H i n t o n ,
G . E . A s e l f - o r g a n i z i n g
n e u r a l n e t w o r k t h a t
d i s c o v e r s s u r f a c e s i n
r a n d o m - d o t s t e r e o g r a m s .
N a t u r e , 3 5 5 : 6 3 5 6 ,
1 6 1 - 1 6 3
A c k l e y , D . H . , H i n t o n ,
G . E . , a n d S e j n o w s k i , T .
J . A l e a r n i n g a l g o r i t h m
f o r B o l t z m a n n m a c h i n e s .
C o g n i t i v e S c i e n c e , 9 , 1 4 7 - 1 6 9 .
@ a r t i c l e { D U R B I N _ W I L L S H A W _ T S P ,
a u t h o r = " D u r b i n , R
a n d W i l l s h a w , D " ,
t i t l e = " A n
a n a l o g u e a p p r o a c h t o t h e
t r a v e l l i n g s a l e s m a n
p r o b l e m u s i n g a n e l a s t i c
n e t m e t h o d " ,
j o u r n a l = " N a t u r e " ,
v o l u m e = " 3 2 6 " ,
n u m b e r = " 6 1 1 4 " ,
p a g e s = " 6 8 9 - 6 9 1 " ,
m o n t h = " " ,
y e a r = " 1 9 8 7 "
}
@ a r t i c l e { D O U G L A S _ C A N O N I C A L _ 8 9 ,
a u t h o r = " D o u g l a s ,
R J a n d M a r t i n , K A C a n d
W h i t t e r i d g e , D " ,
t i t l e = " A
C a n o n i c a l M i c r o c i r c u i t
f o r N e o c o r t e x " ,
j o u r n a l = " N e u r a l C o m p u t a t i o n " ,
v o l u m e = " 1 " ,
n u m b e r = " " ,
p a g e s = " 4 8 0 - 4 8 8 " ,
m o n t h = " " ,
y e a r = " 1 9 8 9 "
}
@ a r t i c l e { S W I N D A L E 8 2 ,
a u t h o r = " S w i n d a l e , N V " ,
t i t l e = " A m o d e l
f o r t h e f o r m a t i o n o f
o r i e n t a t i o n c o l u m n s " ,
j o u r n a l =
" P r o c e e d i n g s R o y a l
S o c i e t y L o n d o n B " ,
v o l u m e = " 2 1 5 " ,
n u m b e r = " " ,
p a g e s = " 2 1 1 - 2 3 0 " ,
m o n t h = " " ,
y e a r = " 1 9 8 2 "
}
Z o h a r y , E , S h a d l e n , M N
a n d N e w s o m e , W T ( 1 9 9 4 ) .
C o r r e l a t e d n e u r o n a l
d i s c h a r g e r a t e a n d i t s
i m p l i c a t i o n s f o r
p s y c h o p h y s i c a l
p e r f o r m a n c e . N a t u r e
3 7 0 : 1 4 0 - 1 4 3 .
H o p f i e l d 's p a p e r s ( s e e b e l o w ) .
- -
H o d g k i n a n d H u x l e y 1 9 5 2 d
( t h e m o d e l i n g p a p e r )
- -
S o n g a n d A b b o t t :
C o r t i c a l d e v e l o p m e n t a n d
r e m a p p i n g t h r o u g h s p i k e
t i m i n g - d e p e n d e n t
p l a s t i c i t y .
N e u r o n 3 2 : 3 3 9 - 5 0 , 2 0 0 1
a n d
B u o n o m a n o a n d M e r z e v i c h :
T e m p o r a l i n f o r m a t i o n
t r a n s f o r m e d i n t o a
s p a t i a l c o d e b y a n e u r a l
n e t w o r k w i t h r e a l i s t i c
p r o p e r t i e s .
S c i e n c e . 1 9 9 5 F e b 1 7 ; 2 6 7 ( 5 2 0 0 ) : 1 0 2 8 - 3 0 .
- -
W i l s o n H R , C o w a n J D .
E x c i t a t o r y a n d
i n h i b i t o r y i n t e r a c t i o n s
i n l o c a l i z e d p o p u l a t i o n s
o f m o d e l
n e u r o n s . B i o p h y s J . 1 9 7 2
J a n ; 1 2 ( 1 ) : 1 - 2 4 .
H . B . B a r l o w , T h e m e c h a n i c a l m i n d .
A n n . R e v . N e u r o s c i . 1 3 1 5 - 2 4 ( 1 9 9 0 )
I t i s a b o u t a s i m p l e
m o d e l o f c o n s c i o u s n e s s .
- -
F r o m t h e c o g n i t i v e s i d e
o f c o m p u t a t i o n a l
n e u r o s c i e n c e a n d I
r e c o m m e n d :
P o u g e t A , D e n e v e S ,
D u h a m e l J R ( 2 0 0 2 ) A
c o m p u t a t i o n a l
p e r s p e c t i v e o n t h e
n e u r a l b a s i s o f
m u l t i s e n s o r y s p a t i a l
r e p r e s e n t a t i o n s . N a t R e v
N e u r o s c i . 3 : 7 4 1 - 7 4 7 .
H a m k e r , F . H . , Z i r n s a k ,
M . , C a l o w , D . , L a p p e , M .
( 2 0 0 8 ) Ý T h e p e r i - s a c c a d i c
p e r c e p t i o n o f o b j e c t s
a n d s p a c e . Ý P L O S
C o m p u t a t i o n a l B i o l o g y
4 ( 2 ) : e 2 1
O l s h a u s e n B A , F i e l d D J .
1 9 9 6 . E m e r g e n c e o f
s i m p l e - c e l l r e c e p t i v e
f i e l d p r o p e r t i e s b y
l e a r n i n g a s p a r s e c o d e
f o r n a t u r a l i m a g e s .
N a t u r e 3 8 1 : 6 0 7 - 9 .
- -
I w a s r e a l l y i n f l u e n c e d b y
@ a r t i c l e { A t i c k 9 2 ,
A u t h o r = { A t i c k , J o s e p h J . } ,
J o u r n a l = { N e t w o r k :
{ C } o m p u t a t i o n i n
{ N } e u r a l { S } y s t e m s } ,
N u m b e r = { 2 } ,
P a g e s = { 2 1 3 - - 5 2 } ,
T i t l e = { C o u l d
{ I } n f o r m a t i o n { T } h e o r y
{ P } r o v i d e a n
{ E } c o l o g i c a l { T } h e o r y o f
{ S } e n s o r y
{ P } r o c e s s i n g ? } ,
V o l u m e = { 3 } ,
Y e a r = { 1 9 9 2 } }
w h i c h i s a r e v i e w p a p e r
r a t h e r r e l a t e d t o t h e
s e m i n a l p a p e r s f r o m
B a r l o w a n d M a r r .
- -
W i l s o n H R , C o w a n J D .
E x c i t a t o r y a n d
i n h i b i t o r y i n t e r a c t i o n s
i n l o c a l i z e d p o p u l a t i o n s
o f m o d e l
n e u r o n s .
B i o p h y s J . 1 9 7 2 J a n ; 1 2 ( 1 ) : 1 - 2 4 .
- -
W i r i n g O p t i m i z a t i o n
D m i t r i B . C h k l o v s k i i
T r a u b ' s C A 1 m o d e l / P i n s k y
R i n z e l 2 c o m p a r t m e n t a l
m o d e l s
E r i k D e S c h u t t e r ' s P u r k i n j e c e l l m o d e l s
H e n r y M a r k r a m ' s C o r t i c a l M o d e l s
R o l l s & T r e v e s - H i p p o c a m p a l N e t w o r k
P o l s k y & M e l - 2 l a y e r
p y r a m i d a l c e l l m o d e l
T e r r y S e j n o w s k i - S y n a p s e , m o d e l d b
U p i n d e r S B h a l l a -
M i l l i o n S y n a p s e s /
B i s t a b l e s y s t e m s
- -
T h e s e p a p e r s i n t r o d u c e d
a c c u r a t e m o d e l s o f
c a l c i u m d y n a m i c s a n d
n e u r o m o d u l a t o r y e f f e c t s
o n i o n c h a n n e l a c t i v i t y .
B h a l l a U S , I y e n g a r R .
E m e r g e n t p r o p e r t i e s o f
n e t w o r k s o f b i o l o g i c a l
s i g n a l i n g p a t h w a y s .
S c i e n c e . 1 9 9 9 J a n 1 5 ; 2 8 3 ( 5 4 0 0 ) : 3 8 1 - 7 .
Z a d o r A , K o c h C , B r o w n T H .
B i o p h y s i c a l m o d e l o f a H e b b i a n s y n a p s e .
P r o c N a t l A c a d S c i U S
A . 1 9 9 0
S e p ; 8 7 ( 1 7 ) : 6 7 1 8 - 2 2 .
H o l m e s W R , L e v y W B . A b s t r a c t
I n s i g h t s i n t o
a s s o c i a t i v e l o n g - t e r m
p o t e n t i a t i o n f r o m
c o m p u t a t i o n a l m o d e l s o f
N M D A r e c e p t o r - m e d i a t e d
c a l c i u m i n f l u x a n d
i n t r a c e l l u l a r c a l c i u m
c o n c e n t r a t i o n c h a n g e s .
J N e u r o p h y s i o l . 1 9 9 0 M a y ; 6 3 ( 5 ) : 1 1 4 8 - 6 8 .
- -
T h e r e a r e t w o
t h e o r e t i c a l p a p e r s
w h i c h , i n m y o p i n i o n ,
h a v e h a d a s t r o n g
i n f l u e n c e o n t h e w a y w e
t h i n k a b o u t s y n a p t i c
t r a n s m i s s i o n a n d s h o r t
t e r m p l a s t i c i t y t o d a y :
A W L i l e y a n d K A N o r t h .
A n e l e c t r i c a l
i n v e s t i g a t i o n o f e f f e c t s
o f r e p e t i t i v e
s t i m u l a t i o n o n m a m m a l i a n
n e u r o m u s c u l a r j u n c t i o n .
J N e u r o p h y s i o l ,
1 6 ( 5 ) : 5 0 9
5 2 7 , S e p 1 9 5 3 .
W J B e t z . D e p r e s s i o n o f
t r a n s m i t t e r r e l e a s e a t
t h e n e u r o m u s c u l a r
j u n c t i o n o f t h e
f r o g . J P h y s i o l , 2 0 6 ( 3 ) : 6 2 9 6 4 4 , 1 9 7 0 .
T h e s e w e r e , o f c o u r s e ,
p u b l i s h e d b e f o r e t h e
t e r m " c o m p u t a t i o n
n e u r o s c i e n c e " w a s u s e d .
T h e f i r s t p r o p o s e d a
m a t h e m a t i c a l m o d e l f o r
v e s i c l e p o o l d e p l e t i o n ,
w h i c h i s s t i l l i n u s e
t o d a y . T h e s e c o n d w a s
t h e f i r s t t o e x t e n d t h i s
w i t h t h e r e l e a s e
p r o b a b i l i t y a s a d y n a m i c
v a r i a b l e . T h e s e i d e a s
w e r e t h e n f u r t h e r
p o p u l a r i s e d b y t h e s e
c l a s s i c p a p e r s :
L F A b b o t t , J A V a r e l a ,
K S e n , a n d S B N e l s o n .
S y n a p t i c d e p r e s s i o n a n d
c o r t i c a l
g a i n c o n t r o l . S c i e n c e ,
2 7 5 ( 5 2 9 7 ) : 2 2 0 2 2 4 , J a n
1 9 9 7 .
M V T s o d y k s a n d H
M a r k r a m . T h e n e u r a l c o d e
b e t w e e n n e o c o r t i c a l
p y r a m i d a l
n e u r o n s d e p e n d s o n
n e u r o t r a n s m i t t e r r e l e a s e
p r o b a b i l i t y . P r o c N a t l
A c a d S c i U S
A , 9 4 ( 2 ) : 7 1 9 7 2 3 , J a n 1 9 9 7 .
W h a t I f o u n d h a v e d u r i n g
m y c o l l a b o r a t i o n s w i t h
b i o l o g i s t s w a s t h a t n o t
s o m u c h t h e p r e c i s e
m a t h e m a t i c a l
f o r m u l a t i o n , b u t t h e
v e r y b a s i c i d e a s a n d
c o n c e p t s e x p l o r e d i n
t h e s e p a p e r s h a v e m a d e a
s t r o n g i m p a c t i n t h e
w h o l e f i e l d , a n d h a v e
c e r t a i n l y c l e a r e d t h e
w a y f o r n u m e r o u s f u r t h e r
t h e o r e t i c a l s t u d i e s .
A n o t h e r p a p e r I h a v e
c o m e a c r o s s j u s t
r e c e n t l y w h i c h I w o u l d
c o n s i d e r a s r a t h e r
i m p o r t a n t a n d u s e f u l i s
t h i s :
J J H o p f i e l d a n d A V M
H e r z . R a p i d L o c a l
S y n c h r o n i z a t i o n o f
A c t i o n P o t e n t i a l s :
T o w a r d C o m p u t a t i o n w i t h
C o u p l e d
I n t e g r a t e - a n d - F i r e
N e u r o n s . P r o c N a t l A c a d
S c i U S
A , 9 2 ( 1 5 ) : 6 6 5 5 - 6 6 6 2 , J u l 1 9 9 5 .
C i t e d m o r e t h a n 1 5 0
t i m e s , i t c o n t a i n s s o m e
s t r o n g r e s u l t s r e g a r d i n g
t h e b e h a v i o u r o f
r e c u r r e n t n e t w o r k s , a n d
a l s o a n t i c i p a t e s a
n u m b e r o f r e s u l t s s h o w n
m o r e r e c e n t l y .
- -
H e r e i s m y t o p 1 2
p a p e r s , i n c h r o n o l o g i c a l
o r d e r . I h a v e g o n e f o r
o n e s t h a t m a k e m y
s c i e n c e h e a r t s i n g , t h a t
i n t r o d u c e a b i g i d e a ,
u s e f u l t o o l , c o n n e c t
e x p e r i m e n t a n d t h e o r y i n
a s a t i s f y i n g w a y , o r a r e
a n e x a m p l e o f
w o r k o n a t o p i c t h a t h a s
b e e n m y s t e r i o u s l y
u n d e r - r e p r e s e n t e d .
I h a v e t r i e d t o b r i e f l y
q u a l i f y w h y t h e y c o u l d
b e t h o u g h t o f a s c l a s s i c
b y t h e w i d e r c o m m u n i t y .
1 ) W i l l s h a w a n d v o n d e r
M a l s b u r g ( 1 9 7 9 ) .
F u t u r e h o t t o p i c :
m o d e l l i n g d e v e l o p m e n t
E x c e l l e n t
i n t e r a c t i o n b e t w e e n
t h e o r y a n d e x p e r i m e n t -
p r e d i c t e d e p h r i n s
a n d e p h r e c e p t o r s .
h t t p : / / w w w . j s t o r . o r g / s t a b l e / p d f p l u s / 2 4 1 8 2 2 6 . p d f
2 ) L a u g h l i n ( 1 9 8 1 ) Z .
N a t u r f o r s c h . C 3 6 : 9 1 0 - 2
B i g i d e a : c o d i n g
m a t c h e s s t i m u l u s
s t a t i s t i c s .
h t t p : / / w w w . n c b i . n l m . n i h . g o v / s i t e s / e n t r e z ? D b = p u b m e d & T e r m T o S e a r c h = 7 3 0 3 8 2 3
3 ) S r i n i v a s a n e t a l .
( 1 9 8 2 ) P r o c . R o y . S o c . B
2 1 6 ( 1 2 0 5 ) : 4 2 7 - 5 9
E x c e l l e n t
i n t e r a c t i o n b e t w e e n
t h e o r y a n d e x p e r i m e n t :
p r e d i c t s r e s p o n s e s
o f f i r s t o r d e r v i s u a l
i n t e r n e u r o n s
i f t h e y e x p l o i t
s p a t i a l a n d t e m p o r a l
c o r r e l a t i o n s t o
r e d u c e r e d u n d a n c y .
h t t p : / / w w w . k y b . t u e b i n g e n . m p g . d e / b e t h g e g r o u p / t e a c h i n g / w s 0 7 0 8 _ s e m _ r e t i n a _ w
h i t e n i n g / S r i n i v a s a n _ e t _ a l _ 1 9 8 2 . p d f
4 ) B u c h s b a u m a n d
G o t t s c h a l k ( 1 9 8 3 ) . P r o c .
R . S o c . B 2 2 0 : 8 9 - 1 1 3
E x c e l l e n t
i n t e r a c t i o n b e t w e e n
t h e o r y a n d e x p e r i m e n t :
u s e s P C A t o
a c c u r a t e l y c a l c u l a t e t h e
c o l o u r c h a n n e l s
t h a t m a x i m i s e
i n f o r m a t i o n
t r a n s m i s s i o n . D e s e r v e s
t o b e
m o r e w i d e l y k n o w n .
h t t p : / / w w w . j s t o r . o r g / s t a b l e / p d f p l u s / 3 5 8 7 3 . p d f
5 ) B i a l e k e t a l . ( 1 9 9 1 ) S c i e n c e
U s e f u l a p p l i c a t i o n
f o r t h e o r i s t : n e a t
m e t h o d f o r
c a l c u l a t i n g s t i m u l u s
f i l t e r s i n t h e r e s p o n s e .
h t t p : / / w w w 2 . h a w a i i . e d u / ~ s s t i l l / n e u r a l _ c o d e _ 9 1 . p d f
6 ) T r e v e s a n d R o l l s
( 1 9 9 2 ) H i p p o c a m p u s
2 ( 2 ) : 1 8 9 - 9 9
E x c e l l e n t
i n t e r a c t i o n b e t w e e n
t h e o r y a n d e x p e r i m e n t :
i d e n t i f i e d t h e
f u n c t i o n o f t h e d e n t a t e
g y r u s i n t h e
h i p p o c a m p u s , a n d
m a t c h e d n e t w o r k
o r g a n i s a t i o n t o
f u n c t i o n f a r m o r e
s u c c e s s f u l l y t h a t M a r r .
h t t p : / / w w w 3 . i n t e r s c i e n c e . w i l e y . c o m / c g i - b i n / f u l l t e x t / 1 0 9 7 1 1 3 3 3 / P D F S T A R T
7 ) V a n H a t e r e n ( 1 9 9 2 ) J .
C o m p P h y s . A 1 7 1 : 1 5 7 - 1 7 0
E x c e l l e n t
i n t e r a c t i o n b e t w e e n
t h e o r y a n d e x p e r i m e n t :
p r e d i c t s v i s u a l
s p a t i o t e m p o r a l r e c e p t i v e
f i e l d s o f c e l l s
c o n n e c t e d t o
p h o t o r e c e p t o r s i n t h e
f l y s o a s t o m a x i m i s e
i n f o r m a t i o n a b o u t
n a t u r a l i m a g e s f r o m
f i r s t p r i n c i p l e s ,
w i t h s t u n n i n g s u c c e s s .
h t t p : / / w w w . s p r i n g e r l i n k . c o m / c o n t e n t / h 4 6 8 1 x 3 4 4 j 3 7 8 2 2 9 / f u l l t e x t . p d f
8 ) W o l p e r t e t a l . ( 1 9 9 5 )
S c i e n c e 2 6 9 ( 5 2 3 2 ) : 1 8 8 0 - 2
B i g i d e a : i n t e r n a l
m o d e l s a n d t h e u s e o f
p r i o r s .
h t t p : / / k e c k . u c s f . e d u / ~ h o u d e / s e n s o r i m o t o r _ j c / D M W o l p e r t 9 5 a . p d f
9 ) Z e m e l e t a l . ( 1 9 9 8 )
N e u r . C o m p . 1 0 ( 2 ) : 4 0 3 - 3 0
B i g i d e a : n e u r o n s
e n c o d e d i s t r i b u t i o n s ,
n o t s i n g l e v a l u e s
h t t p : / / w w w . g a t s b y . u c l . a c . u k / ~ d a y a n / p a p e r s / z d p 9 8 . p d f
1 0 ) V a n R o s s u m e t a l .
( 2 0 0 0 ) J . N e u r o .
2 0 ( 2 3 ) : 8 8 1 2 - 2 1
E x c e l l e n t
i n t e r a c t i o n b e t w e e n
t h e o r y a n d e x p e r i m e n t :
S i m p l e a p p l i c a t i o n
o f F o k k e r - P l a n c k
e q u a t i o n p h y s i c s t o
e x p l a i n f u n c t i o n a l
c o n s e q u e n c e s t o t h e
n e t w o r k o f
c e l l u l a r l e v e l e x p e r i m e n t a l d a t a .
h t t p : / / w w w . j n e u r o s c i . o r g / c g i / r e p r i n t / 2 0 / 2 3 / 8 8 1 2 . p d f
1 1 ) B r u n e l ( 2 0 0 0 ) J .
C o m p . N e u r o 8 : 1 8 3 - 2 0 8
U s e f u l a p p l i c a t i o n
f o r t h e o r i s t :
c a l c u l a t i o n s o f t h e
p o p u l a t i o n a c t i v i t y
o f a n e t w o r k o f
i n t e g r a t e - a n d - f i r e
n e u r o n s .
h t t p : / / w w w . s p r i n g e r l i n k . c o m / c o n t e n t / u 4 4 6 l 5 7 2 2 l p 0 3 6 7 7 / f u l l t e x t . p d f
1 2 ) S c h r e i b e r ( 2 0 0 0 )
P h y s i c a l R e v i e w L e t t e r s
8 5 ( 2 ) : 4 6 1 - 6 4
F u t u r e h o t t o p i c :
C u r r e n t b e s t m e t h o d t o
i n f e r c a u s a l
r e l a t i o n s h i p s
b e t w e e n n e u r o n s u s i n g
i n f o r m a t i o n t h e o r y .
h t t p : / / p r o l a . a p s . o r g / p d f / P R L / v 8 5 / i 2 / p 4 6 1 _ 1
- -
H e r e a r e t h e m o s t
i m p o r t a n t p a p e r s i n 3
s u b j e c t s , p l a s t i c i t y a n d
s i m p l e n e u r o n m o d e l s a n d
n e t w o r k d y n a m i c s
O f c o u r s e , t h e r e a r e
o t h e r c a t e g o r i e s i n
C o m p u t a t i o n a l
n e u r o s c i e n c e
( d e t a i l e d n e u r o n m o d e l ,
c o r t e x m o d e l i n g , v i s i o n ,
a u d i t i o n e t c ) o n w h i c h
o t h e r s w i l l r e p o r t .
1 ) I n p l a s t i c i t y :
H e b b , 1 9 4 9 ( b o o k )
B i e n e n s t o c k , C o o p e r
M u n r o , J . N e u r o s c i . 1 9 8 2
( B C M r u l e )
K o h o n e n N e u r a l
N e t w o r k s 1 9 9 3 ( K o h o n e n
a l g o i n c o m p n e u r o
p e r s p e c t i v e
o t h e r p a p e r s o f h i m
w o u l d a l s o d o )
H o p f i e l d , P N A S , 1 9 8 2 ( H o p f i e l d m o d e l )
A m i t G u t f r e u n d
S o m p o l i n k s y , P h y s R e v A ,
1 9 8 5 ( A n a l y s i s o f
H o p f i e l d m o d e l )
L i n s k e r P N A S , 1 9 8 6 ( e m e r g e n c e o f f i e l d )
M a c K a y a n d M i l l e r 1 9 9 0
N e u r a l C o m p u t . ( a n a l y s i s
o f L i n s k e r s r u l e )
M i l l e r a n d M a c K a y 1 9 9 4
N e u r a l C o m p u t . t h e r o l e
o f c o n s t r a i n t s
G e r s t n e r e t a l , N a t u r e
1 9 9 6 ( f i r s t p a p e r o n
S T D P )
K e m p t e r e t a l . P h y s R e v
E , 1 9 9 9 ( f i r s t a n a l y s i s
o f S T D P )
L i s m a n , P N A S , 1 9 9 9
( f i r s t m o d e l o f
p l a s t i c i t y b a s e d o n
c a l c i u m d y n a m i c s )
S o n g M i l l e r A b b o t t , N a t .
N e u r o s c i , 2 0 0 0 ( p o p u l a r
p a p e r o n S T D P )
R o s s u m e t a l . 2 0 0 0 , J .
N e u r o s c i e ( S T D P w i t h
s o f t b o u n d s f o r t h e
w e i g h t s )
F u s i , B i o l o g i c a l
C y b e r n e t i c s , 2 0 0 2 ( s o m e
g e n e r a l p r o b l e m s o f
H e b b i a n r u l e s - n i c e
r e v i e w o f w o r k o f F u s i ) _
S h o u v a l e t a l . , P N A S ,
2 0 0 2 ( c a l c i u m m o d e l o f
p l a s t i c i t y )
S e n n T s o d y k s , M a r k r a m ,
N e u r a l . c o m p . 2 0 0 1 ( S T D P
a l g o r i t h m )
F u s i , D r e w , A b b o t t N a t .
N e u r o s c i e n c e 2 0 0 5
( C a s c a d e m o d e l )
T o y o i z u m i e t a l . P N A S
2 0 0 5 ( B C M r u l e f o r
s p i k i n g n e u r o n a l s o
o p t i m i z e d i n f o r m a t i o n )
2 ) I n s i m p l i f i e d n e u r o n m o d e l s
L a p i c q u e 0 7 ( o f t e n c i t e d
a s f i r s t
i n t e g r a t e - a n d - f i r e
m o d e l , e v e n t h o u g h i t
d o e s n o t s h o w r e s e t )
F i t z H u g h 1 9 6 1 , B i o p h y s .
J o u r n a l ( 2 - d i m n e u r o n
m o d e l )
S t e i n 1 9 6 7 , B i o p h y s .
J o u r n a l ( s o m e m o d e l s o f
n e u r a l v a r i a b i l i t y -
i n t e g r a t e - a n d - f i r e m o d e l
w i t h n o i s e )
E r m e n t r o u t 1 9 9 6 , N e u r a l
C o m p u t . , C a n o n i c a l t y p e
I m o d e l , q u a d r a t i c
i n t e g r a t e - a n d - f i r e
K i s t l e r e t a l . 1 9 9 7 ,
N e u r a l C o m p u t a t i o n
( s y s t e m a t i c r e d u c t i o n t o
a t h r e s h o l d m o d e l / S p i k e
R e s p o n s e M o d e l )
L a t h a m 2 0 0 0 , J .
N e u r o p h y s . q u a d r a t i c
i n t e g r a t e - a n d - f i r e
I z h i k e v i c h 2 0 0 3 , I E E E ,
2 - d i m . n e u r o n m o d e l
F o u r c a u d e t a l . 2 0 0 3 , J .
N e u r o s c i . e x p .
i n t e g r a t e - a n d - f i r e m o d e l
J o l i v e t e t a l . 2 0 0 6 , J .
c o m p u t . N e u r o s c i . - -
s p i k i n g i n r e a l n e u r o n s
c a n b e e x p l a i n e d b y
t h r e s h o l d m o d e l s
B a d e l e t a l . 2 0 0 8 , J .
N e u r o p h y s i o l . - - r e a l
n e u r o n s a r e e x p o n e n t i a l
i n t e g r a t e - a n d - f i r e
m o d e l s , t h i s i s a v e r y
r e c e n t p a p e r ,
b u t i t i s r e a l l y
i m p o r t a n t f o r t h e
d i s c u s s i o n o f s i m p l e
n e u r o n m o d e l s
3 ) N e t w o r k d y n a m i c s
W i l s o n a n d C o w a n , 1 9 7 2
A m a r i 1 9 7 4
B r u n e l a n d H a k i m , 1 9 9 9
N e u r a l C o m p u t a t i o n
G e r s t n e r 2 0 0 0 N e u r a l C o m p u t a t i o n
B r u n e l 2 0 0 0 C o m p u t . N e u r o s c i
- -
F i n a l l y , I a m a t t a c h i n g
a l i s t o f g r e a t p a p e r s .
I f I w e r e t r y i n g t o g e t
o u t s i d e r s e x c i t e d , I ' d
d e f i n i t e l y u s e t h e A n d y
S c h w a r t z p a p e r o n n e u r a l
p r o s t h e t i c s . A l s o t h i n k
I w o u l d d o O l s h a u s e n &
F i e l d a s i t r e a l l y
k i c k e d p e o p l e o f f o n
t h i n k i n g a b o u t n a t u r a l
i m a g e s . T h e H o p f i e l d
p a p e r i s t h e g r e a t e s t o f
t h e b u n c h b u t i s l i k e l y
t o o o l d f o r w h a t y o u ' r e
l o o k i n g f o r .
S p i k e - t i m i n g - d e p e n d e n t
p l a s t i c i t y i s a h o t
t o p i c a n d I t h i n k
c a r r i e s o n a g r e a t
t r a d i t i o n o f
c o m p u t a t i o n a l
n e u r o s c i e n t i s t s
c o n n e c t i n g c e l l u l a r
p l a s t i c i t y t o l a r g e r
n e t w o r k f u n c t i o n s ; a n d I
t h i n k P e t e r D a y a n ( a n d
M o n t a g u e ' s i n t h e
o r i g i n a l p a p e r ) w o r k i s
s o m e o f t h e f i r s t t h a t
r e a l l y p u t s a f r a m e w o r k
i n p l a c e f o r t h i n k i n g
a b o u t n e u r o m o d u l a t o r s .
B u t t h e y ' r e a l l g r e a t ,
a n d I t r i e d t o h i t m a n y
d i f f e r e n t c o n t r i b u t i o n s
( m a y b e t h i s i s t h e
g r e a t e s t m e s s a g e - - t h a t
c o m p u t a t i o n a l
n e u r o s c i e n c e p e r v a d e s s o
m a n y f i e l d s f r o m
s i n g l e - n e u r o n
c o m p u t a t i o n t o
n e u r o m o d u l a t o r s t o
m o d e l s o f m e m o r y ) .
1 . M o n t a g u e P R , D a y a n
P , S e j n o w s k i T J A
f r a m e w o r k f o r
m e s e n c e p h a l i c d o p a m i n e
s y s t e m s b a s e d o n
p r e d i c t i v e H e b b i a n
l e a r n i n g . J N e u r o s c i .
1 9 9 6 M a r
1 ; 1 6 ( 5 ) : 1 9 3 6 - 4 7 .
A b s t r a c t : W e d e v e l o p a
t h e o r e t i c a l f r a m e w o r k
t h a t s h o w s h o w
m e s e n c e p h a l i c d o p a m i n e
s y s t e m s c o u l d d i s t r i b u t e
t o t h e i r t a r g e t s a
s i g n a l t h a t r e p r e s e n t s
i n f o r m a t i o n a b o u t f u t u r e
e x p e c t a t i o n s . I n
p a r t i c u l a r , w e s h o w h o w
a c t i v i t y i n t h e c e r e b r a l
c o r t e x c a n m a k e
p r e d i c t i o n s a b o u t f u t u r e
r e c e i p t o f r e w a r d a n d
h o w f l u c t u a t i o n s i n t h e
a c t i v i t y l e v e l s o f
n e u r o n s i n d i f f u s e
d o p a m i n e s y s t e m s a b o v e
a n d b e l o w b a s e l i n e
l e v e l s w o u l d r e p r e s e n t
e r r o r s i n t h e s e
p r e d i c t i o n s t h a t a r e
d e l i v e r e d t o c o r t i c a l
a n d s u b c o r t i c a l t a r g e t s .
W e p r e s e n t a m o d e l f o r
h o w s u c h e r r o r s c o u l d b e
c o n s t r u c t e d i n a r e a l
b r a i n t h a t i s c o n s i s t e n t
w i t h p h y s i o l o g i c a l
r e s u l t s f o r a s u b s e t o f
d o p a m i n e r g i c n e u r o n s
l o c a t e d i n t h e v e n t r a l
t e g m e n t a l a r e a a n d
s u r r o u n d i n g d o p a m i n e r g i c
n e u r o n s . T h e t h e o r y a l s o
m a k e s t e s t a b l e
p r e d i c t i o n s a b o u t h u m a n
c h o i c e b e h a v i o r o n a
s i m p l e d e c i s i o n - m a k i n g
t a s k . F u r t h e r m o r e , w e
s h o w t h a t , t h r o u g h a
s i m p l e i n f l u e n c e o n
s y n a p t i c p l a s t i c i t y ,
f l u c t u a t i o n s i n d o p a m i n e
r e l e a s e c a n a c t t o
c h a n g e t h e p r e d i c t i o n s
i n a n a p p r o p r i a t e
m a n n e r .
T h i s p a p e r i s t h e f i r s t
o f a s e r i e s o f p a p e r s
s e t t i n g u p a f r a m e w o r k
f o r h o w m e s e n c e p h a l i c
d o p a m i n e n e u r o n s
r e p r e s e n t r e w a r d a n d c a n
s e r v e a s t h e b a s i s f o r
t e m p o r a l d i f f e r e n c e
- b a s e d r e w a r d l e a r n i n g
i n w h i c h t h e r e w a r d i s
o f f e r e d a t a d e l a y e d
t i m e .
* 2 . S t r o n g , S . ,
K o b e r l e , R . , d e R u y t e r
v a n S t e v e n i n c k , R . a n d
B i a l e k , W . 1 9 9 8 . E n t r o p y
a n d i n f o r m a t i o n i n
n e u r a l s p i k e t r a i n s ,
P h y s i c a l R e v i e w L e t t e r s
8 0 : 1 9 7 - 2 0 0 .
A b s t r a c t . T h e n e r v o u s
s y s t e m r e p r e s e n t s t i m e
d e p e n d e n t s i g n a l s i n
s e q u e n c e s o f d i s c r e t e ,
i d e n t i c a l a c t i o n
p o t e n t i a l s o r s p i k e s ;
i n f o r m a t i o n i s c a r r i e d
o n l y i n t h e s p i k e
a r r i v a l t i m e s . W e s h o w
h o w t o q u a n t i f y t h i s
i n f o r m a t i o n , i n b i t s ,
f r e e f r o m a n y
a s s u m p t i o n s a b o u t w h i c h
f e a t u r e s o f t h e s p i k e
t r a i n o r i n p u t s i g n a l
a r e m o s t i m p o r t a n t , a n d
w e a p p l y t h i s a p p r o a c h
t o t h e a n a l y s i s o f
e x p e r i m e n t s o n a m o t i o n
s e n s i t i v e n e u r o n i n t h e
f l y v i s u a l s y s t e m . T h i s
n e u r o n t r a n s m i t s
i n f o r m a t i o n a b o u t t h e
v i s u a l s t i m u l u s a t r a t e s
o f u p t o 9 0 b i t s / s ,
w i t h i n a f a c t o r o f 2 o f
t h e p h y s i c a l l i m i t s e t
b y t h e e n t r o p y o f t h e
s p i k e t r a i n i t s e l f .
T h i s p a p e r u s h e r e d i n a
n e w s e t o f t e c h n i q u e s
f o r c h a r a c t e r i z i n g s p i k e
t r a i n s u s i n g t h e m e t h o d s
o f i n f o r m a t i o n t h e o r y ,
a n d a l s o i l l u s t r a t e d
t h a t t h e r e w a s
i n f o r m a t i o n o n m u c h
s m a l l e r t i m e s c a l e s ( ~ a
c o u p l e m s ) t h a n h a d
t y p i c a l l y b e e n a s s u m e d
p r e v i o u s l y .
3 a . A b b o t t L F , V a r e l a
J A , S e n K , N e l s o n S B .
S y n a p t i c d e p r e s s i o n a n d
c o r t i c a l g a i n
c o n t r o l . S c i e n c e . 1 9 9 7
J a n 1 0 ; 2 7 5 ( 5 2 9 7 ) : 2 2 0 - 4
A b s t r a c t . C o r t i c a l
n e u r o n s r e c e i v e s y n a p t i c
i n p u t s f r o m t h o u s a n d s o f
a f f e r e n t s t h a t f i r e
a c t i o n p o t e n t i a l s a t
r a t e s r a n g i n g f r o m l e s s
t h a n 1 h e r t z t o m o r e
t h a n 2 0 0 h e r t z . B o t h t h e
n u m b e r o f a f f e r e n t s a n d
t h e i r l a r g e d y n a m i c
r a n g e c a n m a s k c h a n g e s
i n t h e s p a t i a l a n d
t e m p o r a l p a t t e r n o f
s y n a p t i c a c t i v i t y ,
l i m i t i n g t h e a b i l i t y o f
a c o r t i c a l n e u r o n t o
r e s p o n d t o i t s i n p u t s .
M o d e l i n g w o r k b a s e d o n
e x p e r i m e n t a l
m e a s u r e m e n t s i n d i c a t e s
t h a t s h o r t - t e r m
d e p r e s s i o n o f
i n t r a c o r t i c a l s y n a p s e s
p r o v i d e s a d y n a m i c
g a i n - c o n t r o l m e c h a n i s m
t h a t a l l o w s e q u a l
p e r c e n t a g e r a t e c h a n g e s
o n r a p i d l y a n d s l o w l y
f i r i n g a f f e r e n t s t o
p r o d u c e e q u a l
p o s t s y n a p t i c r e s p o n s e s .
U n l i k e i n h i b i t o r y a n d
a d a p t i v e m e c h a n i s m s t h a t
r e d u c e r e s p o n s i v e n e s s t o
a l l i n p u t s , s y n a p t i c
d e p r e s s i o n i s
i n p u t - s p e c i f i c , l e a d i n g
t o a d r a m a t i c i n c r e a s e
i n t h e s e n s i t i v i t y o f a
n e u r o n t o s u b t l e c h a n g e s
i n t h e f i r i n g p a t t e r n s
o f i t s a f f e r e n t s .
- A N D -
3 b . M a r k r a m H , T s o d y k s
M . R e d i s t r i b u t i o n o f
s y n a p t i c e f f i c a c y
b e t w e e n n e o c o r t i c a l
p y r a m i d a l n e u r o n s .
N a t u r e . 1 9 9 6 A u g
2 9 ; 3 8 2 ( 6 5 9 4 ) : 8 0 7 - 1 0 .
A b s t r a c t .
E x p e r i e n c e - d e p e n d e n t
p o t e n t i a t i o n a n d
d e p r e s s i o n o f s y n a p t i c
s t r e n g t h h a s b e e n
p r o p o s e d t o s u b s e r v e
l e a r n i n g a n d m e m o r y b y
c h a n g i n g t h e g a i n o f
s i g n a l s c o n v e y e d b e t w e e n
n e u r o n s . H e r e w e e x a m i n e
s y n a p t i c p l a s t i c i t y
b e t w e e n i n d i v i d u a l
n e o c o r t i c a l l a y e r - 5
p y r a m i d a l n e u r o n s . W e
s h o w t h a t a n i n c r e a s e i n
t h e s y n a p t i c r e s p o n s e ,
i n d u c e d b y p a i r i n g
a c t i o n - p o t e n t i a l
a c t i v i t y i n p r e - a n d
p o s t s y n a p t i c n e u r o n s ,
w a s o n l y o b s e r v e d w h e n
s y n a p t i c i n p u t o c c u r r e d
a t l o w f r e q u e n c i e s . T h i s
f r e q u e n c y - d e p e n d e n t
i n c r e a s e i n s y n a p t i c
r e s p o n s e s a r i s e s b e c a u s e
o f a r e d i s t r i b u t i o n o f
t h e a v a i l a b l e s y n a p t i c
e f f i c a c y a n d n o t b e c a u s e
o f a n i n c r e a s e i n t h e
e f f i c a c y . R e d i s t r i b u t i o n
o f s y n a p t i c e f f i c a c y
c o u l d r e p r e s e n t a
m e c h a n i s m t o c h a n g e t h e
c o n t e n t , r a t h e r t h a n t h e
g a i n , o f s i g n a l s
c o n v e y e d b e t w e e n
n e u r o n s .
T h e s e 2 p a p e r s c o n n e c t e d
s h o r t - t e r m s y n a p t i c
p l a s t i c i t y t o i m p o r t a n t
c o m p u t a t i o n a l
i m p l i c a t i o n s .
4 a . H o p f i e l d J J . N e u r a l
n e t w o r k s a n d p h y s i c a l
s y s t e m s w i t h e m e r g e n t
c o l l e c t i v e c o m p u t a t i o n a l
a b i l i t i e s . P r o c N a t l
A c a d S c i U S A . 1 9 8 2
A p r ; 7 9 ( 8 ) : 2 5 5 4 - 8
A b s t r a c t . C o m p u t a t i o n a l
p r o p e r t i e s o f u s e o f
b i o l o g i c a l o r g a n i s m s o r
t o t h e c o n s t r u c t i o n o f
c o m p u t e r s c a n e m e r g e a s
c o l l e c t i v e p r o p e r t i e s o f
s y s t e m s h a v i n g a l a r g e
n u m b e r o f s i m p l e
e q u i v a l e n t c o m p o n e n t s
( o r n e u r o n s ) . T h e
p h y s i c a l m e a n i n g o f
c o n t e n t - a d d r e s s a b l e
m e m o r y i s d e s c r i b e d b y
a n a p p r o p r i a t e p h a s e
s p a c e f l o w o f t h e s t a t e
o f a s y s t e m . A m o d e l o f
s u c h a s y s t e m i s g i v e n ,
b a s e d o n a s p e c t s o f
n e u r o b i o l o g y b u t r e a d i l y
a d a p t e d t o i n t e g r a t e d
c i r c u i t s . T h e c o l l e c t i v e
p r o p e r t i e s o f t h i s m o d e l
p r o d u c e a
c o n t e n t - a d d r e s s a b l e
m e m o r y w h i c h c o r r e c t l y
y i e l d s a n e n t i r e m e m o r y
f r o m a n y s u b p a r t o f
s u f f i c i e n t s i z e . T h e
a l g o r i t h m f o r t h e t i m e
e v o l u t i o n o f t h e s t a t e
o f t h e s y s t e m i s b a s e d
o n a s y n c h r o n o u s p a r a l l e l
p r o c e s s i n g . A d d i t i o n a l
e m e r g e n t c o l l e c t i v e
p r o p e r t i e s i n c l u d e s o m e
c a p a c i t y f o r
g e n e r a l i z a t i o n ,
f a m i l i a r i t y r e c o g n i t i o n ,
c a t e g o r i z a t i o n , e r r o r
c o r r e c t i o n , a n d t i m e
s e q u e n c e r e t e n t i o n . T h e
c o l l e c t i v e p r o p e r t i e s
a r e o n l y w e a k l y
s e n s i t i v e t o d e t a i l s o f
t h e m o d e l i n g o r t h e
f a i l u r e o f i n d i v i d u a l
d e v i c e s .
T h i s c l a s s i c p a p e r
i l l u s t r a t e d t h e i d e a o f
a t t r a c t o r m o d e l s a n d a
c o r r e s p o n d e n c e w i t h
e n e r g y s u r f a c e s . I t i s
n o w u n i v e r s a l l y
p e r m e a t e s d i s c u s s i o n s o f
l o n g - t e r m m e m o r y s t o r a g e
i n n e t w o r k s , e s p e c i a l l y
i n t h e h i p p o c a m p u s . I t
w a s f o l l o w e d m o r e
r e c e n t l y b y t h e a r t i c l e
b e l o w , w h i c h e x p a n d e d
t h e i d e a o f a t t r a c t o r
m o d e l s t o c o n t i n u o u s
a t t r a c t o r s t h i s n o w i s
t h e f r a m e w o r k f o r
d i s c u s s i o n o f m a n y
n e t w o r k s s t o r i n g
s h o r t - t e r m m e m o r i e s ( t h e
o t h e r s e t o f m o d e l s
b e i n g t h e s o - c a l l e d
r i n g m o d e l s
b u t i a m
n o t s u r e o f t h e o r i g i n a l
r e f e r e n c e f o r t h o s e ) .
4 b . S e u n g H S . H o w t h e
b r a i n k e e p s t h e e y e s
s t i l l . P r o c N a t l A c a d
S c i U S A . 1 9 9 6 N o v
1 2 ; 9 3 ( 2 3 ) : 1 3 3 3 9 - 4 4 .
A b s t r a c t . T h e b r a i n c a n
h o l d t h e e y e s s t i l l
b e c a u s e i t s t o r e s a
m e m o r y o f e y e p o s i t i o n .
T h e b r a i n ' s m e m o r y o f
h o r i z o n t a l e y e p o s i t i o n
a p p e a r s t o b e
r e p r e s e n t e d b y
p e r s i s t e n t n e u r a l
a c t i v i t y i n a n e t w o r k
k n o w n a s t h e n e u r a l
i n t e g r a t o r , w h i c h i s
l o c a l i z e d i n t h e
b r a i n s t e m a n d
c e r e b e l l u m . E x i s t i n g
e x p e r i m e n t a l d a t a a r e
r e i n t e r p r e t e d a s
e v i d e n c e f o r a n
" a t t r a c t o r h y p o t h e s i s "
t h a t t h e p e r s i s t e n t
p a t t e r n s o f a c t i v i t y
o b s e r v e d i n t h i s n e t w o r k
f o r m a n a t t r a c t i v e l i n e
o f f i x e d p o i n t s i n i t s
s t a t e s p a c e . L i n e
a t t r a c t o r d y n a m i c s c a n
b e p r o d u c e d i n l i n e a r o r
n o n l i n e a r n e u r a l
n e t w o r k s b y l e a r n i n g
m e c h a n i s m s t h a t
p r e c i s e l y t u n e p o s i t i v e
f e e d b a c k .
5 a . S o n g S , M i l l e r K D ,
A b b o t t L F . C o m p e t i t i v e
H e b b i a n l e a r n i n g t h r o u g h
s p i k e - t i m i n g - d e p e n d e n t
s y n a p t i c p l a s t i c i t y . N a t
N e u r o s c i . 2 0 0 0
S e p ; 3 ( 9 ) : 9 1 9 - 2 6 .
A b s t r a c t . H e b b i a n m o d e l s
o f d e v e l o p m e n t a n d
l e a r n i n g r e q u i r e b o t h
a c t i v i t y - d e p e n d e n t
s y n a p t i c p l a s t i c i t y a n d
a m e c h a n i s m t h a t i n d u c e s
c o m p e t i t i o n b e t w e e n
d i f f e r e n t s y n a p s e s . O n e
f o r m o f e x p e r i m e n t a l l y
o b s e r v e d l o n g - t e r m
s y n a p t i c p l a s t i c i t y ,
w h i c h w e c a l l
s p i k e - t i m i n g - d e p e n d e n t
p l a s t i c i t y ( S T D P ) ,
d e p e n d s o n t h e r e l a t i v e
t i m i n g o f p r e - a n d
p o s t s y n a p t i c a c t i o n
p o t e n t i a l s . I n m o d e l i n g
s t u d i e s , w e f i n d t h a t
t h i s f o r m o f s y n a p t i c
m o d i f i c a t i o n c a n
a u t o m a t i c a l l y b a l a n c e
s y n a p t i c s t r e n g t h s t o
m a k e p o s t s y n a p t i c f i r i n g
i r r e g u l a r b u t m o r e
s e n s i t i v e t o p r e s y n a p t i c
s p i k e t i m i n g . I t h a s
b e e n a r g u e d t h a t n e u r o n s
i n v i v o o p e r a t e i n s u c h
a b a l a n c e d r e g i m e .
S y n a p s e s m o d i f i a b l e b y
S T D P c o m p e t e f o r c o n t r o l
o f t h e t i m i n g o f
p o s t s y n a p t i c a c t i o n
p o t e n t i a l s . I n p u t s t h a t
f i r e t h e p o s t s y n a p t i c
n e u r o n w i t h s h o r t
l a t e n c y o r t h a t a c t i n
c o r r e l a t e d g r o u p s a r e
a b l e t o c o m p e t e m o s t
s u c c e s s f u l l y a n d d e v e l o p
s t r o n g s y n a p s e s , w h i l e
s y n a p s e s o f
l o n g e r - l a t e n c y o r
l e s s - e f f e c t i v e i n p u t s
a r e w e a k e n e d .
- A N D -
5 b . S o n g S , A b b o t t
L F . N e u r o n . C o r t i c a l
d e v e l o p m e n t a n d
r e m a p p i n g t h r o u g h s p i k e
t i m i n g - d e p e n d e n t
p l a s t i c i t y . 2 0 0 1 O c t
2 5 ; 3 2 ( 2 ) : 3 3 9 - 5 0
A b s t r a c t . L o n g - t e r m
m o d i f i c a t i o n o f s y n a p t i c
e f f i c a c y c a n d e p e n d o n
t h e t i m i n g o f p r e - a n d
p o s t s y n a p t i c a c t i o n
p o t e n t i a l s . I n m o d e l
s t u d i e s , s u c h s p i k e
t i m i n g - d e p e n d e n t
p l a s t i c i t y ( S T D P )
i n t r o d u c e s t h e d e s i r a b l e
f e a t u r e s o f c o m p e t i t i o n
a m o n g s y n a p s e s a n d
r e g u l a t i o n o f
p o s t s y n a p t i c f i r i n g
c h a r a c t e r i s t i c s . S T D P
s t r e n g t h e n s s y n a p s e s
t h a t r e c e i v e c o r r e l a t e d
i n p u t , w h i c h c a n l e a d t o
t h e f o r m a t i o n o f
s t i m u l u s - s e l e c t i v e
c o l u m n s a n d t h e
d e v e l o p m e n t , r e f i n e m e n t ,
a n d m a i n t e n a n c e o f
s e l e c t i v i t y m a p s i n
n e t w o r k m o d e l s . T h e
t e m p o r a l a s y m m e t r y o f
S T D P s u p p r e s s e s s t r o n g
d e s t a b i l i z i n g
s e l f - e x c i t a t o r y l o o p s
a n d a l l o w s a g r o u p o f
n e u r o n s t h a t b e c o m e
s e l e c t i v e e a r l y i n
d e v e l o p m e n t t o d i r e c t
o t h e r n e u r o n s t o b e c o m e
s i m i l a r l y s e l e c t i v e .
S T D P , a c t i n g a l o n e
w i t h o u t f u r t h e r
h y p o t h e t i c a l g l o b a l
c o n s t r a i n t s o r
a d d i t i o n a l f o r m s o f
p l a s t i c i t y , c a n a l s o
r e p r o d u c e t h e r e m a p p i n g
s e e n i n a d u l t c o r t e x
f o l l o w i n g a f f e r e n t
l e s i o n s .
T h e p a p e r s a b o v e h a v e
b e e n s e m i n a l i n
i l l u s t r a t i n g t h e
i m p l i c a t i o n s f o r
l e a r n i n g o f
s p i k e - t i m i n g - d e p e n d e n t
s y n a p t i c p l a s t i c i t y
6 . P o l s k y A , M e l B W ,
S c h i l l e r J . N a t
N e u r o s c i . 2 0 0 4
J u n ; 7 ( 6 ) : 6 2 1 - 7 . E p u b
2 0 0 4 M a y 2 3 .
C o m p u t a t i o n a l s u b u n i t s
i n t h i n d e n d r i t e s o f
p y r a m i d a l c e l l s .
A b s t r a c t . T h e t h i n b a s a l
a n d o b l i q u e d e n d r i t e s o f
c o r t i c a l p y r a m i d a l
n e u r o n s r e c e i v e m o s t o f
t h e s y n a p t i c i n p u t s f r o m
o t h e r c e l l s , b u t t h e i r
i n t e g r a t i v e p r o p e r t i e s
r e m a i n u n c e r t a i n .
P r e v i o u s s t u d i e s h a v e
m o s t o f t e n r e p o r t e d
g l o b a l l i n e a r o r
s u b l i n e a r s u m m a t i o n . A n
a l t e r n a t i v e v i e w ,
s u p p o r t e d b y b i o p h y s i c a l
m o d e l i n g s t u d i e s , h o l d s
t h a t t h i n d e n d r i t e s
p r o v i d e a l a y e r o f
i n d e p e n d e n t
c o m p u t a t i o n a l ' s u b u n i t s '
t h a t s i g m o i d a l l y
m o d u l a t e t h e i r i n p u t s
p r i o r t o g l o b a l
s u m m a t i o n . T o
d i s t i n g u i s h t h e s e
p o s s i b i l i t i e s , w e
c o m b i n e d c o n f o c a l
i m a g i n g a n d d u a l - s i t e
f o c a l s y n a p t i c
s t i m u l a t i o n o f
i d e n t i f i e d t h i n
d e n d r i t e s i n r a t
n e o c o r t i c a l p y r a m i d a l
n e u r o n s . W e f o u n d t h a t
n e a r b y i n p u t s o n t h e
s a m e b r a n c h s u m m e d
s i g m o i d a l l y , w h e r e a s
w i d e l y s e p a r a t e d i n p u t s
o r i n p u t s t o d i f f e r e n t
b r a n c h e s s u m m e d
l i n e a r l y . T h i s s t r o n g
s p a t i a l
c o m p a r t m e n t a l i z a t i o n
e f f e c t i s i n c o m p a t i b l e
w i t h a g l o b a l s u m m a t i o n
r u l e a n d p r o v i d e s t h e
f i r s t e x p e r i m e n t a l
s u p p o r t f o r a t w o - l a y e r
' n e u r a l n e t w o r k ' m o d e l
o f p y r a m i d a l n e u r o n
t h i n - b r a n c h i n t e g r a t i o n .
O u r f i n d i n g s c o u l d h a v e
i m p o r t a n t i m p l i c a t i o n s
f o r t h e c o m p u t i n g a n d
m e m o r y - r e l a t e d f u n c t i o n s
o f c o r t i c a l t i s s u e .
T h i s p a p e r , a s w e l l a s
p r e v i o u s t h e o r e t i c a l
w o r k , s u g g e s t s t h a t
d e n d r i t e s m i g h t e n a b l e
s i n g l e n e u r o n s t o b e h a v e
a s f e e d f o r w a r d n e u r a l
n e t w o r k s .
7 . M e d i n a J F , N o r e s W L ,
M a u k M D . N a t u r e . 2 0 0 2
M a r 2 1 ; 4 1 6 ( 6 8 7 8 ) : 3 3 0 - 3 .
I n h i b i t i o n o f c l i m b i n g
f i b r e s i s a s i g n a l f o r
t h e e x t i n c t i o n o f
c o n d i t i o n e d e y e l i d
r e s p o n s e s .
A b s t r a c t . A f u n d a m e n t a l
t e n e t o f c e r e b e l l a r
l e a r n i n g t h e o r i e s
a s s e r t s t h a t c l i m b i n g
f i b r e a f f e r e n t s f r o m t h e
i n f e r i o r o l i v e p r o v i d e a
t e a c h i n g s i g n a l t h a t
p r o m o t e s t h e g r a d u a l
a d a p t a t i o n o f m o v e m e n t s .
D a t a f r o m s e v e r a l f o r m s
o f m o t o r l e a r n i n g
p r o v i d e s u p p o r t f o r t h i s
t e n e t . I n p a v l o v i a n
e y e l i d c o n d i t i o n i n g , f o r
e x a m p l e , w h e r e a t o n e i s
r e p e a t e d l y p a i r e d w i t h a
r e i n f o r c i n g
u n c o n d i t i o n e d s t i m u l u s
l i k e p e r i o r b i t a l
s t i m u l a t i o n , t h e
u n c o n d i t i o n e d s t i m u l u s
p r o m o t e s a c q u i s i t i o n o f
c o n d i t i o n e d e y e l i d
r e s p o n s e s b y a c t i v a t i n g
c l i m b i n g f i b r e s .
C l i m b i n g f i b r e a c t i v i t y
e l i c i t e d b y a n
u n c o n d i t i o n e d s t i m u l u s
i s i n h i b i t e d d u r i n g t h e
e x p r e s s i o n o f
c o n d i t i o n e d
r e s p o n s e s - c o n s i s t e n t
w i t h t h e i n h i b i t o r y
p r o j e c t i o n f r o m t h e
c e r e b e l l u m t o i n f e r i o r
o l i v e . H e r e , w e s h o w
t h a t i n h i b i t i o n o f
c l i m b i n g f i b r e s s e r v e s
a s a t e a c h i n g s i g n a l f o r
e x t i n c t i o n , w h e r e
l e a r n i n g n o t t o r e s p o n d
i s s i g n a l l e d b y
p r e s e n t i n g a t o n e
w i t h o u t t h e
u n c o n d i t i o n e d s t i m u l u s .
W e u s e d r e v e r s i b l e
i n f u s i o n o f s y n a p t i c
r e c e p t o r a n t a g o n i s t s t o
s h o w t h a t b l o c k i n g
i n h i b i t o r y i n p u t t o t h e
c l i m b i n g f i b r e s p r e v e n t s
e x t i n c t i o n o f t h e
c o n d i t i o n e d r e s p o n s e ,
w h e r e a s b l o c k i n g
e x c i t a t o r y i n p u t i n d u c e s
e x t i n c t i o n . T h e s e
r e s u l t s , c o m b i n e d w i t h
a n a l y s i s o f c l i m b i n g
f i b r e a c t i v i t y i n a
c o m p u t e r s i m u l a t i o n o f
t h e c e r e b e l l a r - o l i v a r y
s y s t e m , s u g g e s t t h a t
t r a n s i e n t i n h i b i t i o n o f
c l i m b i n g f i b r e s b e l o w
t h e i r b a c k g r o u n d l e v e l
i s t h e s i g n a l t h a t
d r i v e s e x t i n c t i o n .
T h i s i s o n e o f s e v e r a l
c o m p u t a t i o n a l s t u d i e s b y
M a u k a n d c o l l a b o r a t o r s
t h a t a r e e n h a n c i n g o u r
k n o w l e d g e o f c e r e b e l l a r
p r o c e s s i n g ( a l s o s e e
s i m i l a r p a p e r s b y
R a y m o n d & L i s b e r g e r
a p p l i e d t o t h e V O R ) .
8 . O l s h a u s e n B A , F i e l d
D J . N a t u r e . E m e r g e n c e
o f s i m p l e - c e l l r e c e p t i v e
f i e l d p r o p e r t i e s b y
l e a r n i n g a s p a r s e c o d e
f o r n a t u r a l i m a g e s . 1 9 9 6
J u n 1 3 ; 3 8 1 ( 6 5 8 3 ) : 6 0 7 - 9
A b s t r a c t . T h e r e c e p t i v e
f i e l d s o f s i m p l e c e l l s
i n m a m m a l i a n p r i m a r y
v i s u a l c o r t e x c a n b e
c h a r a c t e r i z e d a s b e i n g
s p a t i a l l y l o c a l i z e d ,
o r i e n t e d a n d b a n d p a s s
( s e l e c t i v e t o s t r u c t u r e
a t d i f f e r e n t s p a t i a l
s c a l e s ) , c o m p a r a b l e t o
t h e b a s i s f u n c t i o n s o f
w a v e l e t t r a n s f o r m s . O n e
a p p r o a c h t o
u n d e r s t a n d i n g s u c h
r e s p o n s e p r o p e r t i e s o f
v i s u a l n e u r o n s h a s b e e n
t o c o n s i d e r t h e i r
r e l a t i o n s h i p t o t h e
s t a t i s t i c a l s t r u c t u r e o f
n a t u r a l i m a g e s i n t e r m s
o f e f f i c i e n t c o d i n g .
A l o n g t h e s e l i n e s , a
n u m b e r o f s t u d i e s h a v e
a t t e m p t e d t o t r a i n
u n s u p e r v i s e d l e a r n i n g
a l g o r i t h m s o n n a t u r a l
i m a g e s i n t h e h o p e o f
d e v e l o p i n g r e c e p t i v e
f i e l d s w i t h s i m i l a r
p r o p e r t i e s , b u t n o n e h a s
s u c c e e d e d i n p r o d u c i n g a
f u l l s e t t h a t s p a n s t h e
i m a g e s p a c e a n d c o n t a i n s
a l l t h r e e o f t h e a b o v e
p r o p e r t i e s . H e r e w e
i n v e s t i g a t e t h e p r o p o s a l
t h a t a c o d i n g s t r a t e g y
t h a t m a x i m i z e s
s p a r s e n e s s i s s u f f i c i e n t
t o a c c o u n t f o r t h e s e
p r o p e r t i e s . W e s h o w t h a t
a l e a r n i n g a l g o r i t h m
t h a t a t t e m p t s t o f i n d
s p a r s e l i n e a r c o d e s f o r
n a t u r a l s c e n e s w i l l
d e v e l o p a c o m p l e t e
f a m i l y o f l o c a l i z e d ,
o r i e n t e d , b a n d p a s s
r e c e p t i v e f i e l d s ,
s i m i l a r t o t h o s e f o u n d
i n t h e p r i m a r y v i s u a l
c o r t e x . T h e r e s u l t i n g
s p a r s e i m a g e c o d e
p r o v i d e s a m o r e
e f f i c i e n t r e p r e s e n t a t i o n
f o r l a t e r s t a g e s o f
p r o c e s s i n g b e c a u s e i t
p o s s e s s e s a h i g h e r
d e g r e e o f s t a t i s t i c a l
i n d e p e n d e n c e a m o n g i t s
o u t p u t s .
T h i s n o w c l a s s i c s t u d y
s u g g e s t s h o w t h e
s t a t i s t i c a l s t r u c t u r e o f
n a t u r a l i m a g e s m a y
d e t e r m i n e t h e r e s p o n s e
p r o p e r t i e s o f V 1 c e l l s ,
a n d s e t t h e s t a g e f o r
m a n y l a t e r s t u d i e s
d i s c u s s i n g t h e c o n c e p t
o f
s p a r s e c o d i n g
o f
i m a g e s .
9 . T a y l o r D M , T i l l e r y
S I , S c h w a r t z A B . D i r e c t
c o r t i c a l c o n t r o l o f 3 D
n e u r o p r o s t h e t i c d e v i c e s .
S c i e n c e . 2 0 0 2 J u n
7 ; 2 9 6 ( 5 5 7 4 ) : 1 8 2 9 - 3 2 .
A b s t r a c t .
T h r e e - d i m e n s i o n a l ( 3 D )
m o v e m e n t o f
n e u r o p r o s t h e t i c d e v i c e s
c a n b e c o n t r o l l e d b y t h e
a c t i v i t y o f c o r t i c a l
n e u r o n s w h e n a p p r o p r i a t e
a l g o r i t h m s a r e u s e d t o
d e c o d e i n t e n d e d m o v e m e n t
i n r e a l t i m e . P r e v i o u s
s t u d i e s a s s u m e d t h a t
n e u r o n s m a i n t a i n f i x e d
t u n i n g p r o p e r t i e s , a n d
t h e s t u d i e s u s e d
s u b j e c t s w h o w e r e
u n a w a r e o f t h e m o v e m e n t s
p r e d i c t e d b y t h e i r
r e c o r d e d u n i t s . I n t h i s
s t u d y , s u b j e c t s h a d
r e a l - t i m e v i s u a l
f e e d b a c k o f t h e i r
b r a i n - c o n t r o l l e d
t r a j e c t o r i e s . C e l l
t u n i n g p r o p e r t i e s
c h a n g e d w h e n u s e d f o r
b r a i n - c o n t r o l l e d
m o v e m e n t s . B y u s i n g
c o n t r o l a l g o r i t h m s t h a t
t r a c k t h e s e c h a n g e s ,
s u b j e c t s m a d e l o n g
s e q u e n c e s o f 3 D
m o v e m e n t s u s i n g f a r
f e w e r c o r t i c a l u n i t s
t h a n e x p e c t e d . D a i l y
p r a c t i c e i m p r o v e d
m o v e m e n t a c c u r a c y a n d
t h e d i r e c t i o n a l t u n i n g
o f t h e s e u n i t s .
T h i s r e p r e s e n t s s o m e o f
t h e s e m i n a l w o r k
d e c o d i n g c o r t i c a l
a c t i v i t y t o c o n t r o l
n e u r a l p r o s t h e t i c s .
1 0 . V a n V r e e s w i j k C ,
A b b o t t L F , E r m e n t r o u t
G B . W h e n i n h i b i t i o n n o t
e x c i t a t i o n s y n c h r o n i z e s
n e u r a l f i r i n g . J C o m p u t
N e u r o s c i . 1 9 9 4
D e c ; 1 ( 4 ) : 3 1 3 - 2 1 .
A b s t r a c t . E x c i t a t o r y a n d
i n h i b i t o r y s y n a p t i c
c o u p l i n g c a n h a v e
c o u n t e r - i n t u i t i v e
e f f e c t s o n t h e
s y n c h r o n i z a t i o n o f
n e u r o n a l f i r i n g . W h i l e
i t m i g h t a p p e a r t h a t
e x c i t a t o r y c o u p l i n g
w o u l d l e a d t o
s y n c h r o n i z a t i o n , w e s h o w
t h a t f r e q u e n t l y
i n h i b i t i o n r a t h e r t h a n
e x c i t a t i o n s y n c h r o n i z e s
f i r i n g . W e s t u d y t w o
i d e n t i c a l n e u r o n s
d e s c r i b e d b y
i n t e g r a t e - a n d - f i r e
m o d e l s , g e n e r a l
p h a s e - c o u p l e d m o d e l s o r
t h e H o d g k i n - H u x l e y m o d e l
w i t h m u t u a l ,
n o n - i n s t a n t a n e o u s
e x c i t a t o r y o r i n h i b i t o r y
s y n a p s e s b e t w e e n t h e m .
W e f i n d t h a t i f t h e r i s e
t i m e o f t h e s y n a p s e i s
l o n g e r t h a n t h e d u r a t i o n
o f a n a c t i o n p o t e n t i a l ,
i n h i b i t i o n n o t
e x c i t a t i o n l e a d s t o
s y n c h r o n i z e d f i r i n g .
I f I w e r e t o u p d a t e , I
t h i n k I w o u l d a d d p a p e r s
f r o m :
1 ) N e u r o e c o n o m i c s &
R e i n f o r c e m e n t L e a r n i n g - -
i n a d d i t i o n t o t h e
s e m i n a l w o r k b y D a y a n &
S c h u l t z ( a l r e a d y i n
a t t a c h e d ) , p e r h a p s
L o e w e n s t e i n / S e u n g p a p e r
o n m a t c h i n g b e h a v i o r a s
a g e n e r i c c o n s e q u e n c e o f
c o r r e l a t i o n a l l e a r n i n g
r u l e s .
2 ) B a y e s i a n n e t w o r k s - -
m a y b e M a , B e c k , L a t h a m ,
P o u g e t o r o t h e r s o n i d e a
t h a t t h e b r a i n m a y
e n c o d e & c o m p u t e w i t h
p r o b a b i l i t i e s
- -
END OF FILE
--
--
Dr Jim Stone,
Psychology Department, Sheffield University, Sheffield, S10 2TP, UK.
Tel: 0114 2226522. http://jim-stone.staff.shef.ac.uk/
More information about the Comp-neuro
mailing list