1. 磐创AI首页
  2. arxiv

2021年09月18日 arxiv 视觉论文速递

An End-to-End Transformer Model for 3D Object Detection

W e p r o p o s e 3 D E T R , a n e n d – t o – e n d T r a n s f o r m e r b a s e d o b j e c t d e t e c t i o n m o d e l f o r
3 D p o i n t c l o u d s . C o m p a r e d t o e x i s t i n g d e t e c t i o n m e t h o d s t h a t e m p l o y a n u m b e r o f
3 D – s p e c i f i c i n d u c t i v e b i a s e s , 3 D E T R r e q u i r e s m i n i m a l m o d i f i c a t i o n s t o t h e
v a n i l l a T r a n s f o r m e r b l o c k . S p e c i f i c a l l y , w e f i n d t h a t a s t a n d a r d T r a n s f o r m e r
w i t h n o n – p a r a m e t r i c q u e r i e s a n d F o u r i e r p o s i t i o n a l e m b e d d i n g s i s c o m p e t i t i v e
w i t h s p e c i a l i z e d a r c h i t e c t u r e s t h a t e m p l o y l i b r a r i e s o f 3 D – s p e c i f i c o p e r a t o r s
w i t h h a n d – t u n e d h y p e r p a r a m e t e r s . N e v e r t h e l e s s , 3 D E T R i s c o n c e p t u a l l y s i m p l e a n d
e a s y t o i m p l e m e n t , e n a b l i n g f u r t h e r i m p r o v e m e n t s b y i n c o r p o r a t i n g 3 D d o m a i n
k n o w l e d g e . T h r o u g h e x t e n s i v e e x p e r i m e n t s , w e s h o w 3 D E T R o u t p e r f o r m s t h e
w e l l – e s t a b l i s h e d a n d h i g h l y o p t i m i z e d V o t e N e t b a s e l i n e s o n t h e c h a l l e n g i n g
S c a n N e t V 2 d a t a s e t b y 9 . 5 % . F u r t h e r m o r e , w e s h o w 3 D E T R i s a p p l i c a b l e t o 3 D t a s k s
b e y o n d d e t e c t i o n , a n d c a n s e r v e a s a b u i l d i n g b l o c k f o r f u t u r e r e s e a r c h .

Aesthetics and neural network image representations

W e a n a l y z e t h e s p a c e s o f i m a g e s e n c o d e d b y g e n e r a t i v e n e t w o r k s o f t h e B i g G A N
a r c h i t e c t u r e . W e f i n d t h a t g e n e r i c m u l t i p l i c a t i v e p e r t u r b a t i o n s a w a y f r o m t h e
p h o t o – r e a l i s t i c p o i n t o f t e n l e a d t o i m a g e s w h i c h a p p e a r a s ” a r t i s t i c
r e n d i t i o n s ” o f t h e c o r r e s p o n d i n g o b j e c t s . T h i s d e m o n s t r a t e s a n e m e r g e n c e o f
a e s t h e t i c p r o p e r t i e s d i r e c t l y f r o m t h e s t r u c t u r e o f t h e p h o t o – r e a l i s t i c
e n v i r o n m e n t c o u p l e d w i t h i t s n e u r a l n e t w o r k p a r a m e t r i z a t i o n . M o r e o v e r ,
m o d i f y i n g a d e e p s e m a n t i c p a r t o f t h e n e u r a l n e t w o r k e n c o d i n g l e a d s t o t h e
a p p e a r a n c e o f s y m b o l i c v i s u a l r e p r e s e n t a t i o n s .

Invertable Frowns: Video-to-Video Facial Emotion Translation

W e p r e s e n t W a v 2 L i p – E m o t i o n , a v i d e o – t o – v i d e o t r a n s l a t i o n a r c h i t e c t u r e t h a t
m o d i f i e s f a c i a l e x p r e s s i o n s o f e m o t i o n i n v i d e o s o f s p e a k e r s . P r e v i o u s w o r k
m o d i f i e s e m o t i o n i n i m a g e s , u s e s a s i n g l e i m a g e t o p r o d u c e a v i d e o w i t h
a n i m a t e d e m o t i o n , o r p u p p e t s f a c i a l e x p r e s s i o n s i n v i d e o s w i t h l a n d m a r k s f r o m a
r e f e r e n c e v i d e o . H o w e v e r , m a n y u s e c a s e s s u c h a s m o d i f y i n g a n a c t o r ‘ s
p e r f o r m a n c e i n p o s t – p r o d u c t i o n , c o a c h i n g i n d i v i d u a l s t o b e m o r e a n i m a t e d
s p e a k e r s , o r t o u c h i n g u p e m o t i o n i n a t e l e c o n f e r e n c e r e q u i r e a v i d e o – t o – v i d e o
t r a n s l a t i o n a p p r o a c h . W e e x p l o r e a m e t h o d t o m a i n t a i n s p e a k e r s ‘ l i p m o v e m e n t s ,
i d e n t i t y , a n d p o s e w h i l e t r a n s l a t i n g t h e i r e x p r e s s e d e m o t i o n . O u r a p p r o a c h
e x t e n d s a n e x i s t i n g m u l t i – m o d a l l i p s y n c h r o n i z a t i o n a r c h i t e c t u r e t o m o d i f y t h e
s p e a k e r ‘ s e m o t i o n u s i n g L 1 r e c o n s t r u c t i o n a n d p r e – t r a i n e d e m o t i o n o b j e c t i v e s .
W e a l s o p r o p o s e a n o v e l a u t o m a t e d e m o t i o n e v a l u a t i o n a p p r o a c h a n d c o r r o b o r a t e
i t w i t h a u s e r s t u d y . T h e s e f i n d t h a t w e s u c c e e d i n m o d i f y i n g e m o t i o n w h i l e
m a i n t a i n i n g l i p s y n c h r o n i z a t i o n . V i s u a l q u a l i t y i s s o m e w h a t d i m i n i s h e d , w i t h a
t r a d e o f f b e t w e e n g r e a t e r e m o t i o n m o d i f i c a t i o n a n d v i s u a l q u a l i t y b e t w e e n m o d e l
v a r i a n t s . N e v e r t h e l e s s , w e d e m o n s t r a t e ( 1 ) t h a t f a c i a l e x p r e s s i o n s o f e m o t i o n
c a n b e m o d i f i e d w i t h n o t h i n g o t h e r t h a n L 1 r e c o n s t r u c t i o n a n d p r e – t r a i n e d
e m o t i o n o b j e c t i v e s a n d ( 2 ) t h a t o u r a u t o m a t e d e m o t i o n e v a l u a t i o n a p p r o a c h
a l i g n s w i t h h u m a n j u d g e m e n t s .

Urdu text in natural scene images: a new dataset and preliminary text detection

T e x t d e t e c t i o n i n n a t u r a l s c e n e i m a g e s f o r c o n t e n t a n a l y s i s i s a n i n t e r e s t i n g
t a s k . T h e r e s e a r c h c o m m u n i t y h a s s e e n s o m e g r e a t d e v e l o p m e n t s f o r
E n g l i s h / M a n d a r i n t e x t d e t e c t i o n . H o w e v e r , U r d u t e x t e x t r a c t i o n i n n a t u r a l s c e n e
i m a g e s i s a t a s k n o t w e l l a d d r e s s e d . I n t h i s w o r k , f i r s t l y , a n e w d a t a s e t i s
i n t r o d u c e d f o r U r d u t e x t i n n a t u r a l s c e n e i m a g e s . T h e d a t a s e t c o m p r i s e s o f 5 0 0
s t a n d a l o n e i m a g e s a c q u i r e d f r o m r e a l s c e n e s . S e c o n d l y , t h e c h a n n e l e n h a n c e d
M a x i m a l l y S t a b l e E x t r e m a l R e g i o n ( M S E R ) m e t h o d i s a p p l i e d t o e x t r a c t U r d u t e x t
r e g i o n s a s c a n d i d a t e s i n a n i m a g e . T w o – s t a g e f i l t e r i n g m e c h a n i s m i s a p p l i e d t o
e l i m i n a t e n o n – c a n d i d a t e r e g i o n s . I n t h e f i r s t s t a g e , t e x t a n d n o i s e a r e
c l a s s i f i e d b a s e d o n t h e i r g e o m e t r i c p r o p e r t i e s . I n t h e s e c o n d s t a g e , a s u p p o r t
v e c t o r m a c h i n e c l a s s i f i e r i s t r a i n e d t o d i s c a r d n o n – t e x t c a n d i d a t e r e g i o n s .
A f t e r t h i s , t e x t c a n d i d a t e r e g i o n s a r e l i n k e d u s i n g c e n t r o i d – b a s e d v e r t i c a l a n d
h o r i z o n t a l d i s t a n c e s . T e x t l i n e s a r e f u r t h e r a n a l y z e d b y a d i f f e r e n t c l a s s i f i e r
b a s e d o n H O G f e a t u r e s t o r e m o v e n o n – t e x t r e g i o n s . E x t e n s i v e e x p e r i m e n t a t i o n i s
p e r f o r m e d o n t h e l o c a l l y d e v e l o p e d d a t a s e t t o e v a l u a t e t h e p e r f o r m a n c e . T h e
e x p e r i m e n t a l r e s u l t s s h o w g o o d p e r f o r m a n c e o n t e s t s e t i m a g e s . T h e d a t a s e t w i l l
b e m a d e a v a i l a b l e f o r r e s e a r c h u s e . T o t h e b e s t o f o u r k n o w l e d g e , t h e w o r k i s
t h e f i r s t o f i t s k i n d f o r t h e U r d u l a n g u a g e a n d w o u l d p r o v i d e a g o o d d a t a s e t
f o r f r e e r e s e a r c h u s e a n d s e r v e a s a b a s e l i n e p e r f o r m a n c e o n t h e t a s k o f U r d u
t e x t e x t r a c t i o n .

Semi-Supervised Visual Representation Learning for Fashion Compatibility

W e c o n s i d e r t h e p r o b l e m o f c o m p l e m e n t a r y f a s h i o n p r e d i c t i o n . E x i s t i n g
a p p r o a c h e s f o c u s o n l e a r n i n g a n e m b e d d i n g s p a c e w h e r e f a s h i o n i t e m s f r o m
d i f f e r e n t c a t e g o r i e s t h a t a r e v i s u a l l y c o m p a t i b l e a r e c l o s e r t o e a c h o t h e r .
H o w e v e r , c r e a t i n g s u c h l a b e l e d o u t f i t s i s i n t e n s i v e a n d a l s o n o t f e a s i b l e t o
g e n e r a t e a l l p o s s i b l e o u t f i t c o m b i n a t i o n s , e s p e c i a l l y w i t h l a r g e f a s h i o n
c a t a l o g s . I n t h i s w o r k , w e p r o p o s e a s e m i – s u p e r v i s e d l e a r n i n g a p p r o a c h w h e r e w e
l e v e r a g e l a r g e u n l a b e l e d f a s h i o n c o r p u s t o c r e a t e p s e u d o – p o s i t i v e a n d
p s e u d o – n e g a t i v e o u t f i t s o n t h e f l y d u r i n g t r a i n i n g . F o r e a c h l a b e l e d o u t f i t i n
a t r a i n i n g b a t c h , w e o b t a i n a p s e u d o – o u t f i t b y m a t c h i n g e a c h i t e m i n t h e
l a b e l e d o u t f i t w i t h u n l a b e l e d i t e m s . A d d i t i o n a l l y , w e i n t r o d u c e c o n s i s t e n c y
r e g u l a r i z a t i o n t o e n s u r e t h a t r e p r e s e n t a t i o n o f t h e o r i g i n a l i m a g e s a n d t h e i r
t r a n s f o r m a t i o n s a r e c o n s i s t e n t t o i m p l i c i t l y i n c o r p o r a t e c o l o u r a n d o t h e r
i m p o r t a n t a t t r i b u t e s t h r o u g h s e l f – s u p e r v i s i o n . W e c o n d u c t e x t e n s i v e e x p e r i m e n t s
o n P o l y v o r e , P o l y v o r e – D a n d o u r n e w l y c r e a t e d l a r g e – s c a l e F a s h i o n O u t f i t s
d a t a s e t s , a n d s h o w t h a t o u r a p p r o a c h w i t h o n l y a f r a c t i o n o f l a b e l e d e x a m p l e s
p e r f o r m s o n – p a r w i t h c o m p l e t e l y s u p e r v i s e d m e t h o d s .

Raising context awareness in motion forecasting

L e a r n i n g – b a s e d t r a j e c t o r y p r e d i c t i o n m o d e l s h a v e e n c o u n t e r e d g r e a t s u c c e s s ,
w i t h t h e p r o m i s e o f l e v e r a g i n g c o n t e x t u a l i n f o r m a t i o n i n a d d i t i o n t o m o t i o n
h i s t o r y . Y e t , w e f i n d t h a t s t a t e – o f – t h e – a r t f o r e c a s t i n g m e t h o d s t e n d t o o v e r l y
r e l y o n t h e a g e n t ‘ s d y n a m i c s , f a i l i n g t o e x p l o i t t h e s e m a n t i c c u e s p r o v i d e d a t
i t s i n p u t . T o a l l e v i a t e t h i s i s s u e , w e i n t r o d u c e C A B , a m o t i o n f o r e c a s t i n g
m o d e l e q u i p p e d w i t h a t r a i n i n g p r o c e d u r e d e s i g n e d t o p r o m o t e t h e u s e o f
s e m a n t i c c o n t e x t u a l i n f o r m a t i o n . W e a l s o i n t r o d u c e t w o n o v e l m e t r i c s – –
d i s p e r s i o n a n d c o n v e r g e n c e – t o – r a n g e – – t o m e a s u r e t h e t e m p o r a l c o n s i s t e n c y o f
s u c c e s s i v e f o r e c a s t s , w h i c h w e f o u n d m i s s i n g i n s t a n d a r d m e t r i c s . O u r m e t h o d i s
e v a l u a t e d o n t h e w i d e l y a d o p t e d n u S c e n e s P r e d i c t i o n b e n c h m a r k .

Rotation Averaging in a Split Second: A Primal-Dual Method and a Closed-Form for Cycle Graphs

A c o r n e r s t o n e o f g e o m e t r i c r e c o n s t r u c t i o n , r o t a t i o n a v e r a g i n g s e e k s t h e s e t
o f a b s o l u t e r o t a t i o n s t h a t o p t i m a l l y e x p l a i n s a s e t o f m e a s u r e d r e l a t i v e
o r i e n t a t i o n s b e t w e e n t h e m . I n s p i t e o f b e i n g a n i n t e g r a l p a r t o f b u n d l e
a d j u s t m e n t a n d s t r u c t u r e – f r o m – m o t i o n , a v e r a g i n g r o t a t i o n s i s b o t h a n o n – c o n v e x
a n d h i g h – d i m e n s i o n a l o p t i m i z a t i o n p r o b l e m . I n t h i s p a p e r , w e a d d r e s s i t f r o m a
m a x i m u m l i k e l i h o o d e s t i m a t i o n s t a n d p o i n t a n d m a k e a t w o f o l d c o n t r i b u t i o n .
F i r s t l y , w e s e t f o r t h a n o v e l i n i t i a l i z a t i o n – f r e e p r i m a l – d u a l m e t h o d w h i c h w e
s h o w e m p i r i c a l l y t o c o n v e r g e t o t h e g l o b a l o p t i m u m . F u r t h e r , w e d e r i v e w h a t i s
t o o u r k n o w l e d g e , t h e f i r s t o p t i m a l c l o s e d – f o r m s o l u t i o n f o r r o t a t i o n a v e r a g i n g
i n c y c l e g r a p h s a n d c o n t e x t u a l i z e t h i s r e s u l t w i t h i n s p e c t r a l g r a p h t h e o r y . O u r
p r o p o s e d m e t h o d s a c h i e v e a s i g n i f i c a n t g a i n b o t h i n p r e c i s i o n a n d p e r f o r m a n c e .

Generating Dataset For Large-scale 3D Facial Emotion Recognition

T h e t r e m e n d o u s d e v e l o p m e n t i n d e e p l e a r n i n g h a s l e d f a c i a l e x p r e s s i o n
r e c o g n i t i o n ( F E R ) t o r e c e i v e m u c h a t t e n t i o n i n t h e p a s t f e w y e a r s . A l t h o u g h 3 D
F E R h a s a n i n h e r e n t e d g e o v e r i t s 2 D c o u n t e r p a r t , w o r k o n 2 D i m a g e s h a s
d o m i n a t e d t h e f i e l d . T h e m a i n r e a s o n f o r t h e s l o w d e v e l o p m e n t o f 3 D F E R i s t h e
u n a v a i l a b i l i t y o f l a r g e t r a i n i n g a n d l a r g e t e s t d a t a s e t s . R e c o g n i t i o n
a c c u r a c i e s h a v e a l r e a d y s a t u r a t e d o n e x i s t i n g 3 D e m o t i o n r e c o g n i t i o n d a t a s e t s
d u e t o t h e i r s m a l l g a l l e r y s i z e s . U n l i k e 2 D p h o t o g r a p h s , 3 D f a c i a l s c a n s a r e
n o t e a s y t o c o l l e c t , c a u s i n g a b o t t l e n e c k i n t h e d e v e l o p m e n t o f d e e p 3 D F E R
n e t w o r k s a n d d a t a s e t s . I n t h i s w o r k , w e p r o p o s e a m e t h o d f o r g e n e r a t i n g a l a r g e
d a t a s e t o f 3 D f a c e s w i t h l a b e l e d e m o t i o n s . W e a l s o d e v e l o p a d e e p c o n v o l u t i o n a l
n e u r a l n e t w o r k ( C N N ) f o r 3 D F E R t r a i n e d o n 6 2 4 , 0 0 0 3 D f a c i a l s c a n s . T h e t e s t
d a t a c o m p r i s e s 2 0 8 , 0 0 0 3 D f a c i a l s c a n s .

A Survey on Temporal Sentence Grounding in Videos

T e m p o r a l s e n t e n c e g r o u n d i n g i n v i d e o s ~ ( T S G V ) , w h i c h a i m s t o l o c a l i z e o n e
t a r g e t s e g m e n t f r o m a n u n t r i m m e d v i d e o w i t h r e s p e c t t o a g i v e n s e n t e n c e q u e r y ,
h a s d r a w n i n c r e a s i n g a t t e n t i o n s i n t h e r e s e a r c h c o m m u n i t y o v e r t h e p a s t f e w
y e a r s . D i f f e r e n t f r o m t h e t a s k o f t e m p o r a l a c t i o n l o c a l i z a t i o n , T S G V i s m o r e
f l e x i b l e s i n c e i t c a n l o c a t e c o m p l i c a t e d a c t i v i t i e s v i a n a t u r a l l a n g u a g e s ,
w i t h o u t r e s t r i c t i o n s f r o m p r e d e f i n e d a c t i o n c a t e g o r i e s . M e a n w h i l e , T S G V i s m o r e
c h a l l e n g i n g s i n c e i t r e q u i r e s b o t h t e x t u a l a n d v i s u a l u n d e r s t a n d i n g f o r
s e m a n t i c a l i g n m e n t b e t w e e n t w o m o d a l i t i e s ~ ( i . e . , t e x t a n d v i d e o ) . I n t h i s
s u r v e y , w e g i v e a c o m p r e h e n s i v e o v e r v i e w f o r T S G V , w h i c h i ) s u m m a r i z e s t h e
t a x o n o m y o f e x i s t i n g m e t h o d s , i i ) p r o v i d e s a d e t a i l e d d e s c r i p t i o n o f t h e
e v a l u a t i o n p r o t o c o l s ~ ( i . e . , d a t a s e t s a n d m e t r i c s ) t o b e u s e d i n T S G V , a n d i i i )
i n – d e p t h d i s c u s s e s p o t e n t i a l p r o b l e m s o f c u r r e n t b e n c h m a r k i n g d e s i g n s a n d
r e s e a r c h d i r e c t i o n s f o r f u r t h e r i n v e s t i g a t i o n s . T o t h e b e s t o f o u r k n o w l e d g e ,
t h i s i s t h e f i r s t s y s t e m a t i c s u r v e y o n t e m p o r a l s e n t e n c e g r o u n d i n g . M o r e
s p e c i f i c a l l y , w e f i r s t d i s c u s s e x i s t i n g T S G V a p p r o a c h e s b y g r o u p i n g t h e m i n t o
f o u r c a t e g o r i e s , i . e . , t w o – s t a g e m e t h o d s , e n d – t o – e n d m e t h o d s , r e i n f o r c e m e n t
l e a r n i n g – b a s e d m e t h o d s , a n d w e a k l y s u p e r v i s e d m e t h o d s . T h e n w e p r e s e n t t h e
b e n c h m a r k d a t a s e t s a n d e v a l u a t i o n m e t r i c s t o a s s e s s c u r r e n t r e s e a r c h p r o g r e s s .
F i n a l l y , w e d i s c u s s s o m e l i m i t a t i o n s i n T S G V t h r o u g h p o i n t i n g o u t p o t e n t i a l
p r o b l e m s i m p r o p e r l y r e s o l v e d i n t h e c u r r e n t e v a l u a t i o n p r o t o c o l s , w h i c h m a y
p u s h f o r w a r d s m o r e c u t t i n g e d g e r e s e a r c h i n T S G V . B e s i d e s , w e a l s o s h a r e o u r
i n s i g h t s o n s e v e r a l p r o m i s i n g d i r e c t i o n s , i n c l u d i n g t h r e e t y p i c a l t a s k s w i t h
n e w a n d p r a c t i c a l s e t t i n g s b a s e d o n T S G V .

Image Captioning for Effective Use of Language Models in Knowledge-Based Visual Question Answering

I n t e g r a t i n g o u t s i d e k n o w l e d g e f o r r e a s o n i n g i n v i s i o – l i n g u i s t i c t a s k s s u c h a s
v i s u a l q u e s t i o n a n s w e r i n g ( V Q A ) i s a n o p e n p r o b l e m . G i v e n t h a t p r e t r a i n e d
l a n g u a g e m o d e l s h a v e b e e n s h o w n t o i n c l u d e w o r l d k n o w l e d g e , w e p r o p o s e t o u s e a
u n i m o d a l ( t e x t – o n l y ) t r a i n a n d i n f e r e n c e p r o c e d u r e b a s e d o n a u t o m a t i c
o f f – t h e – s h e l f c a p t i o n i n g o f i m a g e s a n d p r e t r a i n e d l a n g u a g e m o d e l s . O u r r e s u l t s
o n a v i s u a l q u e s t i o n a n s w e r i n g t a s k w h i c h r e q u i r e s e x t e r n a l k n o w l e d g e ( O K – V Q A )
s h o w t h a t o u r t e x t – o n l y m o d e l o u t p e r f o r m s p r e t r a i n e d m u l t i m o d a l ( i m a g e – t e x t )
m o d e l s o f c o m p a r a b l e n u m b e r o f p a r a m e t e r s . I n c o n t r a s t , o u r m o d e l i s l e s s
e f f e c t i v e i n a s t a n d a r d V Q A t a s k ( V Q A 2 . 0 ) c o n f i r m i n g t h a t o u r t e x t – o n l y m e t h o d
i s s p e c i a l l y e f f e c t i v e f o r t a s k s r e q u i r i n g e x t e r n a l k n o w l e d g e . I n a d d i t i o n , w e
s h o w t h a t o u r u n i m o d a l m o d e l i s c o m p l e m e n t a r y t o m u l t i m o d a l m o d e l s i n b o t h
O K – V Q A a n d V Q A 2 . 0 , a n d y i e l d t h e b e s t r e s u l t t o d a t e i n O K – V Q A a m o n g s y s t e m s
n o t u s i n g e x t e r n a l k n o w l e d g e g r a p h s , a n d c o m p a r a b l e t o s y s t e m s t h a t d o u s e
t h e m . O u r q u a l i t a t i v e a n a l y s i s o n O K – V Q A r e v e a l s t h a t a u t o m a t i c c a p t i o n s o f t e n
f a i l t o c a p t u r e r e l e v a n t i n f o r m a t i o n i n t h e i m a g e s , w h i c h s e e m s t o b e b a l a n c e d
b y t h e b e t t e r i n f e r e n c e a b i l i t y o f t h e t e x t – o n l y l a n g u a g e m o d e l s . O u r w o r k
o p e n s u p p o s s i b i l i t i e s t o f u r t h e r i m p r o v e i n f e r e n c e i n v i s i o – l i n g u i s t i c t a s k s .

原创文章,作者:fendouai,如若转载,请注明出处:https://panchuang.net/2021/09/18/2021%e5%b9%b409%e6%9c%8818%e6%97%a5-arxiv-%e8%a7%86%e8%a7%89%e8%ae%ba%e6%96%87%e9%80%9f%e9%80%92/

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息