Fonctionnement de la recherche d'images Dropbox

Si vous avez besoin de trouver une photo prise lors d'un pique-nique il y a quelques années, vous pouvez à peine vous souvenir du nom que l'appareil photo a automatiquement attribué au fichier au moment de la prise de vue, par exemple, 2017-07-04 12.37.54.jpg . Vous regardez à travers tout - des photographies, leurs croquis, en essayant d'identifier des objets ou des signes de ce que vous recherchez - et peu importe que vous recherchiez une photo perdue ou que vous vouliez trouver une photo décente dans les archives pour la présentation de un nouveau projet.

Ce serait formidable si Dropbox pouvait afficher indépendamment toutes les images et sélectionner celles qui correspondent le mieux aux mots de la description! C'est exactement la tâche que nous nous sommes fixé lors de la création de la fonction de recherche d'image .

, Dropbox , , , , Dropbox .

---

, , , Dropbox.

: , () q j, s , , :

s = f(q, j).

- , , . : .

, . , . 

:

• , , ;

  
  
  
  
  

• , , ;

  
  
  
  
  

• , , - .

  
  
  
  
  

— 2012 . Krizhevsky . ImageNet hallenge. , , , , Open Images ImageNet, , TensorFlow PyTorch, , . , :

, , . , , , , , ? , ?

, , , .

. j_c . C- , C — ( ). , , , .

— . — word2vec — Mikolov . 2013 . Word2vec , , , , . d- , d .

, word2vec. , , :

1. q d- q_w, . w, — c.

   
   
   
   
   

2. cⁱ_w. m̂i = q_w - cⁱ_w — i- . -1 1 , . ( mi = max(0, m̂i)), , .

   
   
   
   
   

3. , q_c = [m1 m2 ... mC], C- , , — , , .

   
   
   
   
   

3 — - , q_c = q_wC, C — cⁱ_w.

q_c — s = q_cj_c.

. . - , s = q_cJ, J j_c , s — .

. , — : , , .

, . , [0,35–0,62 0,70], .

, .

  EfficientNet, OpenImages. 8 500 . , . , Dropbox.

TensorFlow   ConceptNet Numberbatch. , , , , . : dog chien , .

AND, . , , beach ball, . , OR , beach ball (beach AND ball) OR (beach ball). , .

, , J . , , , , . ().

J , Dropbox Nautilus.

, Nautilus (forward index), (, ) , (inverted index), (posting list) , . :

, doc_1 doc_2 , . doc_3 , , . 

, , . doc_1 , doc_2, doc_1 .

. j_c . .

, :

1. q_w C q_c, . C — , , .

   
   
   
   
   

2. , q_c, . , , .

   
   
   
   
   

3. j_c q_c, s. , .

   
   
   
   
   

- , . 10 000 10 000 , 40 . , 10 000 . , 40 80 . , , !

, , , , m̂i , 5 000 . , 10 .

, , , . s = q_cj_c, q_c — 10 000 , j_c — 10 000 , . , s. 

q_c j_c , . , 10 q_c 50 j_c . :

• 10 000- 50 , 50 . ; 50 ( ) 50 ( ) 300 .

  
  
  
  
  

• 10 000, 50 , 200 . , 500 80.

  
  
  
  
  

• q_c 10 , 10 — . , .

  
  
  
  
  

, . , , , — .

-. , OCR- , .

?

, , Dropbox. . , , . , , , , , " , " .

, , . , "Machine Learning Deep Learning", NVIDIA.

, :

• Data Scientist

  
  
  
  
  

• Data Analyst

  
  
  
  
  

• Data Engineering

  
  
  
  
  

• Fullstack- Python

  
  
  
  
  

• Java-

  
  
  
  
  

• QA- JAVA

  
  
  
  
  

• Frontend-

  
  
  
  
  

• 
  
  
  
  

• C++

  
  
  
  
  

• Unity

  
  
  
  
  

• -

  
  
  
  
  

• iOS-

  
  
  
  
  

• Android-

  
  
  
  
  

• Machine Learning

  
  
  
  
  

• "Machine Learning Deep Learning"

  
  
  
  
  

• " Data Science"

  
  
  
  
  

• " Machine Learning Data Science"

  
  
  
  
  

• "Python -"

  
  
  
  
  

• " "

  
  
  
  
  

• 
  
  
  
  

• DevOps