Cette technique a été proposée en 1973 [23, 56]. Elle part de l'idée suivante : lorsqu'une étoile ponctuelle et relativement brillante se trouve à une distance angulaire 
dans le même domaine d'isoplanétisme que l'objet observé, la réponse impulsionnelle est la même pour l'objet et pour l'étoile dite de référence. Il est alors possible de déconvoluer directement les images pour peu que l'on arrive bien à séparer l'objet et l'étoile. Il est aussi possible d'obtenir une estimation de l'objet en calculant l'autocorrélation du système étoile+objet. Si O(r) est l'intensité qui vient de l'objet et 
celle qui vient de l'étoile, l'autocorrélation de l'ensemble est la somme de quatre termes :
C'est un point brillant à l'origine, entouré d'une masse qui est l'autocorrélation de l'objet. De part et d'autre de cette figure centrale, on voit apparaitre l'objet lui-même et son image dans un miroir. Cette figure est bien connue des opticiens : elle n'est autre que la transformée de Fourier d'un hologramme de l'objet [31, 43] (d'où le nom d'holographie de speckle). On voit que si l'extension spatiale 
de l'objet n'est pas trop grande (il faut que 
) alors l'objet est bien séparé de la masse centrale. Il est aussi possible de calculer l'intercorrélation entre l'objet et la référence pour éviter les termes centraux. Il est intéressant de noter que les deux images miroirs de l'objet sont multipliées par un facteur égal à l'intensité de l'étoile de référence ; ce qui est particulièrement intéressant en astronomie pour l'observation d'un objet très faible qui peut voir ainsi sa brillance artificiellement augmentée.
En présence de turbulence, cette autocorrélation est globalement convoluée avec celle de la réponse impulsionnelle (speckles) et l'on voit apparaitre directement l'objet de chaque côté de la masse centrale (qu'on appelle souvent le ``pic speckle''). Il existe néanmoins une indétermination de 180 degrés sur l'orientation dûe au choix que l'on doit faire entre les deux images miroirs.
Cette technique peut efficacement être utilisée lors d'une observation simultanée du même objet à deux longueurs d'onde (interférométrie différentielle). Certaines étoiles présentent une gigantesque enveloppe d'hydrogène qui émet principalement dans la raie rouge 
. Observées dans le continu è une longueur d'onde voisine de celle de la raie , ces étoiles ne montrent que leurs régions centrales trop petites pour être résolues par le télescope : l'image prise dans le continu peut alors servir de référence pour l'image dans la raie si elles sont simultanées.
De récents résultats de reconstruction par holographie ont été présentés au colloque de l'E.S.O. en Octobre 1991 [41].