La idea de construir un observatorio astronómico en Madrid surgió por iniciativa del célebre marino Jorge Juan y Santacilia, que expuso su proyecto al rey Carlos III en 1785. El lugar escogido para su emplazamiento fue una pequeña colina situada al sur del entonces palacio del Buen Retiro, denominada cerrillo de San Blas, donde existía una ermita con ese nombre. Con su construcción se completaba la zona dedicada en la capital al cultivo de las ciencias, junto con el Jardín Botánico y el Gabinete de Historia Natural, hoy Museo del Prado.