Observatory House byla postavena v roce 1776 a je nejstarší stavbou na Carlton Hill. V současné době budova slouží jako historické luxusní ubytovací zařízení.