Van het oude kasteel Nunhem is niet veel bekend. Het stond vroeger op een omgracht terrein en in het begin van de 18de eeuw werd het vervangen door een nieuw buitenhuis.