Первоначальными его владельцами были три брата семейства Эльц, и до настоящего времени замок является коллективной собственностью. В XIII веке укрепленному сооружению пришлось пережить осаду, и замок с честью выдержал это испытание.
Основа замка – внутренний двор, который окружают восемь, имеющих разную высоту башен. Башни объединяются стенами, переходами, а внутри располагаются хозяйственные постройки.Стиль башен разный, начиная от готики и заканчивая барокко.
За свою долгую историю замок Эльц постоянно перестраивался, появлялись новые объекты внутри, получавшие названия в честь различных родов семьи: Рюбенбахов, Родендорфов, Кемпенихов. Всего в нем проживали представители 33 поколений семейства Эльц. Внутри насчитывается сто различных помещений: залы, спальни, столовые, кухня, оружейная, сокровищница и другие.
В наши дни замок открыт для посещения, в нем проводятся экскурсии.