Der alte Friedhof, oben am Berg gelegen, gruppierte sich ursprünglich direkt um die Kirche. Als die kleine alte Kirche baufällig war, wurde sie abgerissen und in den Jahren 1829/30 ein neues Gotteshaus errichtet. Der Plan von Kreisbauinspektor Ludwig Behr sah ein doppelt so großes Gebäude wie die alte Kirche vor, sodass der Bauplatz vergrößert werden musste. Zahlreiche Gräber wurden durch „beherzte“ Männer, die für ihre Arbeit mit genügend Branntwein versorgt wurden, entfernt. Zusätzlich wurden zur Vergrößerung des Bauplatzes auch noch Grundstücke angekauft. Bis zu diesem Zeitpunkt mussten die Särge den Hang hinauf zum Friedhof über eine alte verfallene Treppe getragen werden.

1860 wurden die Umfassungsmauern repariert und der Friedhof in östliche Richtung durch Ankauf von Grundstücken erweitert. Am Ende des 19. Jahrhunderts erhielt der Totengräber für das Ausheben eines Grabes 50 Pfennige. Bei felsigem Boden wurde der Lohn auf eine Mark erhöht. Zu einer erneuten Erweiterung kam es 1917. In diesem Zusammenhang wurden am oberen Rand des Friedhofs, unterhalb der Weinberge, Erbbegräbnisstellen errichtet, die für 100 Mark auf 75 Jahre vergeben wurden. Noch heute sind einzelne dieser Gräber zu sehen. 

Ursprünglich befand sich auf dem alten Mandeler Friedhof ein Ehrenmal zum Gedenken an die Gefallenen des 1. Weltkriegs. Dieses Ehrenmal ging zurück auf die Initiative des Mandeler Kriegervereins im Jahr 1921. Nach Absprache mit den Geistlichen des Ortes trat der Gemeinderat in Verhandlungen mit dem Bildhauer Ritter aus Bad Kreuznach. Bildhauer Ritters Entwurf sah ein Kreuz mit Christus Korpus in Mainsandstein vor, mit rechts und linksseitigen Ausbauten zur Anbringung von Marmortafeln. Darauf sollten die Namen der Gefallenen des Krieges verzeichnet werden. Die Kosten beliefen sich auf 12.850 Mark ohne Fundament; die gärtnerischen Anlagen umfassten einen zusätzlichen Betrag von 1.150 Mark. Das Ehrenmal wurde aus der Gemeindekasse finanziert. Es wurde auf dem 1917 erweiterten Teil errichtet und am Totensonntag 1921 unter großer Teilnahme des Dorfes eingeweiht. Nach dem 2. Weltkrieg wurde das Ehrenmal um zwei weitere Stelen mit den Namen der Gefallenen dieses Krieges erweitert.

Zur Anlage eines neuen Friedhofs wurden 1936 mehrere Grundstücke vor dem Heiligen Häuschen angekauft und ein Grundstück mit dem Baron von Salis-Soglio getauscht. 1940 wurde die Einfriedung des neuen Friedhofs angelegt und die Einteilung festgelegt. 1942 erfolgte der Bau des Mittelwegs.

Vom alten Friedhof aus gesehen erregt das Mandeler Weinbergshäuschen, an markanter Stelle hoch oben auf dem Berg über dem Weinberg im Schlossberg gelegen, die Aufmerksamkeit.

Weinbergshäuschen wurden in der Regel zur Aufbewahrung von Handwerkszeug genutzt, das zur Bewirtschaftung des Weinberges notwendig war. Gleichzeitig bot es Schutz vor Unwettern bei der Arbeit oder bei der Rebenwacht im Herbst. Neben diesen funktionalen Zwecken dienten einige Gebäude auch der Repräsentation. Ende des 19. Jahrhunderts wurde in diesem Sinne das repräsentative gründerzeitliche Mandeler Weinbergshäuschen im Stile eines Belvederes erbaut. 

Mit seinen Zinnen mutet es wie ein kleiner Burgturm an. Für den Bau waren ursprünglich Sandsteinsäulen verwandt worden. Wegen Witterungsschäden mussten sie an der evangelischen Kirche abgenommen werden. Diese Sandsteinsäulen verwendete Martin Esselborn auch beim Bau seiner Scheune und der früheren Terrasse über dem Eingang des historischen Gewölbekellers im ehemaligen Schlossgarten.

Bis in die 1970iger Jahre gab es in der Mandeler Gemarkung einfache aus Holz gebaute Weinbergshütten. Sie schützten vor dem Wetter und dienten als Rastplatz beim Mittagessen und den Pausen bei der schweren Arbeit im Weinberg.

Am Ende des Friedhofs zur Kirche hin, zwischen Bäumen und Hecken versteckt, befindet sich der Grabstein von Friedrich Christian Nelson. Ende des 19. Jahrhunderts war er als evangelischer Pfarrer in Mandel tätig. Er wurde 1814 in Simmern geboren. Zuerst war er als Hilfsprediger in Kastellaun angestellt, bevor er die gleiche Position zwei Jahre lang in Simmern innehatte. Von 1845 bis 1862 war er ordentlicher Pfarrer in Oberkostenz. 1862 trat er seine Stelle in Mandel an. Er bekleidete das Amt des evangelischen Pfarrers in Mandel 29 Jahre lang. Er ist als tragische Figur in der Mandeler Kirchengeschichte anzusehen. Neben den Auseinandersetzungen mit der katholischen Kirchengemeinde kam es auch zu Streitigkeiten zwischen ihm und seiner Gemeinde. Aus diesem Zwist heraus bildete sich die methodistische Gemeinde.

Am 19. Januar 1891 verstarb er in Mandel morgens um 1.30 Uhr an Altersschwäche („Gehirnerweichung“) im Alter von 76 Jahren. Er wurde zwei Tage später zu Grabe getragen. Die „Leichenpredigt“ hielt Superintendent Umbeck über Psalm 73,24 (Dennoch bleibe ich stets an dir; denn du leitest mich nach deinem Rat und nimmst mich am Ende mit Ehren an). Die „Begräbnisfeier“ führte Pfarrer Heep von Roxheim durch.