De pastorie is één van de weinige historische gebouwen, die Dessel nog rijk is. Het gebouw dateert van rond 1780 en is opgetrokken in een sobere maar mooie classicistische stijl. De opbouw van de voorgevel is zuiver symmetrisch en geconcentreerd rond een middengedeelte met de deur, een venster op de eerste verdieping en een dakvenster dat uit het schilddak springt.
Het gebouw werd, naast de verblijfplaats voor 3 geestelijken, ook gebruikt als Latijnse school. Opmerkelijk was dat heel wat studenten van buiten Dessel hier kwamen studeren. Zij kwamen vooral uit Noord-Brabant (NL), Antwerpen en regio Brussel-Leuven. De studenten verbleven hier van oktober tot einde augustus. Het schoolgeld bedroeg jaarlijks 4 gulden. Voor kost en inwoon bij Desselse burgers betaalden ze ongeveer 110 gulden per jaar. De laatste sporen van de Latijnse school dateren van 1795.
Van oude pastorij naar modern sociaal huis
Begin 2004 besliste de gemeenteraad de Pastorij te renoveren tot een sociaal huis. In april 2009 namen het OCMW en de sociale dienst van Dessel er hun intrek.
