Les portes piétonne et charretière en signalent l’importance. En effet le presbytère comportait au total 6 bâtiments : la maison presbytérale, la plus à l'Ouest et proche de l'église, une extension à l'Est et 4 autres dépendances de plus petites tailles (grange, crèche, écurie…) situées sur une grande parcelle de terre à deux niveaux comportant au Nord un grand jardin sur la partie élevée (l’escalier y menant est encore bien visible).

Deux pierres sauvées après sa démolition portent les dates de 1672 et 1685 qui pourraient être celles d’une modification ou d’un agrandissement.

Quant au  mur de clôture qui longe la route du port, il fut à maintes reprises reculé pour faciliter le passage des convois militaires, puis des automobiles. 

Gravement endommagé par les bombardements de 1944,  le presbytère était à la Libération en très mauvais état, quelques réparations provisoires ne firent que retarder la ruine des bâtiments. En 1959, tout est rasé et un bâti de style néo-breton est construit, le recteur de Roscanvel y réside jusqu’en 1996. Puis la municipalité après y avoir temporairement installé la bibliothèque réemploi le presbytère en agence postale en 2007.