Det er blandt andet tagetagen, der er strid om. Lokalet var tidligere undervisningslokale for Internationalt Uddannelse Center, men det er nu ombygget til bolig for vandrehjemmets bestyrer.
Kulturarvsstyrelsen blev opmærksom på den ulovlige ombygning, da de var i Svendborg for at besigtige en anden ombygning på vandrehjemmet.
Vandrehjemmet er blevet ombygget flere gange gennem de seneste 15 år, og det gælder også den fredede delt af vandrehjemmet.
Kulturarvsstyrelsen har i følge Fyens Stiftstidende nu godkendt tre mindre ombygninger med tilbagevirkende kraft, men kræver til gengæld at tagetagen bygges om til det oprindelige udseende.
Svendborg vandrehjem har fået to måneder til at kommer frem med en plan for at gøre bygningen lovlig, og en arkitekt er nu i gang med at udarbejde et forsalg til ombygningen. Hvor meget der kommer til at koste, er derfor endnu ukendt.