Νότια του σύγχρονου οικισμού των Σέρβιων, στην κορυφή ενός λόφου στους πρόποδες των Πιέριων δεσπόζει το ομώνυμο κάστρο. Η ονομασία του κάστρου προέρχεται από το λατινικό ρήμα servo που σημαίνει φυλάττω – παρατηρώ.
Η πρώτη ονομασία της περιοχής ήταν φυλακαί επί Μακεδόνων, έως ότου την κατέλαβαν οι Ρωμαίοι και το μετάφρασαν στην γλώσσα τους ως Σέρβια που σημαίνει Φυλακτήρια – Παρατηρητήρια.
Το κάστρο είναι της Βυζαντινής περιόδου και εκτιμάται ότι κτίστηκε τη χρονική περίοδο 560 με 650 μ.χ. Το κάστρο σε κάτοψη έχει ακανόνιστο σχήμα, λόγω της ανώμαλης μορφολογίας του εδάφους.
Η συνολική έκταση που καταλάμβανε ήταν περίπου 100 στρέμματα και χωριζόταν σε τρία άνισα μεταξύ τους τμήματα, την ακρόπολη που ήταν στο υψηλότερο σημείο, το αμέσως επόμενο την άνω πόλη και το το τελευταίο τμήμα στο χαμηλότερο σημείο την κάτω πόλη.
Το Ελληνικό κέντρο παρατήρησης επισκέφτηκε το κάστρο και δημιούργησε ένα ντοκιμαντέρ μικρού μήκους:
