Historisch gezien werd Burg Altenfils voor het eerst vermeld rond 1180 in het eigendomsregister van graaf Siegfried von Bonenburg, die in 1144 overleed. Vervolgens ging het door vererving over naar de hertog van Saksen, Hendrik de Leeuw, en wordt het in 1200 opnieuw genoemd in de verdelingsovereenkomsten van zijn zonen. De Altenfels Werden pas weer genoemd aan het eind van de eeuw, in 1294. De aartsbisschop van Keulen beloofde de burgers van Brilon, die hadden meegeholpen aan de wederopbouw van zijn kasteel, dat ze er geen schade van zouden ondervinden in geval van oorlog. In 1307, 1325 en 1326 worden er nog kasteelheren op het kasteel vermeld, dus er kan worden aangenomen dat het kasteel toen nog bestond.