Hvorfor i alverden fandt Valdemar den Store på at bygge en borg på Sprogø? Det er sådan set ikke så mærkeligt for en borg giver sikkerhed til fx at opbevare skatter, sætte folk i fængsel og et opholdssted under rejser rundt i riget. Borgen var desuden et sted at trække sig tilbage, hvis man blev angrebet.
En borg kan også være et sted at gøre udfald fra, hvis det er ufredstider. Og det var ufredstider på Valdemar den Stores tid. Sven, Knud og Valdemar stredes om magten over det danske rige. Valdemar var konge over Jylland. Knud over Fyn. Sven over Sjælland. Denne deling af magten skulle besegles ved et gilde i Roskilde den 9. august 1157. Her forsøgte Sven at tiltage sig den totale magt. Knud blev dræbt, men Valdemar nåede hårdt såret at flygte først til Fjenneslev, og derfra blev han sejlet til Jylland, hvor han samlede en hær ved Viborg. Sven fulgte efter, og i et slag på Grathe hede, syd for Víborg, vandt Valdemar. Nu var det Sven, der flygtede, men han blev genkendt af nogle bønder, der dræbte ham. Dermed var Valdemar enekonge i Danmark.
En ting var at bekæmpe uenigheder inden for de danske grænser. Men ufreden drejede sig nok så meget om krigen mod venderne. Igennem lange tider havde venderne angrebet og røvet over alt i Danmark.
Samtidig var venderne også hedninge. Valdemar samlede sammen med sin feltherre, biskop Absalon, i alt 260 skibe for en gang for alle at gøre op med hedningene mod syd. På vejen over Østersøen i hårdt vejr blev Valdemar imidlertid vægelsindet, vendte om og søgte ly i Fanefjord på Møn, hvor der er en naturhavn. Absalon blev rasende og skældte kongen ud over, at han ikke havde gennemført plaen. Efter et par dages hvil, drog flåden ud igen og på Rügen indtog de Arkona, der var Nordeuropas største hedenske fæstning og havde været udgangspunkt for vendernes plyndringstogter. Ved samme lejlighed blev guden Svantevit med de fire hoveder ødelagt.
Sprogø er i dag ubeboet og lukket for offentligheden. Korsør og Nyborg arrangerer guidede ture ud til øen.
Så Valdemar havde helt klart brug for støttepunkter forskellige steder i Danmark både ved rejser i fredstid og som udgangspunkt for togterne mod venderne. Tilnavnet ”den Store” fik han, fordi der i hans regeringstid var fremgang på flere fronter. Landbrugsmæssigt gik det godt, fordi der var stor eksport af kvæg, der af studedrivere blev drevet ned gennem Jylland og solgt i de tyske byer. Krigsmæssigt fordi vendernes hærgen af de danske kyster i hans tid blev bekæmpet. Det var i Valdemar den Stores tid og i høj grad hans fortjeneste, at Danmark i løbet af hans regeringsperiode blev et stort og samlet dynasti.
Hvor dominerende Valdemar den Stores magt var, kan illustreres med, at han gennemførte, at det hidtidige valg af konge blev afløst af, at det var hans gren af kongeslægten, der havde arveret til Danmarks trone.
Det er i Valdemar den Stores tid, at man første gang hører om brændte teglsten som byggemateriale. Det er i hans tid, at Dannevirke bliver bygget, og i hans tid der bliver anlagt fæstningsværker ved Korsør, Nyborg, Vordingborg (hvor Gåsetårnet står endnu), Kalundborg – og altså på Sprogø.
Der kan næppe have været noget særligt stort mandskab på borgen på Sprogø. I alt måler voldstedet 26 gange 29 meter.Stedet er nu fredet. Om der har siddet en selvstændig slotshøvedsmand på Sprogø, ved man ikke. Omkring år 1300 blev fæstningen på Sprogø revet ned. De dyrebare teglsten blev genbrugt til udbygning af andre fæstningsværker, bl.a. i Nyborg og Korsør.
Den 24 m høje Fyrbakke med fyrtårn har en vis historisk interesse og er i dag fredet. Fyrtårnet fra 1868 er bygget på resterne af en gammel borg fra 1167 opført af Valdemar den Store. Ruinerne, der er de ældst daterede fæstningsværker i Danmark, er i dag restaureret af Nationalmuseet i samarbejde med Sund & Bælt og fremstår smukt på fyrrebakken. I 2011 blev der sat endelig punktum for restaureringen af ruinen med udgivelsen af en bog, som fortæller historien om Sprogø og Valdemars borg.
I 1997 blev lyset i fyrtårnet atter tændt efter at have været slukket siden 1980. Fyrlyset har dog i dag ingen praktisk betydning for skibstrafikken.