Auf dem rund fünf Hektar großen, bewaldeten Plateau über der Stadt Eilenburg stand einst die Ilburg der Eilenburger Grafen. Im Jahre 961 war erstmals von der Burg die Rede, was heute als Gründungsjahr der Stadt gilt. Der Burgberg mit der Ilburg ist der Ursprungsort der Sage von den Heinzelmännchen. Es heißt, das kleine Volk feierte auf der Ilburg heimlich Hochzeit. Geweckt vom Lärm wurde der alte Graf jedoch freundlich zum Fest eingeladen. Nur er und niemand anderes durfte die Heinzelmännchen je erblicken. Weil aber die alte Gräfin der lustigen Gesellschaft heimlich zusah, verwünschten die Heinzelmännchen das Geschlecht derer von Eilenburg.
Die Burg gibt es nicht mehr, erhalten geblieben und in den letzten Jahren restauriert wurden das alte Burgtor, die Ringmauer und zwei mächtige Türme, den begehbaren Sorbenturm und den Kleinen Bergfried. Der 16 Meter hohe Sorbenturm ist bereits seit 1863 Aussichtsturm. In dem einstigen Wohnturm werden heute auch Ausstellungen gezeigt. Am 30 Meter hohen Kleinen Bergfried erstreckt sich das barocke, noch unsanierte Amtshaus, das vermutlich um 1700 aus den Trümmern des Schlosses errichtet wurde. Das alte Gefängnis an der Burgmauer wurde saniert und beherbergt heute als schmucke Pension „Heinzelberge“ Gäste der Stadt.