Der imposante, weithin sichtbare Tafelberg gehört zu den markantesten und meistfotografierten Sandsteinfelsen in der Sächsischen Schweiz. Sein Gipfel liegt in 415 Metern Höhe und hat ein großes, bewaldetes Plateau. Im Mittelalter, um 1200, stand hier eine kleine Burg, wie Ausgrabungen von Mauerresten und Funde belegen. Im Jahre 1379 tauchte dann erstmals der Name „Ylgenstein“ auf – der Lilienstein hat also nichts mit der Blume zu tun. Anno 1708 wurden auf der Südseite Stufen in den Stein geschlagen, damit August der Starke den Gipfel erklimmen konnte. An dieses Ereignis erinnert ein vier Meter hoher Obelisk. Auch an der höchsten Stelle des Liliensteins steht eine 16 Meter hohe Gedenksäule. Diesen Obelisken ließ der Gebirgsverein für die Sächsische Schweiz 1889 anlässlich des 800-jährigen Bestehens des sächsischen Herrscherhauses der Wettiner errichten.
Gegenüber lädt die „Felsbaude“ mit Gaststube und Biergarten von April bis September Freitag bis Montag 11 - 17 Uhr und im Oktober 11 - 16 Uhr zur Einkehr ein. Schon im Jahre 1873 eröffnete auf dem Lilienstein die erste Bergwirtschaft. Eine einfache Materialseilbahn sorgt bis heute für den Transport des Notwendigen. Es gab auch einmal Pläne für eine Bergbahn, die jedoch nicht realisiert wurden. Die schönsten Aussichtspunkte liegen auf Felsen, die über Stiegen zu erreichen sind. Am Lilienstein gibt es auch gekennzeichnete Kletterfelsen für Sportkletterer.
