五老峰为庐山地块抬升形成的南翼，由于存在4组横节理，受侵蚀形成5个山峰，远看似五位老人端坐，由此而得五老峰之名。其中以四峰最高。

李白曾在《望庐山五老峰》一诗中写道：“庐山东南五老峰，青天削出金芙蓉。九江秀色可揽结，吾将此地巢云松。”

五老峰上有很多摩崖石刻，尤以三峰为多，其中有许世昌书“近日云低”、郭友龙书“星聚层峦”、徐坦书“去天尺五”、沈瑛书“目无障碍”等。五老峰摩崖石刻已被列为九江市文物保护单位。

在日本漫画家车田正美的知名作品《圣斗士星矢》中，青铜圣斗士紫龙，在庐山五老峰追随师父黄金圣斗士童虎修炼。童虎定居五老峰，则是为了镇守被雅典娜关押于此的一百零八名冥斗士。

五老峰下的海会寺是当地佛教中心，距离海会寺500米就是蒋介石1933年办的军官训练团，陈诚当时是教育长，汤恩伯是学员，有30多栋房子，后来被日军炸毁，只剩下3栋，成为1958年办的“江西省共产主义劳动大学庐山分校”的校址；以后划为“江西省共产主义劳动大学星子分校”。1969年由九江市的三所中学（九江市甘棠中学，红旗中学，庐山中学）合并到五老峰下的共产主义劳动大学。 五老峰面对鄱阳湖，面对东面，日出时候十分壮美。