Đền Kim Liên thờ Cao Sơn Ðại Vương, theo truyền thuyết là thần Cao Sơn là con trai Lạc Long Quân và Âu Cơ. Tương truyền, từ thời Lý, người dân địa phương đã xây một đền thờ nhỏ để thờ thần Cao Sơn Ðại Vương. Tuy nhiên, theo các tư liệu lịch sử, ngôi đền xuất hiện muộn hơn, gắn với việc tranh chấp quyền lực thời Lê sơ. Thần hiển linh giúp vua Lê Tương Dực lên ngôi, cho nên vua đã cho xây lại ngôi đền ở làng Kim Liên (cũ), phía nam kinh thành. Ngôi đền được nhân dân coi là trấn Nam Thăng Long. Trong Tứ trấn Thăng Long, trấn Nam là ngôi đình duy nhất, đồng thời, cũng là địa danh ra đời muộn nhất.
Theo quan niệm dân gian “đình làng, đền nước”, đình thờ thành hoàng làng, gắn với không gian của một ngôi làng cụ thể, còn đền thường thờ những nhân vật có công tích lớn, gắn với cả vùng miền, quốc gia. Nhưng nơi thờ Cao Sơn Ðại Vương là một trường hợp đặc biệt, vừa là đình, vừa là đền. Kim Liên vốn là đền. Nhưng trong quá trình xây dựng, gìn giữ, luôn có sự đóng góp to lớn của người dân làng Kim Liên. Sau này, đền được dùng làm nơi hội họp của chức dịch trong làng. Do đó, Kim Liên vừa là đền, vừa được coi như ngôi đình của làng.
Kiến trúc của đền được xây theo hình chữ đinh, gồm ba phần chính: Hậu cung, đại bái và sân. Hậu cung đền khá lớn với ba gian, tiếp đó là nhà đại bái gồm năm gian hai sảnh. Mỗi bên có ba bậc, gian giữa thấp hơn để tế lễ. Cổng đền trước đây hai cột trụ lớn, đắp linh vật công phu. Sau này, khi tu bổ, cải tạo chuẩn bị Ðại lễ 1000 năm Thăng Long-Hà Nội, cổng đền được xây mới gồm cổng chính và hai cổng phụ hai bên, đều có mái như hiện nay. Phía trước cổng đền là một hồ bán nguyệt. Hiện vật đặc biệt nhất ở đình, đền Kim Liên là tấm bia đá dựng năm 1510. Ðây là tấm bia có kích thước lớn, cao tới 2,43m, rộng 1,57m, dày 22cm. Nội dung ca ngợi tài năng đức độ, sự linh thiêng của Cao Sơn Ðại Vương, người đã có công lúc sinh thời và hiển thánh để giúp nước cứu dân, giúp Lê Lợi khởi nghĩa, giúp Lê Tương Dực lên ngôi vua. Tấm bia này giúp hậu thế hiểu rõ về sự ra đời của ngôi đền. Ngoài ra tại đền còn có 39 đạo sắc phong cho thần Cao Sơn Ðại Vương, trong đó có 26 đạo thời Lê Trung Hưng, 13 đạo thời nhà Nguyễn, sớm nhất trong số đó là sắc phong có niên đại Vĩnh Tộ năm thứ hai (1620).
Ðể tưởng nhớ Cao Sơn Ðại Vương, hằng năm, cứ vào ngày 16/3 âm lịch, người dân làng Kim Liên lại mở hội truyền thống. Dù làng đã trở thành phố từ lâu, nhưng người dân trong vùng vẫn tổ chức lễ hội với nhiều hoạt động tế lễ và hoạt động hội trang trọng, vui tươi. Ngôi đền hiện được đưa vào khai thác trong nhiều tour du lịch, trong đó có tour đạp xe khám phá Tứ trấn Thăng Long. Do có ý nghĩa quan trọng trong sự hình thành, phát triển của kinh đô Thăng Long, năm 2021, đình, đền Kim Liên được Thủ tướng Chính phủ công nhận là Di tích quốc gia đặc biệt.
