Truyền thuyết kể rằng, khi Vua Lý Công Uẩn định đô và xây thành Thăng Long, xây thành đến đâu bị sụt lở đến đó. Nhà vua cho cầu thần Long Đỗ-vị thần cai quản thành Đại La (tên cũ của thành Thăng Long). Thần hiển linh thành Bạch Mã (ngựa trắng). Nhà vua cứ theo vết chân ngựa mà xây, thành không lở nữa. Thành xây xong, nhà vua phong thần Long Đỗ là Quốc đô Thành hoàng Đại vương, tức vị Thành hoàng bảo trợ kinh đô. Triều đình cũng cho tu sửa đền thờ thần Long Đỗ. Đó chính là đền Bạch Mã ngày nay.
Các triều đại quân chủ xưa khi xây thành Thăng Long đã cho dựng bốn ngôi đền, thờ bốn vị thần bảo trợ cho kinh thành ở bốn hướng: đông, tây, bắc, nam của kinh thành. Bốn ngôi đền được người dân gọi là Tứ trấn Thăng Long. Trong đó, đền Bạch Mã là ngôi đền lâu đời nhất, thờ vị thần quan trọng nhất của kinh đô xưa.
Trải qua những thăng trầm lịch sử, kiến trúc đền Bạch Mã mang dấu ấn đặc trưng của phong cách kiến trúc thế kỷ 19. Dù nằm trên một diện tích không lớn, nhưng đền Bạch Mã giữ nguyên được mặt bằng tổng thể, các hạng mục kiến trúc điển hình của một ngôi đền quan trọng khi xưa. Ngôi đền được xây theo hình chữ Tam, gồm ba dãy nhà song song, bên ngoài là phương đình tám mái. Điểm đặc sắc của công trình kiến trúc này chính là hệ thống mái hình vỏ cua (hình mai con cua) liên kết giữa các hạng mục kiến trúc.
Điều này tạo sự khép kín, liên hoàn, tăng thêm không gian cho di tích, tạo điểm nhấn khác biệt, hiếm thấy của di tích so với nhiều di tích vùng đồng bằng Bắc Bộ. Đền hiện còn giữ được nhiều hiện vật có giá trị mang phong cách nghệ thuật cuối thế kỷ 17 như: 18 bia đá cổ ghi lại việc sửa đền, 17 đạo sắc phong do triều đình nhà Nguyễn ban tặng, cùng nhiều đồ thờ tự quý... Trong đền hiện có một ngựa trắng bằng gỗ lớn, tượng trưng cho thần Bạch Mã và được rước vào những dịp quan trọng. Phía sau đền còn có một chiếc giếng cổ. Đây cũng là điểm được nhiều người tham quan, bởi là một trong số ít giếng cổ còn sót lại trong khu phố cổ.
Ngay từ khi ra đời, đền Bạch Mã đã gắn với yếu tố hoàng gia, cho nên các hoạt động lễ hội của ngôi đền cũng hết sức độc đáo. Một trong các nghi lễ quan trọng là lễ Tiến xuân ngưu (Dâng trâu mùa xuân) - nghi lễ vừa mang tính cung đình, vừa mang tính dân gian. Lễ Tiến xuân ngưu xưa do triều đình trực tiếp tổ chức. Triều đình tổ chức tế ở đàn tế tại phía đông kinh thành. Quan lại cùng dân chúng các phường rước tượng trâu đất đến đền Bạch Mã làm lễ. Tượng trâu được đặt lên ngai, quan và dân các phường trong kinh thành rước về Ðiện Kính Thiên để tiến vua. Ðoàn rước đi tới đâu thì dân ở hai bên đường mang pháo ra đốt chào đón. Thi thoảng các quan cầm cành dâu lần lượt quất lên mình trâu mấy cái. Dân chúng cứ đến ngày này đều nô nức rủ nhau đi dự đám rước, cho nên nghi lễ là một ngày hội lớn của thành Thăng Long xưa. Nghi lễ này hiện đã được phục dựng một phần.
Do đền nằm ở trung tâm phố cổ, gần các di tích quan trọng như: Ô Quan Chưởng, Ngôi nhà di sản số 87 phố Mã Mây... lại có lịch sử ra đời đặc biệt, đền Bạch Mã (phố Hàng Buồm, quận Hoàn Kiếm) là một trong những địa chỉ du lịch hấp dẫn của Thủ đô.
