Theo hồ sơ xếp hạng di tích, có thể khái quát quá trình hình thành, phát triển của đình Trà Cổ như sau: Vào thời Lê sơ (thế kỷ 15), khi làng Trà Cổ mới hình thành, khởi thủy di tích là một ngôi đền hoặc ngôi miếu nhỏ, đơn sơ. Đến thế kỷ 17, khi dân cư đông hơn, đời sống vật chất cao hơn, làng Trà Cổ mới tôn tạo, mở rộng đền, miếu thành đình như hiện nay.
Truyền thuyết kể lại rằng, vào thế kỷ 15, có 12 gia đình ngư dân ở Đồ Sơn trong một lần đi đánh cá gặp sóng to gió lớn đã dạt vào một bán đảo hoang vu chỉ có sú vẹt và lau sậy. Nghe tin có thuyền gặp nạn, người dân từ vùng thượng sông Ka Long đã vượt mưa to, gió lớn đem lương thực, trang phục xuống cứu trợ. Trải qua thời gian, trước những thách thức về điều kiện tự nhiên và nguồn sinh kế, sáu gia đình đã rời đi, sáu gia đình còn lại quyết tâm bám trụ khai đất, lập làng, định cư nơi đây.
Với nghị lực và sự kiên trì, từ một nhóm cư dân đầu tiên, vạn chài Trà Cổ được hình thành, song buổi đầu còn thưa thớt và mang tính tự phát. Đến nay, các thế hệ người Trà Cổ vẫn truyền cho con cháu câu thành ngữ “Người Trà Cổ, tổ Đồ Sơn” với ý nhắc nhở con cháu rằng tổ tiên của họ quê ở Đồ Sơn. Đây cũng chính là nguồn cội hình thành nên văn hóa của vùng đất Trà Cổ.
Đình Trà Cổ được xây dựng trên khu đất bằng phẳng, cao ráo ở trung tâm của bán đảo Trà Cổ xưa (nay thuộc địa bàn khu Nam Thọ, phường Trà Cổ), cách bãi biển Trà Cổ khoảng 200m theo đường chim bay; đình quay hướng nam ghé đông. Đình Trà Cổ hiện thờ 7 vị Thành hoàng làng là: Bạch Điểm Tước, Ngọc Sơn, Huyền Quốc Lã Thái úy, Không Lộ, Giác Hải, Nhân Minh và Quảng Trạch. Bên cạnh đó, đình còn thờ sáu vị hiền tài có công khai hoang lập nên vùng đất Trà Cổ xưa.
Đình Trà Cổ là kiến trúc gỗ có mặt bằng hình chữ Đinh thuộc loại sớm nhất trong lịch sử kiến trúc đình làng nói riêng, lịch sử kiến trúc Việt Nam nói chung. Trải qua gần 400 năm tồn tại và phát triển, đình Trà Cổ đã được trùng tu nhiều lần nhưng về cơ bản vị trí, kiến trúc, nghệ thuật truyền thống của đình được bảo tồn tương đối nguyên trạng. Hiện nay, đình Trà Cổ được khoanh vùng bảo vệ theo quy định của Bộ Văn hóa, Thể thao và Du lịch.
Ngôi đình là một kiến trúc cổ bề thế, mái lợp ngói vẩy, bốn góc đao cong vút như một con thuyền rẽ sóng lướt tới, tạo nên dáng vẻ thanh thoát. Các bức cốn ở vì kèo thể hiện đường nét chạm trổ chắc khỏe, tinh xảo và rất sống động, mang dấu ấn thời bấy giờ và được đánh giá là một trong những ngôi đình có quy mô đồ sộ và kiến trúc độc đáo của khu vực Đồng bằng Bắc Bộ.
Hiện nay, tại đình Trà Cổ còn lưu giữ được nhiều hiện vật có giá trị như: Ba đỉnh hương đồng, hai hạc cưỡi đầu rùa bằng gỗ sơn son thếp vàng, tám long ngai bằng gỗ của thời Nguyễn, 12 sắc phong… Hằng năm, từ ngày 30/5 đến 3/6 âm lịch, tại đình Trà Cổ diễn ra lễ hội truyền thống. Đây là một lễ hội có quy mô lớn, tiêu biểu cho loại hình lễ hội dân gian trên địa bàn thành phố Móng Cái nói riêng và của cả nước nói chung. Nét độc đáo của Lễ hội đình Trà Cổ là lễ rước thần trên biển và hội thi “Ông voi” độc đáo.
Với những giá trị to lớn về kiến trúc, nghệ thuật và văn hóa, năm 1974, đình Trà Cổ đã được Bộ Văn hóa-Thông tin (nay là Bộ Văn hóa, Thể thao và Du lịch) xếp hạng là di tích kiến trúc-nghệ thuật cấp quốc gia.
Cùng với những danh thắng văn hóa, lịch sử đặc sắc trên địa bàn thành phố, đình Trà Cổ và Lễ hội truyền thống được lưu truyền qua hàng trăm năm lịch sử, đã và đang trở thành điểm đến hấp dẫn du khách trong nước và quốc tế.
