Ngay sau Lễ dâng hương kính cáo các vị tôn thần được diễn ra tại Đền Nghè, Ban tổ chức Lễ hội Đảo Dấu thực hiện nghi thức thượng cờ khai hội tại Đảo Dấu.
Đây là nghi thức văn hóa tâm linh truyền thống, mở đầu cho lễ hội với ý nghĩa không chỉ cầu mong “phong điều vũ thuận”, “quốc thái dân an”, mà còn nhắc nhở các thế hệ con cháu giữ gìn đạo lý “uống nước nhớ nguồn”, nhớ về quê hương; lòng tôn kính, biết ơn đối với các bậc tiền nhân đã có công “khai sơn phá thạch”, lập nên mảnh đất Đồ Sơn, khơi dậy niềm tự hào về quê hương, đất nước trong suốt quá trình xây dựng và phát triển.
Sau Lễ dâng hương, thượng cờ là Lễ rước đàn được diễn ra trang nghiêm, thành kính.
Bên cạnh các nghi lễ truyền thống, trong khuôn khổ lễ hội còn có hội cờ tướng (ngày 4/2 âm lịch) và chương trình liên hoan diễn xướng hát văn và hát chầu văn Đồ Sơn mở rộng (trong 2 ngày 8 và 9/2 âm lịch).
Năm 2009, Đảo Dấu được Bộ Văn hóa, Thể thao và Du lịch công nhận và xếp hạng Di tích - danh lam thắng cảnh quốc gia. Đây là hòn đảo có mật độ di sản dày đặc, trong đó có di tích văn hóa như Đền thờ Nam Hải Thần Vương. Tương truyền, Vua Tự Đức trong một dịp kinh lý ra bắc, ngang qua đền thì gặp sóng to gió lớn. Vua cho dừng thuyền, lên đền khấn vái, ngay sau đó bỗng trời quang mây tạnh. Từ đó, vua sắc phong nơi đây là đền thờ Nam Hải Thần Vương.
Bên cạnh đó còn có Di sản thiên nhiên quần thể Đa búp đỏ; Di tích lịch sử Tòa nhà Hải đăng cổ nhất Việt Nam.
Hằng năm, vào ngày 9/2 âm lịch tại Đồ Sơn diễn ra Lễ hội Đảo Dấu, đây cũng là lễ hội truyền thống của dân đi biển ở vùng duyên hải Bắc Bộ. Ngày này, ngư dân khắp các vùng lân cận thường kéo về Đảo Dấu tế lễ, cầu xin Nam Hải Thần Vương một năm làm nghề biển yên lành, đánh bắt được nhiều tôm cá.
Trong dịp này, dân địa phương mở hội lễ tạ và ra ngủ một đêm trên đảo để hưởng lộc của thần.
