Nhà cổ Huỳnh Thủy Lê được ông Huỳnh Cẩm Thuận cho xây dựng năm 1895 và trùng tu năm 1917. Khi ông mất, nhà được trao lại cho con trai út là Huỳnh Thủy Lê thừa kế. Ngôi nhà được xây dựng trên diện tích đất gần 260 m2, cách bờ sông Sa Giang trước nhà 50m với lối kiến trúc độc đáo.
Cụ thể là kiến trúc truyền thống người Việt cao ráo, bên trong thoáng mát, tường được xây bằng gạch dày từ 30-40 cm bao lấy kết cấu khung gỗ làm tăng khả năng chịu lực, cột gỗ tròn, nền lót gạch bông. Phần trên của mặt tiền nhà có ghép các mảnh sành, sứ, gạch bông và khuôn bông để trang trí làm đẹp. Mái lợp ngói âm dương, hai bên đầu hồi cong vút hình thuyền theo kiểu đình chùa Bắc Bộ nhằm tạo nét mềm mại. Nhà có ba gian, cửa gỗ chạm khắc rất công phu, trang trí bên trong theo kiểu người Hoa.
Ngoài kiến trúc độc đáo, ngôi nhà cổ này còn là nơi cư ngụ của ông Huỳnh Thủy Lê - người tình đầu tiên của nữ văn sĩ Marguerite Duras. Theo tài liệu, Huỳnh Thủy Lê và Marguerite Duras tình cờ quen nhau trên chuyến phà Mỹ Thuận vào năm 1929. Lúc đó Marguerite Duras mới 15 tuổi, còn Huỳnh Thủy Lê 23 tuổi. Mối tình thơ ngây nảy sinh từ đó. Đến khi cha ông Lê biết chuyện đã ngăn cấm và không cho hai người qua lại với nhau vì không môn đăng hộ đối. Hoàn cảnh của Marguerite Duras lúc bấy giờ rất đáng thương, nhà nghèo, mẹ là giáo viên trường nữ học Trưng Vương, thành phố Sa Đéc, tiền lương không đủ nuôi 3 người con.
Rồi Marguerite Duras được mẹ gửi vào học nội trú ở Sài Gòn, ước mơ có một gia đình với người mình yêu không được trọn vẹn. Ngày Huỳnh Thủy Lê cưới vợ theo mong muốn của gia đình, Marguerite Duras về Sa Đéc lén mẹ đạp xe đến một góc phố âm thầm tiễn biệt người tình trong trang phục súng sính cổ truyền bên cạnh cô dâu xa lạ. Quá đau buồn, Duras cùng mẹ và em trai giã biệt Sa Đéc lên Sài Gòn chờ tàu về Pháp...
Ông Huỳnh Thủy Lê có một vợ và 5 người con. Năm 1972, ông qua đời ở Sài Gòn, được đưa về làm tang lễ tại Sa Đéc và an táng tại khu đất của gia đình nằm phía sau khách sạn Bông Hồng ngày nay. Mối tình này về sau trở thành hồi ký để bà Marguerite Duras viết nên tiểu thuyết tự truyện nổi tiếng “Người tình”, được ấn hành năm 1984.
Tiểu thuyết “Người tình” bán chạy nhất trong cùng thời gian với hơn 2,5 triệu ấn phẩm, được dịch ra hơn 40 thứ tiếng. Tác phẩm cũng được đạo diễn người Pháp Jean-Jacques Annaud chuyển thể thành phim “L’Amant” năm 1992; được trao giải thưởng Goncourt ngay năm đó. Phim lấy bối cảnh Sa Đéc, một số tỉnh miền Tây Nam Bộ, Sài Gòn… khoảng năm 1927. Qua bộ phim này, ngôi nhà Huỳnh Thủy Lê được nhiều khách trong và ngoài nước tìm đến tham quan với mong muốn được tận mắt chiêm ngưỡng Sa Đéc và căn nhà của người tình của nữ văn sĩ nổi tiếng Marguerite Duras.
Từ năm 2007, với sự tham gia của đơn vị khai thác du lịch, ngôi nhà trở thành điểm tham quan thu hút nhiều du khách trong và ngoài nước. Anh Trần Võ Hoàng Nam, thuyết minh viên tại nhà cổ Huỳnh Thủy Lê cho biết, du khách rất thích thú nghe câu chuyện tình đầy cảm động và xem kiến trúc vô cùng độc đáo của ngôi nhà cổ sau hơn 100 năm chưa trùng tu lại.
Nhà cổ Huỳnh Thủy Lê thu hút được nhiều du khách quốc tế, nhất là thời điểm từ tháng 9 đến tháng 4 hằng năm, trung bình mỗi tháng cao điểm 5.000 lượt khách. Khách đến tham quan có thể đi bằng đường bộ hoặc đường thủy. Riêng đối với đường thủy, phần lớn là theo tour khám phá sông Mê Công.
Bên cạnh khách nước ngoài, dịp 3 tháng hè hằng năm được xem là cao điểm của du khách trong nước, có thể tham quan nhà cổ Huỳnh Thủy Lê theo chương trình Tour “Khám phá Đồng Tháp trong ngày”, “Đồng Tháp 3 ngày 1 đêm”. Ngoài ra, để du khách được dịp trải nghiệm ngủ lại nhà cổ, đơn vị tiếp quản khai thác đã trang bị 2 phòng có giường ngủ để du khách muốn một không gian riêng tư, yên tĩnh có thể đăng ký lưu trú.
Là ngôi nhà hết sức đặc biệt có gần 130 năm tuổi với những giá trị đặc sắc về kiến trúc nghệ thuật, năm 2009, nhà cổ Huỳnh Thủy Lê được Bộ Văn hóa, Thể thao và Du lịch xếp hạng Di tích cấp quốc gia. Thành phố Sa Đéc xác định đây là điểm du lịch quan trọng. Sau thời gian được doanh nghiệp khai thác du lịch, nhà cổ bị xuống cấp, tạm ngưng hoạt động, được giao lại cho thành phố Sa Đéc quản lý và hoạt động trở lại vào tháng 12/2023.