Ðịa điểm này vốn là một xưởng đúc tiền thời Gia Ðịnh thành. Sau bỏ hoang, nơi đây thành một ngôi chợ nhỏ gọi là chợ Cây Da Còm (nơi họp chợ có một cây da, cành lá khẳng khiu), chuyên bán trống, lọng, yên ngựa và mão (mũ) tú tài. Bài Cổ Gia Ðịnh phong cảnh vịnh có câu: Trên Cây Da Còm nỡ để ông già gùi đội/Dưới đường Cầu Khắc chi cho con trẻ lạc loài. Năm 1886, Pháp khởi công một khám đường lớn, đến năm 1890 hoàn thành. Ban đầu, khám chỉ có hai dãy, dài 30m, rộng 15m, giữa có lối đi rộng 2m, mặt chính được rào song sắt. Tường khám sơn mầu đen, trên cao có ô cửa lưới sắt. Thiếu ánh sáng, vệ sinh kém và số tù nhân ngày một tăng, nên trong phòng giam rất ngột ngạt, luôn có dịch bệnh. Nền phòng giam bằng xi-măng, tù nhân nằm dài trên sàn, một chân đút vào một cái cùm dài suốt chiều dài phòng giam. Khám Lớn còn có một xà-lim dành cho tù án tử hình. Ðó là một hầm kích thước 3m x 5m, ba mặt là tường kín, còn lại là một cửa sắt dày có đục lỗ. Sau số tù nhân quá nhiều, Pháp phải xây thêm hai dãy nhà một tầng và hai dãy nhà trệt. Chia thành nhiều khu vực với nhiều dạng tù khác nhau. Năm 1917, Pháp đặt tại Khám Lớn một máy chém cao 4,5m, lưỡi dao nặng 50kg. Mỗi lần thi hành án tử hình, người giám quản cho đặt máy chém giữa đường, khi thi hành xong, họ cho xe vòi rồng đến xịt để xóa, rửa dấu vết; khoảng 5 giờ sáng thì mọi việc đã xong. Sau Nam Kỳ khởi nghĩa bị thất bại (11-1940), rất nhiều chiến sĩ cách mạng, người Việt yêu nước kháng Pháp bị bắt giam, Khám Lớn và bót Catinat cùng nhiều đồn bốt khác cũng 'quá tải', không đủ chỗ giam giữ, cho nên ngày 16-12-1941, Thống đốc Nam Kỳ đã phê chuẩn kế hoạch xây khám Chí Hòa (tại ấp Chí Hòa), nhưng đến năm 1943 mới được khởi công. Sau nhiều biến cố, đến năm 1953 khám Chí Hòa mới hoàn thành. 1.600 tù nhân Khám Lớn Sài Gòn chuyển qua Chí Hòa cùng với cỗ máy chém, các tù nhân thường phạm, nhẹ tội được phóng thích. Từ đó, Khám Lớn chỉ là nơi giam giữ phụ và đến năm 1957, chính quyền Việt Nam Cộng hòa cho xây tại đây Trường đại học Văn khoa Sài Gòn, rồi sau là Thư viện Quốc gia. Nhiều nhà yêu nước và cách mạng nổi tiếng của nước ta đã bị giam giữ ở nơi đây và coi đây là trường đại học rèn luyện lý tưởng cộng sản như: Nguyễn An Ninh, Phan Văn Hùm, Trần Phú, Lê Hồng Phong, Ngô Gia Tự, Nguyễn Văn Cừ, Nguyễn Thị Minh Khai, Võ Văn Tần, Phan Ðăng Lưu, Lý Tự Trọng, Phạm Văn Ðồng, Phạm Hùng... Trong đó, Lý Tự Trọng và Nguyễn Thị Minh Khai đã bị hành quyết tại đây.
Trường đại học Văn khoa Sài Gòn-Thư viện Quốc gia là công trình khá thành công về tính hiện đại và tính dân tộc. Ðồ án do KTS Nguyễn Hữu Thiện (Trường Mỹ thuật Ðông Dương) và hai KTS Bùi Quang Hạnh, Lê Văn Lắm (tốt nghiệp tại Pháp) thiết kế. Do nhiều biến động của thời cuộc, công trình này đã nhiều lần bị gián đoạn, mãi đến ngày 23-12-1971 mới chính thức khánh thành. Ðể có kinh phí xây dựng thư viện, chính quyền Sài Gòn đã mở bốn kỳ xổ số đặc biệt. Thư viện Quốc gia gồm có: Thư viện khoa học trong các viện nghiên cứu; Thư viện các cơ quan chính phủ; Thư viện các trường đại học, phổ thông; Thư viện các tổ chức đoàn thể xã hội. Sau 30-4-1975, Thư viện được Chính phủ Cách mạng tiếp quản nguyên vẹn và liên tục hoạt động cho đến ngày nay dưới các tên gọi: Thư viện Quốc gia 2 TP Hồ Chí Minh; Thư viện Khoa học tổng hợp TP Hồ Chí Minh. Ðây là nơi học tập, trau dồi tri thức, tra cứu tư liệu... của hàng trăm sinh viên và giới trí thức trong và ngoài nước.
