Kẻ Gỗ vốn là tên của một làng Việt cổ ở xã Cẩm Duệ, nay thuộc xã Cẩm Mỹ, cách trung tâm thành phố Hà Tĩnh khoảng 20km về phía Nam. Kẻ Gỗ xưa nằm dọc theo hai bờ sông Rào Cái (còn gọi là sông Ngàn Mọ). Rào Cái là dòng sông hội tụ của hàng nghìn khe suối từ dãy Trường Sơn đổ về. Mùa nắng thì Rào Cái khô hạn, mùa mưa thì nước chảy quá nhanh, quá mạnh, trở thành tai ương cho cả vùng phía Nam Hà Tĩnh. Trong thời kỳ Hà Tĩnh triển khai xây dựng công trình đại thủy nông Kẻ Gỗ, trên cương vị của mình, Tổng Bí thư Lê Duẩn đã có nhiều quyết sách giúp đỡ Hà Tĩnh đẩy nhanh tiến độ, sớm hoàn thành công trình. Để tỏ lòng thành kính và tri ân công lao to lớn của cố Tổng Bí thư Lê Duẩn, được sự thống nhất của gia đình ông, tỉnh Hà Tĩnh đã quyết định đầu tư xây dựng đền thờ cố Tổng Bí thư tại hòn đảo này từ năm 2011, nhân kỷ niệm 180 năm thành lập tỉnh (1831-2011). Sau 3 năm xây dựng, đền thờ hoàn thành vào ngày 18-1-2014. Đền thờ cố Tổng Bí thư Lê Duẩn tọa lạc trên đỉnh một ngọn đồi. Ngày trước, ngọn đồi này cùng nhiều ngọn đồi khác từ bờ ra có thể đi bộ, nhưng khi xả nước hồ Kẻ Gỗ ngập tràn thành biển hồ thì ngọn đồi biến thành hòn đảo nhỏ xinh xắn. Từ trên cao nhìn xuống, ngôi đền giống như một đài hoa bát giác tám cạnh. Từ bờ nước lên đền có một con đường bậc tam cấp được lát bằng những khối đá xứ Thanh màu xám vững chãi. Kiến trúc ngôi đền giản dị, mộc mạc với những hàng cột lim chắc chắn. Năm 2016, tỉnh Hà Tĩnh đã đầu tư xây dựng một công trình đường và cầu bằng sắt nối từ bờ vào khu đền này, trong đó cây cầu được xây dựng bằng sắt với chiều dài 132m. Trong đền có bức tượng bán thân của cố Tổng Bí thư nặng hơn 1 tấn, bằng đồng. Ở giữa là bàn thờ cố Tổng Bí thư, hai bên là hai bàn thờ các anh hùng liệt sĩ và các Bà mẹ Việt Nam anh hùng. Ở đây có nhiều bức ảnh tư liệu quý và hình ảnh những lần Tổng Bí thư về thăm.