Đền Sượt được xây dựng trên nền sinh từ, khi vinh quy về cho sửa làm quan cư, đã trùng tu nhiều lần. Đền kiến trúc kiểu chữ công, quay mặt hướng tây, gồm tòa bái đường, ống muống và hậu cung. Cổng tam quan, phía trước có ba chữ đại tự Quang Liệt miếu, mặt sau 4 chữ Thanh Cương linh từ. Năm gian tiền đường kiến trúc theo kiểu chồng rường đấu sen, thượng tam hạ tứ.

Trên tất cả các vì đều có chạm khắc các họa tiết gần gũi với đời thường. Chính giữa bái đường có một nhang án lớn bày các đồ tế tự, trên có treo bức đại tự Thượng đẳng phúc thần do vua phong cho ngày trước. Ba gian hậu cung kiến trúc kiểu con chồng đấu sen nhưng đơn giản. Một nhang án lớn có nhiều tầng để bày lễ vật. Trong cung có khám lớn, bày bài vị của đại vương.Đền Sượt hiện còn một di vật từ thời Vũ Hựu là đôi nghê đá dựng trước cửa đền.

Lễ hội đền Sượt hằng năm mở từ ngày 10 tháng 3 âm lịch, trước đây kéo dài tới 10 ngày. Trong dịp lễ hội, có nhiều nghi thức độc đáo, chuẩn bị rất công phu và mang nhiều kịch tính, thể hiện mối giao hòa giữa đời sống hiện hữu với thế giới tâm linh. Nổi bật là lễ thượng tiến, hội giã bánh dày, nấu rượu hoàng tửu, lễ xin âm dương, tục thả trứng đêm 14 tháng 3, tục thả cây đám, tục đánh “bệt” (đánh hổ dữ về gây hại dân làng)

Mỗi nghi thức, tục lệ đó đều gắn với các sự tích trong đời hoạt động của Vũ Hựu. Tục xin âm dương (cầu mưu) nhiều năm rất ứng nghiệm. Tục đánh “bệt” diễn ra như một màn kịch, có các hồi, các lớp, hàng trăm thanh niên tham dự, từ đình ra đến đền, hết sức sôi động, là nghi thức kết thúc mười ngày lễ hội. Ngày nay, lễ hội làm ngắn gọn và không tái diễn các nghi lễ cầu kỳ như ngày trước, song vẫn bảo đảm tín ngưỡng truyền thống. Ngược lại, việc lễ bái lại tổ chức thường xuyên vào mồng 1 và ngày rằm hằng tháng để khách thập phương đến dự