Hằng năm, vào dịp đầu xuân - bắt đầu từ ngày 22 đến 27 tháng giêng (Âm lịch) tại thị xã Lạng Sơn lại diễn ra lễ hội Đầu pháo Kỳ Lừa với quy mô, hình thức và nội dung phong phú.
Hội đầu pháo Kỳ Lừa ở thị xã Lạng Sơn có từ thế kỷ 17, gắn với một truyền thuyết lịch sử thể hiện lòng nghĩa hiệp của viên tướng thời Hậu Lê là Thần Công Tài. Lễ hội bắt đầu từ ngày 22 tháng giêng Âm lịch bằng việc rước kiệu từ đền Kỳ Cùng lên đền Tả Phủ và kết thúc vào ngày 27 sau khi đã diễn ra hội cướp đầu pháo cùng nhiều trò chơi dân gian khác như: Múa sư tử, chơi cờ người, đặc biệt là trò chơi cướp đầu pháo và rước kiệu từ đền Kỳ Cùng lên đền Tả Phủ và quay lại. Sở dĩ nội dung rước kiệu được coi là nội dung chính; quan trọng và hấp dẫn nhất, vì theo truyền thuyết sự việc trên có mối quan hệ mật thiết với nhau giữa đền Kỳ Cùng và đền Tả Phủ.
Tả Phủ là nơi thờ viên tướng thời Hậu Lê là Thân Công Tài. Ông Thân Công Tài là người có học, có tài được Trịnh Tạc trọng dụng bổ nhiệm lên Lạng Sơn làm phó tướng nhận chức Đô đốc giúp việc cho Vi Đức Thắng, trấn giữ nơi biên thùy. Đền Kỳ Cùng hiện nay thờ Tuần Tranh. Tương truyền, ông Tuần Tranh là một vị quan dưới thời nhà Trần, được cử lên Lạng Sơn đánh giặc, trấn ải biên thùy.
Sáng ngày 22 tháng giêng (âm lịch). Cùng với đoàn người trang phục lộng lẫy, đủ các loại cờ, võng lọng, một tốp thanh niên trai tráng y phục chỉnh tề gọi là "Đồng nam" để khiêng kiệu; một tốp thiếu niên vận đồng phục gọi là "Đồng tử" khiêng đỉnh được đội sư tử múa vây quanh, đi qua các khu dãy phố Kỳ Lừa rồi thẳng xuống đền Kỳ Cùng đón rước ông Tuần Tranh (hay Thần sông) lên kiệu. Đúng giờ ngọ bắt đầu làm lễ. Lễ xong, đoàn người rước kiệu đến đền Tả Phủ hạ kiệu làm lễ tạ ơn.
Bước sang ngày 23, 24 tháng giêng, lễ hội đầu pháo bắt đầu. Đầu pháo có gắn đầu kim loại, cuốn vải cẩn thận, chuẩn bị xong rước ra sau đền làm lễ cúng thần, xong đầu pháo được đem ra đốt. Khi pháo nổ, vòng kim loại hất lên không trung rơi xuống, mọi người tranh nhau cướp. Những ai tranh được đầu pháo thì đem đến trình với thần đền và Ban Tổ chức lễ hội lấy phần thưởng, phần thưởng ở đây thường là bức tranh vẽ khung cảnh hữu tình và có các chữ Phúc - Lộc - Thọ (hình đầu pháo). Người ta đem vật này về thờ tại gia đình và tin rằng trong năm sẽ làm ăn may mắn bình yên. Trong thời gian hội có các đầu pháo theo thứ tự 1, 2, 3, 4, 5, 6, 8, 9, 10. Cùng với phần thưởng được trao, những người thắng cuộc thường mang đầu pháo về cầu may, mỗi đầu pháo chỉ được thờ một năm. Đến mùa hội sang năm những gia đình có đầu pháo đem ra đền làm lễ tạ rồi trao lại đầu pháo cho đền.
27 tháng giêng là ngày kết thúc hội. Cũng vào giờ ngọ, mọi người tập trung ở đền Tả Phủ làm lễ tạm biệt ông Tuần Tranh. Sau tuần lễ, kiệu bắt đầu được rước trở lại đền Kỳ Cùng với nghi thức ban đầu.
Hòa với trò chơi cướp đầu pháo, lễ rước kiệu, ở đây còn có nhiều hình thức vui chơi như thi đấu cờ người, múa sư tử, hát giao duyên (hát sli, hát lượn)... tạo nên không khí nhộn nhịp vui tươi cho cả một vùng thị xã trong những ngày xuân.
