Sự tích chợ tình bắt nguồn từ truyền thuyết về chàng Ba, cô Út. Chàng Ba người dân tộc Nùng, nhà ở Khâu Vai, khôi ngô tuấn tú, hát hay, thổi sáo giỏi nhưng nhà nghèo. Cô Út xinh đẹp là con một tộc trưởng người Giáy. Hai người yêu nhau nhưng gia đình cô Út không đồng ý vì chàng nghèo và khác dân tộc không cùng con ma, không cùng phong tục tập quán; con trai người Nùng không thể lấy con gái người Giáy làm vợ.
Chàng và nàng trốn nhà đưa nhau lên hang núi Khau Vai sống. Gia đình, họ tộc cô gái vác súng kíp, cung nỏ sang nhà trai chửi mắng chàng Út phá lệ đưa cô gái ra rừng. Gia đình chàng trai cũng mang gậy gộc, súng, dao ra chửi bới nhà gái. Từ hang núi nhìn xuống cảnh máu chảy, đâm chém nhau giữa hai họ. Thương cha, thương mẹ, thương dân bản hai làng bỗng trở nên thù hận nhau chỉ vì tình yêu của mình nên chàng trai và cô gái chia tay nhau về làng, thề kiếp sau sẽ thành vợ thành chồng. Ngày họ chia tay là ngày 27/3. Khi đôi trai gái chia tay nhau, họ đã cắt máu thề: Dù không lấy được nhau nhưng mỗi năm, cứ đến ngày 27/3 họ lại lên Khau Vai hát cho nhau nghe, kể với nhau những thầm kín ấp ủ trong lòng trong suốt một năm xa nhau. Họ tâm tình, ca hát hết đêm rồi đến hết đêm hôm sau rồi lại trở về với cuộc sống ngày thường.
Ngày cuối cùng của cuộc đời, họ lại đến với nhau. Họ tìm đến gốc cây rừng và ngồi bên hòn đá thề năm xưa, ôm chặt nhau cùng đi vào cõi vĩnh hằng. Họ ra đi cũng đúng vào ngày 27/3 - ngày mà năm nào họ quyết định chia tay. Dân làng đã dựng hai miếu thờ là "miếu Bà" và "miếu Ông" tại nơi họ mất để tưởng nhớ về mối tình trai gái.
Người dân trong vùng lấy ngày 27/3 âm lịch hàng năm tại Khâu Vai làm địa điểm để người ta tìm đến nhau, sau một năm (cũng có thể là nhiều năm) xa cách, chủ yếu là những người có mối tình trắc trở, yêu thương nhau thực sự, nhưng vì một lý do nào đó không lấy được nhau, nay mỗi người đều có duyên phận riêng của mình. Đúng ngày này, họ hẹn nhau về đây để tâm sự, thông báo cho nhau cuộc sống riêng của mỗi người, ôn lại những tình cảm xưa. Có rất nhiều đôi vợ chồng cùng nhau đến chợ; đến nơi, vợ đi tìm bạn của vợ, chồng đi tìm bạn của chồng, họ không ghen tuông, không bực bội, mà tôn trọng nhau, tôn trọng bạn của vợ, của chồng mình; họ coi đó là sự linh thiêng, là bổn phận và trách nhiệm trước cuộc sống tinh thần của người bạn đời.
Lúc đầu chợ gần như không có người bán, người mua hàng hóa đúng nghĩa mà chỉ có một số người bán đồ ăn uống phục vụ cho những người về đây họp chợ. Hiện nay, chợ tình Khau Vai đang bị thương mại hóa khiến nó mất dần đi vẻ mộc mạc vốn có và trở thành nơi bày bán đủ loại hàng hóa.
Bây giờ đi đâu, Đi đâu bây giờ ?