“回回”一詞最早在北宋沈括《夢溪筆談》和南宋彭大雅《黑韃事略》中出現(xiàn)，主要指蔥嶺東、西處于喀喇(哈拉)汗朝統(tǒng)治下的回紇(回鶻)人?；鼗睾突丶v、回鶻音近，應(yīng)是后者的音轉(zhuǎn)或俗寫。

其時(shí)，伊斯蘭教已由喀什噶爾向東南傳播到和田、葉爾羌、英吉沙爾等地。因此，回回原應(yīng)包括有信仰伊斯蘭教回紇(回鶻)人在內(nèi)的含義。12世紀(jì)30年代，喀喇(哈拉)汗朝亡于西遼，其居民大部分仍是穆斯林。

13世紀(jì)初葉蒙古西征，西遼破滅。蔥嶺東喀什噶爾等地信仰伊斯蘭教的回紇(回鶻)人的后裔，同蔥嶺西的中亞及波斯；阿拉伯廣大地區(qū)不同民族的穆斯林，大批被簽發(fā)或自動遷徙到東方來。他們主要以駐軍屯牧和以工匠、商人、學(xué)者、官吏、掌教等不同身份散布在中國的西北、中原及江南、云南等地區(qū)，被稱為回回人，成為元代色目人中的重要部分。

后來，他們也以回回自稱，是形成回回民族的主要部分。