回族的服饰既有历史的继承性，又受到了伊斯兰文化和中国汉族服饰文化的影响。我国唐朝的杜环在唐和大食的一场战役中，战败被俘，把他自己在其地的所见所闻作了记录，其中谈到大食的服饰：“(大食)一名亚俱罗，其大食王号暮门，都此处。其士女瑰伟长大，衣裳鲜洁，容止闲丽。女子出门，必拥蔽其面。……系银带，佩银刀”。这些大食人有不少后来到中国经商，把这种服饰上的习俗自然也带到了中国。
《新唐书》第一次记载了伊斯兰教教民的形象、服饰和宗教活动。据称：“大食本波斯之地，男子鼻高，面黑而髯，女子白皙，出门障面，日五拜天神，系银带，佩银刀……”从这些记载可以看出，阿拉伯、波斯等地来中国的穆斯林，特别是穆斯林妇女的服饰打扮，还是很有特色的。
宋代朱彧在《萍洲可谈》中载：“广州蕃坊，蕃人衣裳与华异……”唐宋时期，有大量的阿拉伯、波斯来的穆斯林商人，一般都被称为“蕃客”，这是回族的先民。这就看出，当时回族先民的服饰与汉族不同，是有自己特点的。顾炎武《天下郡国利病书》中则记载得更明确：“宋时蕃商巨富，服饰皆珍珠罗绮，器用皆金银器皿。”可见他们当时穿的是有花纹的丝织品，佩戴戒指，使用金银器具等。
回族男子头缠“戴斯达尔”、戴白帽的习俗，也在很早以前就有了。宋代周辉《清波别志》说：“层檀，南海旁国也。贵人以好越布缠头。人之言语如大食。”元代，回族人的政治、经济、文化地位都比较高，回族人的服饰习俗和其他习俗一样，都是自由的，没有任何限制，有着汉族服装的，有穿阿拉伯、波斯等地样式的，有自制的白帽、巾袍和鞋等，开始向民族服装发展。但是，到了明代，回族人的服饰习俗就开始受到限制。
回回民族不是依据信仰习俗和祖先的服装样式，结合在中国居住发展的实际来想穿什么就穿什么，想怎么打扮就怎么打扮，而是受到了统治阶级的强迫命令和限制。明太祖朱元璋建国后，采取禁止“胡服”的政策，逼着回族人民着汉装，这样，回回民族开始形成的服饰习俗就不能很快得到发展，也不能受到尊重。
到了清代，统治阶级对回族人民更存偏见。雍正初年，山东巡抚陈世宫和署理安徽按察司鲁国华等地方大员向清廷上疏，对回民的服饰、信仰等横加指责、干涉，妄加罪名，说回民“平日早晚皆戴白帽，设立礼拜……”因此，他建议：“请令回民遵奉正朔，服制，一应礼拜等寺，尽行禁革。……戴白帽者以违制律定拟。”
这样，回族的服饰，既受到了伊斯兰教的影响，又受到了统治阶级的强迫限制。但是，回族服饰并没有因为统治阶级禁止就完全屈服而全部改着汉装，而把一些带有伊斯兰教特色和民族特色较浓的服饰习惯，坚持和保留了下来。如清代袁大化《新疆图志》记载：“阿訇之帽，上锐而高，檐以白布绽之，厚二三寸，脱帽为敬。入门必解履。妇女必障面。皆古制也。”又说“惟寺中礼拜，戴棱冠。上锐下圆，五色皆备，而白者为多”。直到今天，回民仍然头戴白帽，有的头缠“戴斯达尔”，女的搭盖头等，这都是回族服饰习俗发展变化的重要特征。
