色目大多指色目人。色目人是元朝时中国西部民族的统称，也是元朝人民的四种位阶之一，一切非蒙古、汉人、南人的都算是色目人。包括被蒙古人征服的粟特人、吐蕃人、中亚突厥语人、波斯人、党项人、中亚契丹人等。

传统的说法认为，在元代的社会阶层之中，色目人的地位在蒙古人之下，汉人和南人之上。元太祖成吉思汗西征时，色目人赛典赤·赡思丁率领千骑迎降；太祖以「赛典赤」称呼。元朝重用色目人，入居中原的色目人，多高官厚禄，钜贾大贾。