境内民族以汉族为主。建国初，有回族、高山族、苗族和满族4个少数民族。其中，回族3968人，高山族5人，苗族3人，满族1人。
1953年人口普查时，全县总人口286050人。其中，汉族283074人，占98.96%，回族2976人，占1.04%；1964年人口普查时，全县总人口358641人，其中汉族354589人，占全县总人口的98.87%，少数民族增加到6个，4052人，占人口总数的1.13%。其中回族4028人，满族15人，白族6人，维吾尔族1人，彝族1人，朝鲜族1人。1982年人口普查时，全县总人口491212人，汉族485967人，占总人口的98.73%，少数民族增加到11个，5245人，占总人口的1.17%。其中，回族5162人，满族41人，朝鲜族11人，苗族6人，白族6人，壮族5人，蒙古族4人，藏族3人，彝族、瑶族、布依族各1人。其他未识别民族4人。1990年人口普查时，全县总人口570640人，汉族564371人，占全县人口总数的98.9%，少数民族增加到15个，有6269人，占全县总人口的1.10%。其中，回族6010人，壮族83人，满族73人，朝鲜族18人，藏族17人，瑶族14人，白族13人，蒙古族、苗族、彝族、土家族各8人，布依族4人，侗族、傣族、达斡尔族各1人。其他未识别民族、外国人中国籍各1人。