出生于贫苦农民家庭。幼年受私塾教育。当过学徒。1913年8月，投奔冯玉祥的西北军。1921年，升为营长。1924年9月，参加冯玉祥发动的“北京政变”。1925年10月，任绥远督统署直辖骑兵团团长兼警务处长，后任第三十六旅旅长。1925年，在张家口结识共产党人，开始接触新的革命道理。

    1926年9月，随冯玉祥部誓师，参加北伐战争，率部参加攻克咸阳、西安之战。部队扩编为第十九师，任师长。在陕西期间，结识中共陕西地方党组负责人。1927年6月，国民联军内部进行“清党”、“送客”，十九师因暗中保护共产党员，番号被取消，被调到北平陆军大学特训班学习。1928年秋，任十一师师长。1929年春，率部进入宁夏，任省主席，提出“开发大西北”的口号，决心为民兴利除弊。1930年春，中原大战爆发，率部到潼关参加讨蒋大战，西北军溃败。同年冬，所部被蒋介石改编为二十二路军，进攻鄂豫皖苏区。他不肯枪口对内，坚决反对内战。为寻找真理，数次到中国共产党领导的苏区去参观学习。1931年，秘密策划起义，参加红军，被蒋介石解除兵权，强令“出国考察”。1932年2月，回到上海，著《环球视察记》一书。932年秋，加入中国共产党，由一个爱国的旧军人转变为共产主义战士。不久，根据党的指示到鄂豫皖收复旧部起义，购置枪弹，由天津赴张家口组织抗日同盟军。5月，在张家口成立察哈尔民众抗日同盟军，任第二军军长兼察省警备司令、公安局长。16月，率部北征收复察东失地。22日，收复康保城。7月，收复宝昌和沽源县。何应钦进攻察哈尔时，与各将领联合通电，谴责南京政府，表示“誓以战士之碧血，渲染塞外之秋草”，“四省不复，此志不渝”。