1920年至1924年先后去法国和德国勤工俭学,在旅欧的中国学生和工人中宣传马克思主义,发起组织旅欧中国少年共产党(后改称旅欧中国社会主义青年团)。
1922年转入中国共产党(由张申府等人介绍),任中国社会主义青年团旅欧总支部书记,并参加中共旅欧总支部的领导工作,对早期的建党、建团工作起了重大的作用。
1924年8月从巴黎回国,曾任黄埔军校政治部主任,国民革命军第一军政治部主任,中共两广区委委员长、常委兼军事部部长,主持建立党直接领导的革命武装叶挺独立团。