上海共产主义小组为了培养干部，决定选送一批青年赴苏俄学习，在法租界霞飞路新渔阳里六号办了一个 “外国语学社”，学习俄语和有关无产阶级革命的基本知识。罗亦农参加了这个学社。一九二○年八月，中国社会主义青年团正式成立，他和刘少奇等人一起，参加了社会主义青年团。在此前后，由各地选送去苏俄学习的青年也先后来到上海，共达二十余人，其中有任弼时、肖劲光、李启汉、傅大庆、马念一、许之桢等。在这段时间里，罗亦农无论是学俄文，学马克思主义基本知识，参加社会活动，还是刻蜡版、印传单、搞联络等事，都非常勤奋和积极，成了那批青年中的活跃人物。