1926年起，任中共两广区委委员、区委监察委员会书记。1927年党的八七会议后，任中共广东兼省革命军事委员会主任、中共中央南方局委员。同年12月参与领导广州起义，负责总指挥部参谋团的工作，并在一线指挥战斗，曾率领敢死队攻下了当时敌人重要据点广州市公安局。广州起义成立了广州苏维埃政府，张太雷任政府代主席，杨殷任政府肃反人民委员。