1929年5月回国到上海，奉中共中央指示到南宁。12月参与组织百色起义，任中共前敌委员会委员，中国工农红军第7军1纵队司令员，参加创建右江苏区。1930年4月底率部参加攻克黔东榕江县城的战斗。同年11月部队在河池整编，任红7军20师师长。在敌人大军“围剿”之下，李谦率部转战湘粤边界地区，时而奔袭，时而固守，时而杀回马枪，攻城略地，出奇制胜。1931年1月部队进行缩编，李谦任红7军58团1营营长。2月3日部队在粤北乳源梅花村被国民党军包围，他指挥部队英勇反击，连续打退敌人的8次进攻。后亲率一个排追击逃敌，战斗中壮烈牺牲，年仅22岁。