1926年秋，杨靖宇从河南省立第一工业学校初级班毕业，因当时正处于国共两党第一次合作时期，北伐革命军节节胜利，即将进军河南。根据革命斗争的需要，杨靖宇遵照党的指示毅然辍学返回确山，从事组织、发动农民运动的工作。在确山，经过几个月的辛苦工作，1927年2月15日在洪沟庙镇玉皇庙由张家铎、杨靖宇主持召开的确山县农民协会成立大会上，杨靖宇被选为农民协会执行委员会委员长。
1927年4月4日，杨靖宇、张家铎、张耀昶带领农民协会会员及红枪会武装2万余人在县城东关大操场举行武装示威大会，县长王少渠被迫参加了大会。杨靖宇代表农民协会提出：1、立即交出四大劣绅并严加惩处；2、清查县政府账目，取消一切苛捐杂税；3、打倒贪官污吏，不准抓夫派车；4、立即释放因抗捐抗税而被关押的农民。王少渠慑于广大农协会员和红枪会群众的声威，只好同意这些要求，答应回城后即办。
4月5日，暴动农民从早到晚未见交出四大劣绅，农民协会派出代表向县长要人，但是城门紧闭，并用土袋严严实实堵住城门，城头上站着荷枪实弹的士兵。原来，王少渠出于反动立场，回城后即放走四大劣绅，并命令士兵闭关守城。王少渠的劣行，激怒了农民协会和红枪会，暴动指挥部由东关大操场迁至火车站，武装群众从四面八方包围了确山县城。
4月6日，附近各县、乡、村红枪会群众和农民协会会员纷纷前来支援，群众队伍猛增至5万余人。入夜，攻城战斗打响，杨靖宇率数万手持大刀、长矛、土枪、土炮、步枪的愤怒农民冒着敌人的枪林弹雨猛烈攻城，经两天两夜激战，8日晚，起义军攻占县城。歼灭守军200余人，活捉反动县长王少渠，农民协会的大旗插上了确山县城头。
4月24日，确山县民众代表大会召开，通过选举产生了确山县第一个革命政权———临时治安委员会，杨靖宇等7人被选为治安委员。为维护社会秩序，保卫新生的革命政权，由武装起义农民组成了自卫军。临时治安委员会是河南省有史以来第一个革命政权，委员全部由民主选举产生。委员会执行的革命纲领真正代表了广大民众的利益。
5月31日，北伐革命军攻克郑州，接着占领开封，第二次北伐取得重大胜利。6月1日，确山县临时治安委员会召开万人参加的欢庆第二次北伐胜利大会。杨靖宇饱含激情地为大会拟写了一副对联，挂在主席台两边：
“庆今日克服郑汴澄清黄河水、祝他年直捣幽燕扫尽长城灰”正当全国民众翘首以待革命胜利之际，蒋介石在上海发动了震惊中外的“四·一二”反革命政变，袭击工人纠察队，搜缴工人革命武装，大肆屠杀共产党员和爱国志士。一时间，腥风血雨，恶势猖狂，到处笼罩在白色恐怖之中。
就在中国革命处于最低潮的危难之际，1927年6月6日，杨靖宇加入了中国共产党。在党旗下，他庄严宣誓：服从组织，严守机密，献身革命，永不叛党。
1927年8月7日，在湖北汉口，中国共产党中央委员会召开紧急会议。这是在大革命失败后革命形势转入低潮的关键时刻举行的非常会议。会议总结了大革命失败的经验教训，批判并结束了陈独秀右倾机会主义在党中央的领导地位，确立了发动土地革命和武装反抗国民党反动派的总方针，号召全党，把组织农民武装举行秋收起义当作目前最主要的任务。
9月，中共河南省委按照“八七”会议精神作出《河南目前政治与暴动工作大纲决议案》，决定在全省组织武装暴动。9月下旬，杨靖宇、李鸣岐召开中共确山特支会议，传达“八七”会议和中共河南省委关于武装暴动工作的指示，即利用秋收时节农村阶级斗争加剧之机，发动农民暴动。结合确山实际情况，杨靖宇提出此次暴动目的：1、杀尽土豪劣绅；2、夺取豪绅枪支武装农民；3、唤起农民的阶级觉悟和自卫能力；4、准备将来的大暴动。会后，杨靖宇、张家铎、李鸣岐等人分别进行准备工作。他们奔波于各村、乡之间，日夜操劳，整顿党的组织，发动群众，筹集枪支弹药，并组织起一支50余人的农民敢死队作为暴动的主力军，抓紧时间，日夜训练。
10月下旬，中共豫南特委和确山特支举行联席会议，研究、确定起义的时间和地点。根据大家意见，杨靖宇提出起义地点定在刘店镇。因为：1、刘店地处确山、汝南交界处，反动势力相对薄弱；2、刘店是确山县的东大门，占据此镇可造成对确山县城反动势力的直接威胁；3、刘店群众基础好，便于发动；4、大恶霸李广化是还乡团头子、地方民团团长，穷凶极恶，血债累累。据侦察，李广化有二三十条枪，消灭他，既可为民除一大害，又可以武装我们的队伍，扩大革命影响。
会议决定，起义时间为11月1日，起义总指挥为杨靖宇。
1927年11月1日凌晨3点，杨靖宇率农民军敢死队迅速无声地来到刘店镇，首先解决了东、西寨门岗哨，然后登上寨楼，迅速将李广化团部包围起来。杨靖宇率队员们登上敌团部大院四周的房屋，向敌人猛烈开火，团丁乱成一团，东躲西藏。杨靖宇乘势向院内喊话：“团丁弟兄们，咱们平日无怨无仇，没有理由互相拼杀。李广化是大恶霸，我们只找他算账。你们原本也是穷苦农民，被逼无奈才来当团丁的，我们打李广化是为了穷苦农民翻身过好日子，你们何必给李广化当替死鬼呢?”
团丁们纷纷把枪放下，站在院子里高喊：“我们交枪，我们投降!”起义军冲进敌团部大院，收缴了全部枪支、弹药和粮食，刘店农民秋收起义取得了胜利。
新组建的确山县农民革命军在总指挥杨靖宇，党代表李鸣岐率领下，在河南确山、汝南、正阳、信阳等地区，广泛开展农村游击战争，创建了纵横100多里范围的游击根据地，拉开了河南土地革命战争的序幕。
