历尽坎坷和风险的杨靖宇在交通员的帮助下，终于找到了中共磐石中心县委和游击队。此时的磐石工农反日义勇军，士气低落，连磐石工农反日义勇军的旗帜都不敢举，而是学着山林队采用的形式，以“五洋”报号，活动于桦甸县常山屯一带。就在这关键时刻，杨靖宇来到队上。他通过与党团员、干部、战士谈话了解队里情况及人们的思想状态，开展积极的思想政治工作，鼓励大家坚定斗争信心。
杨靖宇对大家说：“我们这个游击队是由共产党领导的，是为打日本鬼子建立的队伍。可我们为什么要像山林队那样抱个山头，叫‘五洋’呢?难道这样偷偷摸摸地就能把日本鬼子打跑吗?”队伍中有些人辩解道：“我们队伍力量太小，磐石地方又到处是胡子窝，只有抱个山头活动才方便、安全些。”“队伍力量小，我们可以去发展去壮大，你抱了山头，山林队能瞧起你们吗?磐石有二十多伙山林队，总计数千人，要能把他们团结争取过来联合抗日，我们的力量不就强大了吗?所以，我们必须亮出工农反日义勇军的大旗。”
杨靖宇的话使大家受到很大鼓舞，豁然明白了造成被动挨打的原因。在杨靖宇的说服教育下，队伍统一了思想，提高了认识，全体干部、战士决心在党的领导下，杀回磐石，开展游击斗争。
不久，杨靖宇主持召开了中国共产党磐石县第三次代表大会，决定将磐石工农反日义勇军改编为中国工农红军第32军南满游击队。总队长袁德胜，政治委员杨靖宇。
1933年5月，杨靖宇奉命去哈尔滨参加中共满洲省委召开的传达《中共中央给满洲各级党部及全体党员的信》即著名的《一·二六指示信》的会议。
会议期间，杨靖宇向省委汇报了南满地区政治、军事、经济以及党的工作情况，民众生活的悲惨现状以及抗日游击队的活动发展形势。省委领导听完汇报后，与杨靖宇共同研究了如何在南满贯彻执行《一·二六指示信》的问题。省委决定取消中国工农红军第32军南满游击队番号，组建东北人民革命军第一军独立师，还决定杨靖宇为省委代表，正式调到南满地区领导抗日武装斗争。
1933年9月18日，在日本侵略军占领东北两周年之际，东北人民革命军第一军独立师成立，杨靖宇任师长兼政治委员。为了扩大游击区域，开辟新的抗日战场，杨靖宇决定率司令部保安连、三团八连、九连南下。
10月27日夜，天黑如墨，冷风刺人，杨靖宇率部来到辉发江边。因无船摆渡，只好涉水过江。深秋的江水冒着寒气，战士们好多人还没穿上棉衣，站在江边已经浑身发冷，望水生畏。杨靖宇见状，不顾自己肺病复发，率先跳进齐腰深的江水中。战士们见师长跳下江，也不顾一切，相继跳入江中。江水湍急，站立不稳，杨靖宇拉着一个小个战土走在最前面，他回头对战士们大声说道：“同志们!我们抗日打鬼子，连死都不怕，还怕这江水寒冷吗?只要大家咬牙坚持一下，到了对岸就是胜利!”
杨靖宇到长白山区后会见了山林队头领四海山，四海山依仗人多枪好，并没太瞧起这支抗日队伍。所以，当杨靖宇恳切地谈起要联合起来抗日时，他表示要联合抗日可以，但你们必须做到一件事，杨靖宇问什么事，他说，大汉奸邵本良平时残害百姓，你们若能把他给收拾了，我四海山就带领所有的山林队弟兄跟你去打鬼子。
邵本良原是土匪出身，后被张作霖收编并委任为团长。“九一八”事变后投降日寇，任伪满军少将旅长。他凭着兵精将勇、训练有素，也根本没把杨靖宇放在眼里，曾扬言：“有我邵本良在，就没有他杨靖宇!”
1933年秋天，杨靖宇巧使调虎离山计，先率兵攻打凉水，凉水的敌人守不住了，马上向邵本良报告，请求救援。凉水距柳河县城125华里，是邵旅后勤基地，邵本良视为命根子。邵本良迅速率200多名骑兵向凉水奔去。经过3个小时狂奔，到达凉水，邵本良拿起望远镜，发现根本没有战斗的迹象。正在疑惑间，凉水守军连长前来报告：“三源浦被杨靖宇包围，请旅长速去救援!”邵本良暴跳如雷，举起马鞭狠抽这个连长：“不是你报告的杨靖宇快攻进凉水了吗?怎么一会儿功夫他又跑到三源浦去了?难道他有分身术?”连长结结巴巴地说：“刚开始攻得很厉害，打了一阵他们就撤走了，谁知道他们上哪了?”邵本良勒转马头，大喊：“快去三源浦!”
当邵本良赶到三源浦时，只见邵旅七团驻军营房被烧，烈火熊熊，浓烟直上天空。驻军一个连被歼，伪满铁路工程局被捣毁，警察署被端窝，日本缉查局长被俘虏。
就在邵本良在三源浦面对被烧的军营发呆时，杨靖宇率部急行军又攻占了凉水。邵本良气疯了，咬牙切齿地吼叫：“杨靖宇!你可真够狡猾的，我邵本良不报今日之仇，誓不为人。”
邵本良吃了败仗，向日本主子请求增派了兵力后，率大队人马向杨靖宇的驻地逼近。杨靖宇看见至少有两千敌人往山上爬，对参谋长说：“告诉战士们沉着点，等敌人靠近了再打。”
敌人越来越近，杨靖宇一声令下，“打!”顿时，枪声响成一团，被击中的敌人成片倒下，后面的敌人见状，转身连滚带爬往回逃。在打退敌人几次进攻以后，枪声逐渐停了下来。这时，一个战士押着一个伪军过来报告：“我们抓了一个俘虏，这家伙东张西望的，就好像是特意在等咱们似的，这是从他身上搜出的信。”拆开信一看，是邵本良写给驻守东南方向营长的命令：你部阵地无险可守，且兵力薄弱，是整个包围圈中力量最弱之处，要防止杨靖宇从你处突围。命令你部，务必守住阵地，我即派东边的部队增援你。若有疏漏，军法从事。
杨靖宇看完信，把信交给了参谋长，参谋长看后指着信说：“这下子邵本良暴露了自己的底细。”杨靖宇道：“不那么简单。你看四面的篝火，东南边的最少，按常理说明这里守军最少。像派兵增援这么重要的军事机密应该快速安全送到，可他为什么却要往我们眼皮底下送呢?”杨靖宇觉得其中一定有诈。杨靖宇分析，邵本良说的兵力最弱的地方正是防守最严密的地方，一个完整的突围方案在杨靖宇心中形成。
午夜，杨靖宇率领队伍来到了林中高地，从藏粮食的苞米垛底下取出缴获的日伪军服、战刀、钢盔、武装带等。大家伪装后迅速逼近敌人营地，这时一个日军小队长跑到一位当官的面前报告：“除了巡逻警戒的，都在休息。”那位当官的打了小队长一耳光说：“红军已被我们包围，你们竟敢睡觉，就不怕红军从你们眼皮底下冲出去吗?马上集合。”小队长忙去集合队伍。
杨靖宇见时机已到，一声命令：“准备战斗”，战士们弹上膛，刀出鞘。待日军士兵聚集到宽阔地后，杨靖宇一声令下，日本兵没等明白怎么回事，就全部被消灭。当邻近的敌人赶来时，抗日联军早已无踪影了。
杨靖宇不计前嫌，多次帮助一些山林队与日伪军激战。一次，田麟队与邵本良旅六团相遇。激战中，田队渐渐不支，被逼进沟底，形势异常危险。杨靖宇闻讯率部队急忙赶来救援，抄敌人后路一阵猛打，敌人返身仓皇迎战，田队乘势反击，田麟得救，想拜谢救命之恩时，杨靖宇已率部队追击敌人去了。此前，田麟部下曾开枪打死打伤杨靖宇部队的战士，而今杨司令不计前怨，亲自率部队来救，令田麟感激涕零，并后悔未能见到杨司令。
1934年正月初八，杨靖宇率部来到城墙砬子，在他的争取、团结、教育下，山林队的首领将在这里与独立师举行抗日军联合大会。
参加抗日军联合大会的共17支抗日队伍。杨靖宇代表满洲省委首先讲话，他讲述了中国共产党坚决抗日并团结一切抗日力量组成民族统一战线的政策，分析了东北抗日斗争的形势。各队首领也踊跃发言，坚决拥护中国共产党团结一致、共同抗日的主张。会议决定成立抗日联合军总司令部，通过了抗日联合宣言：“我们——南满的抗日领袖们，在祖国山河欲裂、严重危难之际，向东北同胞宣誓：我们一致拥护中国共产党的坚决抗日主张，不分见解、信仰，枪口一致对外，驱除日本帝国主义。”会议一致选举杨靖宇为抗日联合军总司令。
