1929年5月，杨靖宇被河南省委派往上海，参加中共中央举办的训练班，学习革命理论。在听了周恩来的讲课后，他很受启发。杨靖宇认识到中国革命将是一场漫长而又艰难的斗争，深切地领悟到革命理论对革命者的重要性，只有用革命理论武装自己的头脑，才能更好地为党工作。7月，中共中央派杨靖宇赴东北工作，中共满洲省委任命他为中共抚顺特别支部书记，化名张贯一。
抚顺是全国有名的煤矿，仅煤矿、铁路、电厂的工人就近10万人，他们饱受日本资本家的压榨、中国工头的欺凌，生活极其困苦，生命安全没有保障。
杨靖宇到煤矿后，由于他为人正直，心地善良，很快就成为煤矿工人们信得过的贴心人。
日本矿主为了更大限度地压榨矿工们的血汗，决定裁减人员，加长工作时间。杨靖宇就借此机会发动矿工，以经济斗争的形式开展罢工斗争，矿工们将铁路岔道卡死，推翻运煤车，全矿陷入瘫痪。经受很大经济损失的日本矿主被迫答应了矿工们提出的条件。
杨靖宇在抚顺开展地下工作的联络站，选在靠近工人居住地方的“福合客栈”。
1929年8月30日晚上，由于叛徒王振祥的出卖，杨靖宇及其他十几位共产党员相继被捕，抚顺特别支部遭到破坏。日本警察署为了从杨靖宇口中探知共产党组织的全部机密，连续几昼夜对他进行严刑拷问。皮鞭抽、压杠子、坐老虎凳，往鼻子里灌凉水、灌煤油、灌辣椒水等残酷刑法，折磨得杨靖宇遍体鳞伤，多次昏死过去。敌人能用的刑法全都用了，但杨靖宇忠贞不屈，始终没有认罪、招供。日本警察署在得不到确凿证据下，以违反“治安维持法”为由将杨靖宇引渡给中国抚顺县公安局。1929年10月中旬，杨靖宇被抚顺县公安局解送至抚顺地方法院，随后又移送辽宁省高等法院。
12月25日，辽宁省高等法院检察处检察官陈士杰以“反革命嫌疑罪”起诉杨靖宇，依据“暂行反革命治罪法”第6条及第7条，杨靖宇被判处有期徒刑一年零六个月。
1930年1月，杨靖宇从辽宁省高等法院看守所被押解至辽宁省第一监狱，关入南监一舍。
在监狱中，他看到有的穷苦人因被冤屈入狱，但不会说也不会写，无法上诉申冤，就主动帮助难友写家信、上诉书。谁有难处，他都主动尽力帮助解决，因此得到了难友们的信任和敬仰。同时他还感化、争取了一些看守人员，设法搞到了一些官方禁止的书刊报纸送给他。他利用一切机会和时间学习，提高自己的革命理论水平。
监狱里，犯人们的伙食原本就很差，加上狱吏挖空心思在犯人伙食上做手脚，从中渔利，犯人们的伙食就更糟。发霉的米，变质的菜，就这样也吃不饱。
1931年春节到了，监狱当局为表示“仁慈”，要在大年初一给犯人改善生活，答应给犯人吃白面馒头、猪肉炖粉条。结果，白面里掺了1／3苞米面，猪肉炖粉条几乎看不见肉。难友们非常气愤，杨靖宇发动难友们进行集体绝食斗争。典狱长见犯人情绪激愤，生怕事态扩大，只好妥协，保证今后一定按规定标准办伙食。
1931年4月，杨靖宇出狱，他第一件事就是寻找党组织，请组织马上安排工作。因杨靖宇所住旅店是党的外围组织互济会开办的，日本警察署从被捕的互济会成员的会议记录中发现杨靖宇的名字，因此，三天后杨靖宇又被逮捕。
1931年9月19日，中共满洲省委发表《为日本帝国主义武装占领满洲宣言》。9月20日，中共中央发表《中国共产党反对日本帝国主义强占东三省事件宣言》，号召全国工农兵劳苦大众团结起来一致反对日本强占东三省。11月，经党组织多方设法，杨靖宇被营救出狱。
省委考虑杨靖宇在狱中身体遭到严重摧残，让他先休息一段时间，他恳切地说：“在敌人监狱里，我并没有累着，只要我还活着，就要为党工作。现在国难当头，我怎么能呆得住?”省委根据杨靖宇的一再请求，决定让他担任东北反日总会会长兼哈尔滨道外区区委书记。
在血腥的白色恐怖中，党的秘密工作极具危险性、突然性、残酷性，稍一不慎就会给党组织、战友带来巨大损害。杨靖宇凭着机警、智慧、果敢，积极组织工农大众开展反日斗争，在工厂、农村、学校甚至伪警察中建立了反日组织。
1932年5月，中共满洲省委决定，杨靖宇任中共哈尔滨市委书记兼满洲省委代理军委书记，组织领导民众开展武装反日斗争。杨靖宇在哈尔滨工作的时候，常常在寒风凛冽、砭人肌骨的清晨，同摆冰滑子的工人一起劳动，借此联系群众，进行秘密工作。同时他还与铁路和工厂的工人们、青年们进行商讨……他常常以机智机巧的动作结合大胆勇敢的行动，躲过敌人走狗的跟踪，冲破敌人的防范。
1932年11月，中共满洲省委决定，杨靖宇作为省委巡视员到南满地区的磐石、海龙等地检查指导工作，从此，更名为杨靖宇。
1932年6月，磐石中心县委在打狗队(以清除敌人奸细为目的的抗日组织)的基础上建立了一支30多人的队伍——磐石工农反日义勇军，同日伪军展开武装斗争。同时义勇军团结、争取了抗日山林队常占的队伍共同抗日。由于县委主要领导没能客观公正、耐心细致地做思想政治工作，用简单粗暴的方式处理复杂的关系和事态，致使队伍分裂，常占的部队脱离义勇军，义勇军面临严重危机。就是在这种形势下，杨靖宇奉命巡视南满。他要找到磐石中心县委和游击队，组织发动民众，壮大抗日武装力量，同日本侵略军进行殊死的决斗。
