俄国拒还伊犁——唆使残敌犯边——崇厚赴俄签订卖国条约
新疆南北两路收复，入侵的安集延外敌大部被歼灭，只剩下伊犁仍被俄国占据。俄国原来声称是代清政府占领，一俟乌鲁木齐和玛纳斯为清军收复，就立即归还。光绪二年（1876年）九月清军克复乌城，俄国毫无归还伊犁的迹象。朝廷中有些人提出，应立即向俄国交涉索还。朝廷征询左宗棠意见，他认为还不是时候，当前应全力以赴先收复南路，这时如果去索取伊犁，俄国人定会多方要挟，南路军事反难兼顾。不如等南路收复后再去交涉，伊犁归还就容易了；暂时可将伊犁放置一下。朝廷同意了他的意见。
第二年（1877年）七月，大军向南八城前进时，俄国和土耳其发生了战争。俄国将驻新疆边境的部分军队调到俄土前线。扼守北疆的金顺得知此消息，认为有机可乘，就上书左宗棠，愿乘虚袭取伊犁。左宗棠仍然不同意，他认为北路兵力并不够强大，南路又不能分兵。即使军事上有把握，但也不必用偷袭的方式，将来尽可堂堂正正地向俄国索还。如今立即用武力攻取，纵使暂时取得胜利，将来后果很难预料，也不是稳妥之策。
左宗棠对俄国的策略是，暂时不要恶化两国关系，先集中力量解决南疆这一主要矛盾。对于英国则针锋相对，英国庇护安集延侵略者，几次威吓诈骗，要清政府承认安集延在新疆的主权，但都被一一拒绝。他了解英、俄之间为争夺殖民地有矛盾，俄国又正与土耳其战争，对中国收复新疆无力干预。但俄国究竟是大国，中国仍值多事之秋，对待俄国还必须慎以图之。
当喀什噶尔收复残敌逃入俄国后，刘锦棠准备派兵进入俄境搜捕。左宗棠知道后，立即制止了刘锦棠，他认为这违反国际准则，会惹起事端，于我国反不利。他命金顺致信给俄国边境土耳其斯坦总督，要求两件事：一是归还伊犁，一是交还残敌，并允许以重金酬报。后者是主，前者是顺带的要求。他知道边境总督无权处理归还伊犁的事，必须通过正式外交途径，因此同时报请总理衙门，照会俄国公使，按原定条约交还伊犁。
俄国总督收到信后，久久不回答，还声言要进兵伊犁东北的精河。前线将士都很气愤，要求先发制人，进入俄境搜索残敌。左宗棠认为俄国只是虚张声势，未必敢用兵。它收容残敌，是明显不怀好意，目的是想长期霸占伊犁。中国要收回伊犁不会很容易，必须以武力为后盾，但是先必须以外交交涉，衅不可由我开，以免给俄人以借口。中俄接界长达万余里，除了西北还有东北。现在西征军固然“兵威已盛，欲战即战，何所顾忌”，但是应有全局观点，即使西北胜利，如敌人从东北攻入，则防不胜防，“兵事将无了期”。左宗棠是著名的对外强硬的主战派，但他对待战争却十分谨慎。他认为对与俄国这样的大国开战，必须慎之又慎，只能在迫不得已的情况下，才诉诸武力。
不久，英、俄两国在新疆边境发生了冲突，英国嗾使布噶尔部族人夺占了俄国边地达尔瓦斯和哈拉替良两城，俄国抽调了驻中国边境部队去应战。前线将领又认为这是一次绝好的机会，要求派兵趁此收复伊犁。
左宗棠仍坚持不准，告诫他们说：“俄国与英国早有嫌隙，俄国倚仗国大，英国自恃兵强，各不相下。我们现在最好的方略是静观其变，不宜轻举妄动。自己要发奋图强，做好积极准备。不仅对俄、英如此，这也是对待所有邻国的原则。”
他又告诉刘锦棠：“曹孟德意思安闲，如不欲战，而每战辄利，似于今为宜。”要刘锦棠学学曹操，大战之前，悠闲自在，不动声色，麻痹了敌人，使其处于无戒备状态，这样一打仗就打胜。左宗棠就是这样，进军新疆之前，他在肃州修浚酒泉湖，日夕泛舟湖中，饮酒赋诗，敌人以为他迷恋湖光山色，早把新疆忘记了。其实他是待机而动，现在对付俄国和收回伊犁也得这个样子。
当时中俄边境还很不宁静。残敌逃到俄国后，不甘心失败，又受俄国的支持和唆使，多次进犯边境，妄图重温旧梦，恢复在新疆的统治。光绪四年（1878年）八月，残敌假借经商名义，由俄国政府发给路票，带领一支部队攻击乌什。九月，安集延敌酋阿里达什也率领百余人窜入边境，到达英吉沙尔卡外，纠集了布鲁特头目阿布都勒哈马，准备偷袭喀什噶尔。刘锦棠派罗长祜率兵包抄金山后路，一昼夜兼行四百里，设下埋伏，一举歼灭200余人，逃到乌什阿依他沟的余党也为张曜部歼灭。阿布都什的声势更大些，刘锦棠派谭慎典、杨金龙马军和罗长祜、侯名贵步军千余人迎击，张俊率一军抄袭。阿里达什败退到奈曼，刘锦棠已命维军领袖库弥什设下埋伏，将阿里达什和党羽全部擒斩，阿布都勒哈马率残部翻山逃遁。残敌的第一次进犯以失败告终。
第二年（光绪五年）正月，阿布都勒哈马又带领儿子买卖提斯拉木，伙同安集延的爱克木汗、阿希木汗和卓哎买提等，率兵进犯喀什噶尔，扬言要为阿古柏报仇，号称有大军数万，实际上只有几千人。敌人进抵距喀城百余里处，侦察到清军已有严密戒备，就转往南，占领了布鲁特人居住的博斯塘特勒克。博城左右是山，中间有一片平谷，附近一带为戈壁，正东160里是乌帕尔城，刘锦棠已派方友升和谭慎典部进驻。
刘锦棠认为越戈壁去迎击敌人，会暴露在敌人炮火之内，他定下埋伏之计，先暗中叫布鲁特人诈降敌人，诱敌深入。敌人果然中计，以为清军没有防备，扬扬得意，直奔乌帕尔刘锦棠军大本营。刘锦棠定下计策，派张俊和董福祥各率千人绕道趋敌后路乌帕阿提和乌帕克恰提，又命罗长祜率谭慎典、方友升等率马、步军1800余人，衔枚疾走，由小道直取博斯塘特勒克敌军大本营；自己则带领将士们埋伏在军营左右，静候敌军进入圈套。
正月初十日黎明，敌军大队果然来到埋伏圈中，刘锦棠伏兵齐起，敌军毫无防备，大败逃走，刘锦棠军追击30余里，歼敌百余人，敌军大部队纷纷往博城回逃。
罗长祜部队也于当日晨到达博斯塘特勒克谷口，敌军还在睡觉，不防奇兵突至，仓皇中拿起枪械抵御，但是措手不及，被清军歼灭500余人。到黄昏时，望见正东尘土骤起，敌军大部队从乌帕尔逃回来了，罗长祜命步军都埋伏在谷中，留下马队守在谷外。敌军看到清军马队挡住了归路，就分骑为数十队，向清军冲击。谭慎典挺长矛穿入敌阵，纵横击刺，英勇无比，杀死了买卖提斯拉木，敌军大乱；杨金龙、方友升两军又从旁抄出，将敌寇一分为二，杀死数百人。残敌千余名逃进谷内，却又被埋伏在谷内的张春发、汤彦和步军围歼，连斩卓哎买提和阿希木汗，还有部分敌人外逃。谭慎典等率大军一昼夜追200余里，追到中俄边境，爱克木汗与阿布都勒哈马已率残部逃入俄罗斯，清军于是胜利收兵。
那年七月，爱克木汗和阿布都勒哈马又率部众侵入边境，由乌鲁克恰提窜到色勒库尔，将色城团团围住。守城维吾尔族将领伯克素唐夏英勇抵抗，一时攻不下来，阿布都勒哈马就派人去诱降。维吾尔族同胞恨透了敌人，伯克素唐夏心生一计，同意和他们在城下相会，商量投降条件，暗里派了20余名壮士一同出城，望见阿布都勒哈马一伙已在城外等候。壮士苏乃满突然奔向阿布都勒哈马，一手抓住他的马缰，一手持刀准备砍去，阿布已有所戒备，立即拔刀，将苏乃满四指砍下，奋身返奔；另一壮士名豁罕，举枪向阿布后背射击，阿布被击中身亡，从骑七人也被击毙，城下一时大乱。伯克素唐夏急令收兵，闭紧城门。敌人丧失了领袖，加紧攻城，又攻不下，就将城围住。
刘锦棠得到色勒库尔被围的消息后，急派大军由山路赶去援救。围城敌军听到大军将至，首领又已被歼，立即撤围往北逃走。刘锦棠决意要将入侵敌军全部歼灭，令董福祥率军急追。追了两天两夜，到达空谷根满斯，看到满地是牛马血，知道敌人刚去不远，可是步兵已疲惫不堪，脚上又长上老茧，董福祥就命张俊挑选一部分精兵，骑上骡子，随马军继续追赶。追到傍晚时分，赶上了敌人，敌人正解下鞍子喂马，准备扎营休息。张俊军突然袭击，另外又派一支兵绕到敌后，敌军大败逃走。张俊军又连追两天两夜，所经之处，都是荒山绝谷、人迹罕到的地方。一路是高耸入云的石壁冰梯，兵士和马匹时常要攀登悬崖绝壁，下临万丈深渊，一不小心，人马坠崖而死的很多，也有些士兵触烟瘴中疾而死，真是一场艰苦的追击战。一直追到黑子拉提达坂，敌人只剩下数十骑，翻过山岭逃入俄国，清军这才收兵。
这次战役，击毙敌寇2000余名，擒斩安集延大通哈二人、胖色提以下数十人，获马牛数十头。从此以后，残敌再不敢大规模侵入境内了。
但南疆收复后，清政府几次向俄国交涉归还伊犁，俄国一方面纵容叛匪多次侵扰边界，一方面俄公使布策却借口边境地方秩序不安宁，边境商民交涉各案尚未了结，多方推诿，不给明确答复。光绪四年（1878年）十月，清政府决定派遣吏部侍郎崇厚为使俄全权大臣，去俄京圣彼得堡直接交涉，索还伊犁。崇厚是一个昏庸颟顸的满人官僚，他曾在天津教案中为曾国藩出坏主意，曾国藩自叹“内负疚于神明，外得罪于清议”，都由于“诸事惟祟公之言是听”，而“崇帅事事图悦洋酋之意以顾和局”。这样一个媚外的人，清朝廷居然派他代表中国，去办理重大外交事务。
崇厚到俄京后，在俄国人吓唬诈骗之下，一一答应了俄国提出的通商、分界、赔款三项要求。光绪五年八月，他和俄国政府在克里米亚半岛的里瓦吉亚签订了《里瓦吉亚条约》。根据条约规定，俄国虽然交还伊犁九城，但却割占伊犁西南广大地区，占据通往南疆的险要穆素尔山口。另外，还索取500万卢布（约合银280万两）为所谓偿付俄国代守伊犁和俄人损失费用；准许俄国在嘉峪关、哈密等七处设置领事，给予俄商免税贸易特权等。俄国人不费一兵一卒，得到了即使冒战争危险也得不到的东西；中国人没有战败，却签订了一个丧权辱国的条约。
消息传到国内，全国人民无不气愤万分，街谈巷议，都认为俄国欺人太甚，只有与之决一死战。朝廷中许多大臣也纷纷上章弹劾崇厚，主张修改条约。消息传到西北前线，将士们气愤填膺。前敌指挥刘锦棠认为：“非决之战阵，别无善策。”
朝廷也觉得割地太多，通商口岸也过多，一连下了二道密谕给左宗棠，八月二十三日上谕说：“左宗棠于新疆情形了如指掌，而筹办军务，事权归一，尤当通筹全局，权衡利害轻重，密速具奏。”八月二十四日第二道密谕又说：“特崇厚现已定议画押，事机已误，惟有亟筹补救，设法挽回，着左宗棠懔遵昨日谕旨，详细筹度，妥议具奏。”
左宗棠确是朝廷大员中对新疆情况最了解、最有发言权的人，也是对收回伊犁态度最坚决、最具有实力的人。在复奏中他指明了俄国的狡猾和不守信用的诸端事实，提出中国应持的态度。
他首先驳斥了俄国索要500万卢布的无理要求，说：“俄人乘中国内战方殷，未遑远顾，乘机占据伊犁，借称代我收复，在地方上按户收税，已掠夺不少，仍未餍足，现又要求赔偿。光绪三年西方报纸消息，俄人愿得二百五十万卢布，即交还伊犁，此次偿款忽议增五百万元，可见其讹诈！俄人原说，待我收复乌、玛二城，即当交还伊犁，而俄不践前言，反而庇匿叛徒，纵其党羽四出扰边。去冬今春为我军捉获俘虏，搜有俄政府路票，并供认系由俄官员驱遣。官军追贼从未越俄界一步，我之守约如此，彼之违约如此，尚何信义可言！”
他坚决反对割让伊犁西南地区与俄，说：“按崇厚所议第七款，陬尔果斯河及伊犁山南之帖克斯河归俄属，我得伊犁只剩一片荒郊，北境一二百里间皆属俄部，孤注万里，何以图存？……自此伊犁四面，俄部环居，官军接收，堕其度内，固不能一朝居耳。”
他沉痛地说：“武事不竟之秋，有割地求和者矣。兹一矢未闻加遗，乃遽捐弃要地，餍其所欲，譬犹投犬以骨，骨尽而噬仍不止，目前之患既然，异日之忧何极！此可为叹息痛恨者矣。”
在奏末他提出与俄国交涉应持的态度，即：
先折之以议论，委婉而用机，次决之以战阵，坚忍而求胜，臣虽衰庸无似，敢不勉旃！
这是他一贯的主张，即是衅不轻开，先进行耐心的外交交涉，但必须以武力作为后盾，如果凭交涉不能收回失土，就不惜一战。他虽年老体衰，但决不避艰险，赴汤蹈火，在所不辞。他奏陈等明春解冻后，将亲率马步各军，进驻哈密，在南北两路适中之地，指挥各军应变。
朝廷中的投降派过去反对收复新疆，现在又深恐得罪俄国，宁愿放弃伊犁。投降派首领李鸿章首先出来维护崇厚签订的卖国条约。他上奏说：“惟此次崇厚出使，系奉旨给与全权便宜行事字样，不可谓无立约定议之权，若先允后翻，其曲在我。”
他为制造舆论，又写信给曾纪泽说：“其实伊犁久借不还，于大局亦无甚关碍，如今画蛇添足，进退两难。”他还攻击左宗棠主战是“不明彼己”，必有后患，“左相必不以界务为然，但欲进驻哈密，恫吓俄人，使其酌议减改，此万万做不到之事……军心不固，外强中干，设与俄议决裂，深为可虑。”
郭嵩焘也和李鸿章一样，对俄人万分害怕，他攻击主战派说：“廷臣主战，只是一隅之见……俄环中国万里，水陆均须设防，力实有所不及。”他和李鸿章真是一唱一和。
晚年崇厚
朝廷看到李鸿章的奏折，又游移不定。如果采取强硬态度，所能依靠的，只有左宗棠西征军的实力和决心，于是将李鸿章意见转知左宗棠，命他“妥议具奏”。
左宗棠在复奏中请求朝廷于崇厚返京复命时，召集军机大臣、总理衙门、六部、九卿及将军、督抚臣会议，各抒己见，共商对策，宣示于国人，这是关系全国人民的大事，何庸秘密！他又致书总理衙门，驳斥了李鸿章的意见，说：“崇厚虽以全权出使，但所议约章，只是草签，尚须经御笔批准，是无所谓‘先允后翻’。但宜于崇厚返京复命后，将不可允各行条明旨宣示，使中外咸知皇上旨意所在，则正气常伸，人心自奋。”接着他提出对当时形势的分析和对策：“目前边事纠纷，道理在我方，论势力我亦不弱；只须内外坚持定议，万众一心。则先之以谈判，谈判不成，则继之以武力，事无不济。”
由于左宗棠和前线将士的决心，也由于中国人民坚决反对投降割地，清廷摒弃了投降派的意见。当是年十二月崇厚回到京师时，立即交刑部治罪，定为“斩监侯”，等刑期一到，就处以斩刑。
朝廷随即将崇厚所议条约发给阁部、九卿、翰詹科道集议，决定废弃前约，改命驻英法大臣曾纪泽赴俄国重行订约，同时诏命左宗棠统筹新疆南北战守事宜。