平定陕甘——打通进军新疆的要道
进军西北是十分艰巨而重大的任务，别人都不愿去、不敢去，左宗棠对此是有充分的认识的。同治八年四月，宗棠部队已收复了秦陇门户董志原。大军进入甘肃之际，他写信给孝威说：“西事艰阻万分，人人望而却步，我独一力承担。”同时给友人夏献纶（字筱涛）的信也说：“西事大类养痈，失今不图，西陲恐非复朝廷所有，弟不自忖量，引为己任。”
左宗棠不避艰险，毅然引西事为己任。但是西事艰阻在何处呢？首先，对处理西事的方针有各种不同意见，是“剿”是“抚”，莫衷一是；朝廷又处处不放心，时加诘难，这些都给西征以巨大压力。而西征军事本身更是十分艰险的任务。在西北边远穷荒之地，作战固然艰难，筹饷、运粮、运兵等后勤工作更是加倍困难。语云：“兵马未到，粮草先行。”如果不解决后勤工作的困难，就不可能取得军事上的胜利。
对进军西北的后勤工作，左宗棠有一个极为重要的观点，即：“筹饷难于筹兵，筹粮难于筹饷，筹转运又难于筹粮。”
筹兵、筹饷、筹粮、筹转运，对于西北军事都是极为重要又极难的事。筹兵难，因为西北本来就人丁稀少，加之多年战祸，死亡惨重，兵源更其缺乏。在陕甘，除本地兵外，还要靠川、鄂、黔、湘等外省的兵；新疆则要靠锡伯、索伦、察哈尔、蒙古等各族、各地兵种，系统纷繁，指挥不易。左宗棠这次到西北来，除了老湘军外，还率领了张曜、金顺、徐占彪等各地方部队，基本上解决了兵源和统一指挥的问题。
筹饷比筹兵更难。西北一向是贫困的地方，平时还要靠内地财政接济，经过多年的战争破坏，农业歉收，物价高涨，军费更无从筹措。而东南各富庶省份，经太平军多年战争，自身财力也很支绌。所以西北虽有了可用的兵，却付不出饷。左宗棠只能依靠清廷的支持和在东南各省当权的旧友、同事的帮助。后来在进军新疆时，甚至还必须借外债，总算获得了一定的饷源。
筹粮又更难于筹饷。光有了钱不行，几十万大军是要吃饭的。西北农业不发达，土地干旱，本来粮食就不够吃；兵荒马乱之后，连当地人民也吃不饱，更不用说供应数十万大军了。所以军粮须从内地运来。
粮食怎样运到陕甘呢？西北既不通舟楫，当时又没有铁路、公路，地广人稀，到处是高山、深沟、沙漠、荒原，运输工具主要靠车驮。沙漠只能行骆驼，骆驼在夏天还要歇工。显然，转运粮食比筹粮又更难。
左宗棠在年轻时就已认识到西北筹粮运粮的困难，曾写过“橐驼万里输官稻，沙碛千秋此石田”的诗，如今身临其境，总算经过精密的筹算，制定了一套运粮用劳力、用驮口的办法，基本上解决了运输的困难。
左宗棠重视运粮工作，当时在陕甘军中流传一则有趣的故事，说他“行军以运输第一，独对运夫重视”，称运夫为老大，百姓为老二，他自称老三，因为他在家中行三。
一天行军途中，一名运夫从田地中拔了一个萝卜解渴，农民见了不答应，争吵起来，到左宗棠马前告状。宗棠笑对老百姓说：“你是老二，应敬老大。区区一萝卜，不值得争吵。老三替老大还钱给你好了。”本来左宗棠部队军纪是很严的，这次宗棠看在“老大”分上，代偿还了钱，也没有责罚运夫。
左宗棠还认为，自古在边塞用兵，不在多而在精。兵精而少些，饷、粮、运都比较容易解决，因此决定采取精兵政策。
他的这些认识是十分重要的。过去西北的高级官员不懂这些道理，或是认识到了而没有解决办法，因而军事上招致失败。他不仅认识到，而且经过周密研究和筹划，采取了相应的对策，这是获得成功的原因之一。
兵、饷、粮、运的困难解决了，入甘的大军于是展开对回军的全面攻击。大将刘松山的先头部队遇到的第一个坚固堡垒，是马化漋据守的金积堡。
马化漋是一位有才干、有计谋的回军领袖，他拥有大量枪械马匹。金积堡地处险要，本地官兵不是他的对手。马化漋对付清军采取的是灵活的政策：面对强大的清军，他就表面求“抚”，而在有利时机和地点，又乘其不备，袭击官军。他与占据在南面董志原的陕西回军关系密切，由于陕回军比甘回军强，他想拥陕回军以自重。当西征军迅速攻下了董志原后，马化漋收容了由董志原逃来的陕回军，供给他们马械，使其抗拒清军。刘松山的部队和陕回军在郭家桥初次接战，打了一次胜仗。
马化漋立即向穆图善、安定等替陕回军求“抚”，并说这次回军抗拒官军，是刘松山挑起的。穆、安本来都是主“抚”派，尽管他们吃过回军的亏，也知道马化漋不可信，但抱着得过且过的心理，加之对朝廷派左宗棠大军入陕甘，正惴惴不安。他们二人就上急奏，告刘松山一状，说他轻进滥杀激变，这也是告左宗棠。清廷又怀疑了，命左宗棠如实奏报。
马化漋请“抚”其实没有诚意。当左宗棠大军入甘后，他也曾派人向左宗棠请“抚”，左宗棠告知他剿抚本无成见，只要诚心求“抚”，自然是欢迎的。他也听到马化漋的两面手法，命令部队暂时停止前进，注意察看马化漋求“抚”是否真实，看看他和陕回军的联系如何。马化漋本以为自己地处险要，清军不能深入，一方面暗中使陕回军抗击清军，一方面坐观成败，窥视清军强弱。回军在郭家桥战败后，他大为震动，再次派人到刘松山营中，代陕回军求“抚”。刘松山命他交出马械，他又不肯交出，只拿了少数瘦马朽械遮人耳目，同时修固堡垒，挖掘壕堑，开掘秦渠，积极备战。又密遣部将马万春督促陕回军将领杨文治、禹得彦等攻击固原境的清军。金积、吴忠两堡的回军也向刘松山部队出击。清军一连打了几次胜仗，刘松山部队攻克了金积堡东北马家等寨，搜出了马化漋给部下参领马重三、吴天德等的札子，命他们联合抗击官军，自署“统理宁郡两河等处地方军机事务大总戎”。左宗棠于是上奏，为刘松山辨明真相。他称赞刘松山“忠勇而明方略，当时诸将，实罕其匹”。因为刘松山是曾国藩老部下，又在奏中称赞曾国藩善于用人，说：“臣与曾国藩议论时有不合，至于拔识刘松山于凡众中，信任最专，其谋国之忠，知人之明，非臣所及。”
朝廷收到左宗棠奏报后，认为马化漋擅授官职，抗拒官军，反清的真迹败露，下谕旨说：
回目马化漋既给与马重三伪札，是其狂悖之情业已败露，而求总兵胡昌会保其永不反复，并代陕回甘言求抚，前后两歧，殊难凭信。着左宗棠严饬刘松山乘此声威，迅图扫荡，不得轻率收抚，转遂奸谋。
同治九年（1870年）正月，刘松山率军围攻金积堡。一次在附近马王寨前亲自督战，被寨前飞炮击中左胸。部将争来看他，他说：“现在作战要紧，不要管我，你们都跑来，会搞乱队伍。”命他们继续猛攻。将士们在气愤之下，一鼓作气，攻破了马王寨。但是刘松山于当日伤重死去。
左宗棠丧失了一员大将，就命刘松山的侄儿刘锦棠接管老湘军。刘锦棠本来是军中的副手，虽然年轻，但很有才干。他竭力稳住了阵脚，然而刘松山之死毕竟造成了全军的震动。雷正绾、周兰亭、张福齐等几支军队同时溃败，伤亡惨重。马化漋知道刘松山阵亡、清军溃败，就命回军大举反攻，包围了刘锦棠固守的吴忠堡和预望城，又诱使各地已就抚的回军反水。一时甘回和陕回军攻占了陕甘边境定边、鄜州等许多县城，全局大震。清朝廷又吓慌了，下严旨责备左宗棠督师不力，并命令李鸿章率领黔军入关督剿。
李鸿章十分不愿去西北，他很有自知之明，对西北情况懵无所知，又缺乏决心与勇气，也不耐受西北边荒的艰苦生活。接到廷旨后，反复筹思，着实苦恼了一阵。他写信给曾国藩求助，说：“即懵懂西去……于西事无所补益。午夜彷徨，不知所措。”在恩师面前暴露了他的苦闷。他给友人的信也说：“鄙人于西北形势生疏……冒昧前去……实不能自了……西事万难结局。”
尽管李鸿章对西事畏而却步，彷徨不知所措，但谕旨既下，也只得遵旨前往。他于六月到达潼关，这时湘军已稳住了局势，回军攻不下吴忠堡和灵州，入陕回军也纷纷败退。此时，恰好在天津发生了一起引起全国震动的教案，清廷看到左宗棠已掌握了陕甘局面，就命李鸿章回京，协助曾国藩处理天津教案。
左宗棠的军队开始向金积堡合围，马化漋已处于被动地位，他仍然坚持抗争，一面坚守，看到形势不利，一面又求“抚”，请求让他们春耕。左宗棠同意让回民出堡春耕，也答应办“抚”，但仍然责令交出全部马匹、军械，马化漋却又拒不交出，还在堡前修长壕，引渠水入壕以阻挡清军。这样又相持了几个月。是年十月，左宗棠到西北已两年了，金积堡仍未攻下。清朝廷又严旨批评左宗棠，话说得很厉害：“似此年复一年，费此巨帑，岂能日久支持？该大臣扪心自问，其何以对朝廷？”
金积堡确实是一座坚固的堡垒，城周长九里多，高约四丈，深厚约三尺。堡内墙壁纵横，渠水环复。堡外又有许多卫星堡寨、关卡，东自吴忠至灵州，共有450余所；西自洪乐老马家寨至峡口，共120余所。堡内储存了大量枪炮、粮食。马化漋准备战事已有多年，他是新教主，因乾隆年间新教被清朝廷禁灭，新教主马明心和苏四十三伏诛，马化漋对清廷的仇恨极深，因此抵抗坚决，不肯轻易就抚。这次被围困10个月，清军节节进逼，马家堡寨绝大部分被攻占，堡内已支持不住。到了年底，首先是逃来的陕回军陈林率领老弱回民八千余人出壕求“抚”，刘锦棠接受了他们的要求，命他们将堡寨平了，仍在原处居住。不久，王洪寨也平了堡寨请“抚”。马化漋看到形势孤单，“抚”已成定局，于是只得请抚。他知道和清廷结怨已深，自请以一身抵罪，要求宽待其他族众。
湘军将士因为攻金积堡一年来，伤亡惨重，老统领刘松山也阵亡，都纷纷禀告左宗棠，要求立即杀死马化漋雪愤。左宗棠知道清廷也不会宽恕他，但是考虑到甘局仍应以“抚”为重，河州马占鳌早有就抚的意思，西宁马尕三也可能就抚，如果现在杀马化漋，对抚局将不利，因此将马化漋暂留在军中，报奏朝廷，认为暂时不宜杀他，待收复最后一个据点王家疃后，再根据罪恶轻重“重者诛夷，轻者迁徙”。
清廷同意了他的请求，但是指出，以后即使马化漋在招抚方面立了功，也不准左宗棠代为乞恩减罪，说：“届时不得以收复各处代为乞恩，以伸国法，而快人心。”
一个月后，马化漋派亲信去招抚了王家疃的回军。第二年（同治十年）正月，刘锦棠派兵丁入堡搜查，又找出藏匿洋枪1000多支，认为马化漋不是真心投降；左宗棠原给他留了一条立功的后路，但清廷已谕示不准代为乞恩减罪，于是将马化漋父子和亲随等人处死。
金积堡攻坚战虽然成功，但是历时久，清军伤亡重大，还损折了刘松山、简敬临、李就山等九员大将。左宗棠说，他经历了10余年的太平军和捻军战争，从没有像这次伤亡惨重。然而金积堡的攻陷，对甘肃回军的震动更大，形势也急转直下。
清军的第二个目标，是马占鳌据守的河州。马占鳌本来就有归顺之意，他只是在观望战局。马化漋既已失败，他就抚的决心也增大，但仍要看看形势。河州与西宁一带原是古代河湟之地。河州在洮河之西，由安定、陇西进军必须渡过洮河。左宗棠下令准备船舶、桥梁和其他渡河工具。同治十年六月，分三路进军；八月，大军渡过洮河，马占鳌还一路抵挡，清军乘胜直逼河州外围要隘太子寺和董家山，马占鳌仍然顽强抵抗，清军两员大将傅先宗和徐文秀在攻堡垒时阵亡，左宗棠派王德榜和沈玉遂接统他们的军队，继续猛攻。马占鳌看到官军深入，形势已无望，又听说西宁的客、土回都已归顺，后退之路已绝，于是派人到清军营中，表示愿交出马械，诚意就抚。还派遣子弟到安定大营献良马，愿受约束。左宗棠接受了要求，命子弟和随从使者都回去，回军部队留驻原地。他了解到马占鳌就抚确有诚意，保奏清廷任命他为统领，率领原回军部队，改编为三旗。
河州平复，左宗棠于是由安定进驻任所省会兰州，距被任命为总督之时已有六年了。
正当西征军在河州作战时，新疆形势发生了变化。前一年（同治九年）阿古柏赶走妥得璘，占领了乌鲁木齐和北疆，新疆全境沦陷。这年五月，俄罗斯借口阿古柏兵侵扰边境，趁机而入，夺取了伊犁地区，声言还要代清政府收取乌鲁木齐。清朝廷着急了，赶紧诏命荣全署伊犁将军，去收复伊犁；命滞留在肃州高台几年不敢上任的乌鲁木齐提督成禄，赶速率部队出关，与都统景廉会合收复乌城。又命刘铭传率淮军自陕西经肃州西进，并命左宗棠进驻肃州。
左宗棠分析了当时的军事形势，认为用兵次第应是先关内、后关外。须先收复河州和西宁，然后打通肃州要道，大军出关，才无后顾之忧。当然，在“强邻觊觎狡然思逞之时”，也可先派军出关，不必拘执，但关外还不到最紧急的时候，目前还应集中兵力，肃清关内。他得到诏令后，先派徐占彪率领蜀军开赴肃州，大军在收复河州之后，于是迅速向回军第三个堡垒——西宁进攻。
西宁回军领袖原是马尕三（名文义），尕三死后，由马永福接替。西宁办事大臣玉通主“抚”，马永福也表示愿就“抚”，玉通就派马永福的侄儿桂源为西宁知府，本源为镇标游击，代行总兵。一个掌政权，一个掌兵权。他们的就“抚”并不是真心诚意，一直在观望战局。当马化漋失败后，马桂源看到形势不利，曾向清军求抚，马占鳌就是因听说西宁已就抚，才跟着求抚的。不想马桂源后来又改变了主意，他看到新疆的变化、清军准备出关，西宁、金积堡和肃州回军以往都和新疆的清真王妥得璘有联系，那时白彦虎和禹得彦带领陕西回军残部也在西宁，因此桂源、本源兄弟联合白彦虎等，继续抗击清军。在清军进逼之下，他们率领回军民全数从西宁城内撤出，在外围作战。城内只剩下汉族和满族官员、3万余汉民和少数未撤出的千余回民。汉民将城门关闭，推举西宁道郭襄之主持守城，等候清军，西宁城实际在回军包围之中。
进攻西宁回军的清军主力，是刘锦棠新招募的湘军和谭拔萃的老湘军，左宗棠又调来陕北的宋庆军和宁夏的张曜军，后来又派刘明镫军助攻。同治十一年（1872年）十月，在几路大军围攻之下，马桂源兄弟放火焚烧东关，然后率部队逃往东川，不久又到巴燕戎格，被围困两月余的西宁城于是解围。男女难民3万余人迎接清军；还有1000余名回民，刘锦棠叫他们安居原处，城外回民和陕回民崔伟、禹得彦等也纷纷求“抚”，随马桂源逃走的回军民也相继逃回来。刘锦棠军乘胜追击，同治十二年正月，在巴燕戎格消灭了由西宁逃出的回军主力。马永福求抚，本源、桂源也被迫求抚。白彦虎率领余小虎等2000余人往被迫北逃到肃州。
肃州是西北重镇，由甘肃入新疆的要冲，也是回军最后的一个强大据点。它于同治四年被马文禄占领。马文禄和清政府的关系也是反反复复。他多次打败清军；后来又和驻扎在高台的成禄等讲和。当左宗棠派徐占彪率蜀军向肃州进发时，马文禄又联络由西宁逃来的白彦虎余部，以及由新疆入关增援的维吾尔族地方武力据城抵抗。
由于西北三大回军据点都已被清军攻占，因此左宗棠这时可以集中军力来攻打肃州。除先来的徐占彪军外，又陆续调来宋庆、张曜和金顺各军，将肃州团团围住。肃州城高三丈六尺，厚三丈余，外有城壕围绕，阔八丈三尺，深二丈，是一座险固的堡垒。清军围攻了好几个月，伤亡惨重，一直没有得手。
这时新疆的情势愈急，清廷命成禄速出关，成禄不得已由高台出关屯驻在玉门。这位名为乌鲁木齐都统的官，却七年来从未出关一步，不单如此，在关内还胡作非为，苛索老百姓几十万两钱银，诬良为盗，滥杀无辜老幼妇女和由肃州来高台避难的人民，包括大批回民，真是罪恶累累。朝廷几次命他出关，他以缺粮为借口，拒不出关。左宗棠以前曾弹劾他，但清廷袒护满官员，置之不理，这次左宗棠又查实他的罪恶，再上章弹劾，清廷不能再置之不问，下旨拿问，并命金顺兼统成禄的部队出关。左宗棠考虑到当时肃州尚未攻下，赴新道路还不畅通，粮运困难。逃到肃州的白彦虎因看到形势不妙，逃出关外，抵达敦煌附近。金顺如率少数部队出关，恐怕也敌不过白彦虎。因此奏请清廷，让金顺推迟两个月出关，那时估计肃州可以克复，新粮又已上市，全军再次第西进。朝廷同意了他的意见。
同治十二年八月，左宗棠亲自到肃州城外巡视督战，肃州已被围困一年半了，虽然尚未被攻下，但实力已耗尽，难于支持。马文禄于是决定求抚。一个月后，刘锦棠率领湘军从西宁来增援，军势越大，马文禄感到绝望，亲自到左宗棠军中就抚。左宗棠命他缴出马械，并报上汉民及回民的户籍。左宗棠命将原籍关外沙州，以及从甘州、西宁、河州、陕西等地逃来的客回先送到城外废堡中安置，以后再安排到各地定居。马文禄和九名将领被处以死刑。清军士兵因为围攻肃州日久，伤亡很大，又知道城内汉人被杀很多，顾不得左宗棠不准滥杀的多次指示，进城后残杀回民。
左宗棠一向对军纪很重视，他认为民族矛盾不是可以靠“军威”和“屠杀”来解决的。他曾指示刘锦棠：“宜严杀老弱妇女之禁。”又命令徐占彪：“严饬各营勿得稍有侵暴，致失人和。”命令刘端冕：“申明纪律，除临阵外不准滥杀，不准奸淫妇女，搜抢财物，烧毁粮食。”这次部队在肃州滥杀，虽然是部队没有照他的意志办，但他作为统帅，负有责任，对此他一直深感歉憾。后来他给金顺的信说：“弟自办军务以来，于发、捻投诚时，皆力主‘不妄杀，不搜赃’之禁令，弁丁犯者不赦。而于安插降众一事，尤为尽心。即如克复肃州时，尚有不能尽行其志者。”这既是告诫和批评部下，也是对自己未尽到职责的责备。
肃州既已克复，陕甘回事平定，进军西域的要道已经打通，收复新疆的军事行动于是提到日程上来了。左宗棠在五年前回答皇太后的提问时，说：“当以五年为期。”他率军于同治七年底入陕，到同治十二年九月攻下肃州，正好是五年。一些朋友认为他太冒进，他事后也认为，能如期完成计划，是太侥幸了。