清光绪七年(1881年)十二月二十四日，时年44岁的张之洞出任山西巡抚。一到山西，张之洞即发现完全出乎意料。原本富庶的山西，受中俄贸易等原因影响，晋商已呈衰落势头。1877年山西全境大旱，粮食绝收，民间普遍靠草根树皮度日，个别地方甚至“易子而食”，而朝廷赈灾不济，赈灾粮款被侵吞挪用放贷，民间元气一直未恢复。所谓的山西“政清事简”，竟是官员自身懒惰昏庸的托词。前几任巡抚或不理政事，或昏庸贪腐，或廉洁但懦弱，导致全省官场吏治腐败，风气懒散。多年积习传染导致的“懒”“散”二病遍及山西全省，官民同病，“懒、散之极，将有鱼烂瓦解之忧”。
除通省懒散之外，张之洞还深切忧虑到，“晋患不在灾而在烟”。当时山西民众普遍吸食鸦片，“有嗜好者，四乡十人而六，城市十人而九，吏、役、兵三种，几乎十人而十矣。人人枯瘠，家家晏起。堂堂晋阳，一派阴惨败落气象，有如鬼国”。除吸食鸦片外，山西全省还大范围种植鸦片，1877年山西大旱饿死人数众多，部分原因也在于山西土地多种罂粟而非粮食，遇灾荒后农民手中有钱无粮而造成。
以儒家经世济民思想立身的张之洞面对此种情况，不畏众人非议，从整顿吏治和作风入手。张之洞以巡抚身份发布的第一道命令，就是考察干部，要求全省各级官员在半个月内，将对下属的奖惩意见配合具体的实际业绩报送巡抚衙门，并特意强调要务求实际，不能以官场套话应付。同时，张之洞发挥自身表率作用，坚持“其身正，不令而行；其身不正，虽令不从”，每天丑正二刻(凌晨两点半)起床，寅初(三点)批阅文件，辰时(七点)约谈下属官吏，根据上级评价和自己判断来了解官员。此外张之洞还将家丁从三名减至两名，负责全部文书收发管理、引见接待宾客、外出跟随等杂务，来压缩财政开支。面对张之洞整顿作风的举措，山西官场如遇地震，习惯了巡抚尸位素餐任事不管的各级官员众议沸腾，对张之洞“多事”之举大加指摘。“省城局面，大有联为一气，口众我寡之势”，明里指责张之洞不合儒家治理思想的舆论压力，加上布政使葆亨、冀宁道王定安等人暗里纠合亲信使绊子打横炮的阻力，使张之洞治理整顿的第一步就面临严峻考验。
面对众口一词的压力，张之洞“咬定青山不放松”，以“天人战胜，看此一两月耳”来坚定信心，毫不动摇推行整顿。对于暗处的阻力，张之洞启用李秉衡、马丕瑶等廉明官员，委以重任，“一人兼二事，甚或三事”，强力推进自己的治理举措。张之洞上任4个月内，共上奏朝廷保举贤良人才59人，自己考察发现的操守廉洁、勤政爱民、赈灾得力的官员直报朝廷予以嘉奖，用选拔干部的正确导向来辅助整顿。同时，张之洞查明旱灾以来贪腐、克扣、扰民、昏聩等官员9名，上奏朝廷予以革职至降职不同处分，大大震慑了暗中使坏破坏整顿的葆亨等小集团气焰。经过不到半年的励精图治，张之洞逐渐扭转了官员的懒散作风，走出了最为艰难的困顿时期，认识到“晋事大有可为”，“今日之晋，虽不能为强国，足可以为治国，断不至如从前之颓墙倒壁、乌烟瘴气也”，“朝廷若假以三年，当为国家治之”，展现出对治晋图强的强烈信心。
经过初步整顿之后，张之洞于任职半年之际，向朝廷上《整饬治理折》等五封奏折八份附片，系统汇报了自己治理山西的执政思路，其中包括养民务本、养廉课吏、去蠹理财、辅农兴利、重士善俗、固圉图强等六个方面二十种具体举措，展现出以“治国平天下”为己任的特点。在整肃吏治方面，张之洞发现官员贪腐不尽职，不计官职高低一并查处。针对山西省财政账目胡乱不堪的情况，张之洞选派清明廉洁官员负责成立清源局，逐笔清理30余年未清理的财政账目。清查中发现藩司葆亨和冀宁道王定安存在贪腐行为，张之洞毫不顾忌二人为当时朝廷红人、两广总督曾国荃的亲信，而上奏朝廷将二人革职充军。有一个黑恶势力粮油商人刘定邦(纳捐得游击衔，从三品，无实职)，张之洞发现他雇用打手强买强卖等不法行为，下令将其秘密逮捕，查明罪行后革职充军，一并扫除这一黑恶势力。除此之外，张之洞先后上奏朝廷，对屡发盗案而不能尽职破案的地方现任和前任文武官员11名分别给予严惩；革职查办对私自侵吞税款的官员3名；降职处理4名不法绿营武官。对于发现的不法官员，即使已经调任外省，张之洞一并上奏朝廷，要求他省协作抓捕后回晋治罪。
针对山西全省的烟患，张之洞特意研究制订了系统的禁烟措施：一是帮助烟民戒烟。效仿李鸿章在天津设戒烟局的做法，大量购买戒烟药品免费发放。二是严禁种植。明确严禁种植罂粟的同时，根据各地情况由农民自行选择种粮、棉或经济作物，对特别困苦的农民免费提供粮种。三是亲自抓落实。逐一过目各县报告，逐一批示，并反复组织州县之间互查。如对崞县与其所属代州上报不一致之情况，张之洞要求该县令亲自查访，不能单纯相信乡保的保证，并指出“该令向有笃守积习，自系聪明之病，毋再以此尝试也”。又如对繁峙县报仅种数亩的情况，批示“该令素欠精明，大率听信丁役欺己之言，因即用以欺骗上司耳。现委雁平道往查，务得实在。该令好自为之，勿以多年读书辛苦之官，弃之于‘昏、惰’两字也”。由上述批示也可见张之洞对各县县令性格的了解熟稔程度。四是奖惩并举。张之洞对禁种成效突出的官员优先保举，对初办不积极、经督查后才尽力的进行警告，对承办不力的留用察看，对虚报瞒报的请旨撤任。五是立足实际不急功近利。张之洞上奏朝廷指出，从各地上报情况、本省戒烟药物销量和外省进入山西之鸦片数量综合判断，全省总体禁种80%，如能同心协力坚持，“三年以后，可期此害永除”。
对于治理山西的举措，张之洞自称是“儒术经常之规”，意思是经过历史检验的治理方法。经过实际推行，山西省财政比清查前增多白银七万余两、核销欠款五十万余两，账目混乱之弊一应扫除，财政负担大大减轻。后御史建议朝廷在全国推广山西清查库银的章程做法。作风整顿建设方面张之洞裁汰陋规，改革公费报销制度，禁止馈送官员水礼等，仅第一年一次就裁减巡抚衙门办公经费一万九千余两和伙食补贴六千两，将全省办公经费逐项研究进行裁减，一并废除“查库门包”等陋习，贫苦州县全免原来负担的山西省公费，非贫苦州县将原承担公费份额减半。经统计全省上下仅裁减公费一项全年节省开支七万八千余两。在养民抚农方面，张之洞根据山西承担差徭、摊捐等情况，在全省以鱼鳞册清查土地，上奏朝廷前任地方官员虚报垦荒田亩数量的情况，以减免百姓钱粮差徭；清理全省负担各类朝廷摊派，请朝廷允许以地方赋税折抵山西应上交朝廷之平铁五年，不再向山西摊派本地不再出产的绸绢纸张。在张之洞与山西官民的共同努力下，山西人民之负担大大减轻，旱灾所伤的民众元气也逐渐恢复。