发奸擿伏
马文升生于河南钧州（今河南禹州市），后落籍虞城。祖上均未入仕，但马文升幼时就显示出对兵事的兴趣。“尝与群儿戏，十数为群，角之靡不仆”。
景泰二年（1451年），马文升考中进士，授御史。先后巡按山西、湖广，“发奸擿伏，有神君之称”。服毕母亲的丧事之后，擢迁福建按察使。福建任上，严惩当地贪暴狂徒冯某。离开福建时，闽人传唱“马使留来天有眼，冯公布去地无皮”以表示对他的称颂。
军旅生涯
成化元年（1465年），升南京大理寺卿。次年以父丧归。
成化四年（1468年），西北土达满四在距平凉千里的石城起兵反明，响应者甚众，远近震动。他们大败官兵，明廷不得不采取大规模的军事行动，调陕西三边兵五万人及京营兵进剿，以署都察院事的副都御史项忠总督军务，起用马文升，以右副都御史巡抚陕西，协助项忠。马文升看到满四军有一个弱点：城中无水，粮储渐乏，“若绝其刍汲，则釜鱼当自毙矣。”果然，满四军日渐困乏，最后失败。马文升又建议项忠尽毁石城墙垣，以防后患。他在陕西巡抚任上七年多，先后加左副都御史、兵部右侍郎，逐渐成为处置边事的专家。他的一项主要成就，是整顿与各部的茶马贸易，换取番马八千余匹。
成化八年（1472年），蒙古族叛乱，马文升督兵追至黑水口，生擒平章铁烈孙，战功显赫。可是，因宦官汪直与总制王越互相勾结，据为己功，反诬马文升虚报战功。宪宗不明真象，给予马文升以“表奏不实，停俸三月”的处分。
成化十一年（1475年）春，马文升代王越为总制，协调延绥、宁夏、甘肃三边军务，到十一月，即被召回朝中，任兵部右侍郎。
成化十二年（1476年），被派出整饬蓟门至辽东边备。辽东巡抚陈钺，为人贪婪，待将士严苛。马文升上疏言辽东事，多涉及陈钺，两人遂结怨。而陈钺的后台是权势颇大的太监汪直。
成化十四年（1478年），发生陈钺错杀女真贡使、激变辽东之事。汪直打算亲往平定，以立功显名。太监怀恩建议派朝中大臣前往安抚，马文升立即支持，并受委任。汪直提出派人同往，马文升也没有同意。这一来，又得罪了汪直。汪直后来与刑部尚书林聪等勘边事，说辽东激变，是马文升禁止边方农器贸易所致。马文升申辩无用，被下诏狱，谪戍重庆卫。马文升在戍所滞留四年。汪直失宠后，他才复官。
成化二十年（1484年），再次被起用，以左副都御史巡抚辽东。这是他第三次赴辽东。由于他曾经论及陈钺，因此受到欢迎，士卒“皆鼓掌喧舞”。
成化二十一年（1485年），马文升进官都察院右都御史，总督漕运。淮、徐、和一带饥荒，马文升移调江南的十万石粮及五万两盐价银予以赈济。同年冬，马文升入朝任兵部尚书。但方士出身的通政司左通政李孜省要推荐他人掌兵部，在宪宗面前做了手脚，于成化二十二年（1486年）将马文升调任南京兵部尚书。
主持兵部
明孝宗即位后，马文升被召为都察院左都御史，在朝廷的地位确定下来。出于对李孜省之流的厌恶，他提出：“巡城御史及兵马司、锦衣卫逐一搜访，但有扶鸾祷圣、驱雷唤雨、捉鬼耳报一切邪术人等，及无名之人，俱限一月内尽逐出京。”旋即又奉命提督十二团营。
弘治二年（1489年），马文升改任兵部尚书。针对兵政废弛的状况，他采取了一些措施。例如，严格考核将校，有三十多人因贪贿怯懦被罢黜。这损害了一部分人的利益，有人甚至夜持弓箭等候其门，准备行刺，有人还写书诽谤，射入东长安门内，这显然都是有背景的活动。孝宗支持马文升对京营的整顿，特批他金吾骑士十二人，以护出入。马文升还提出，蓟州、宣府、大同三镇已有镇守太监，不应再设分守、守备、监枪等内臣。据他统计，蓟州有内臣九员，宣府有内臣八员，大同有内臣六员，共二十三员，“每员占用军人，少则二三百名，多则四五百名，通计侵占已有数千”。“此等守备之数，委的无益于事，有扰于边”，应当裁革。孝宗也依其议办理。
哈密是回、畏兀儿族等少数民族居住的地区。明初派使者入朝，于其地设羁縻卫所，封其首领为忠顺王、忠义王。宪宗时，土鲁番部强大，据有哈密。明廷曾设法干预，没有结果，似乎也就承认了现状，将哈密卫迁往他处。早在弘治元年（1488年），土鲁番部就诱杀朝廷所封的忠顺王罕慎。弘治六年（1493年），又擒获另一个忠顺王陕巴，其首领阿黑麻自称可汗，以兵掠周围各部。主持兵政的马文升主张兴复哈密。他采纳通事王英和指挥杨翥的建议，利用地处嘉峪关西南的罕东部，地处嘉峪关以西的赤斤、蒙古部等与土鲁番部的矛盾，抚而用之。弘治八年（1495年），调罕东等部兵，夜袭哈密城。马文升所推举的陕西巡抚许进等率明军随后行进。土鲁番守将弃城而去，明军进入哈密。自明初以来，这是官军第一次深入其地。这也是马文升任兵部尚书以来，处置的最重大边事。
弘治初年，马文升和吏部尚书王恕是人望所归，他们不但以人品服众，而且对政事的议论极多。每一疏出，天下传诵。王恕致仕，马文升声望更高。但推选吏部尚书，孝宗没有用他。为此，他颇感不平，所写诗中有“朝罢凭阑一黯然，独将心事诉苍天”句，发了一通牢骚。
弘治十四年（1501年），马文升改吏部尚书，加衔至少师兼太子太师。在他之前，只有少数几名尚书、都御史得到这一荣誉。
遭劾求归
弘治十七年（1504年），面临着次年的考察，孝宗召见负责考察的马文升和都御史戴珊等议事。马文升已七十九岁，行动不便，耳朵又背，孝宗对他讲了两遍，要他秉公黜陟。马文升回答：“陛下图治若此，宗社之福也。”然后被左右扶掖下阶。
对于官员的考察进退，马文升是很认真的。初任吏部尚书，他就对滥封传奉官提出异议。传奉官是不经过正常途径，由皇帝亲自传旨任命的官员。成化时最盛行。孝宗初年统加裁革，但后来也加封赏，一次竟达八百人。马文升说，减一官，朝廷省一官之费。武宗即位之初，他按照孝宗遗旨，裁去传奉官七百六十二人。对于内外官员的考察，他也很严厉，一次汰罢朝觐官员二千余人。
考察不讲情面，定会招致许多反对者，而在用人时也未必全无个人意气。刘大夏是弘治朝另一名臣，就因为与马文升对官僚的评价不同而引起矛盾。河南籍官僚刘宇为首辅刘健所器重，马文升推举他总制宣、大。刘大夏大概知道孝宗对此人的看法不佳，屡屡在朝中数其过失，当然也就牵连到荐举人。侍郎王俨是刘大夏的姻亲，马文升抑制王俨，很难说不是因为刘大夏。
正德元年（1506年），刘大夏所倚重的副手、兵部侍郎熊绣被推举为两广总督。熊绣不愿外出，也怨恨于马文升。他们纠结在一起，又拉出与刘大夏为同乡及同寅的阁臣李东阳，顿时形成一股反对马文升的强大力量。御史何天衢首先发难，劾马文升老衰。马文升按照常规，被劾后乞去，疏凡二十一，武宗方获准。
愤恚而卒
刘瑾专权期间，将一批反对派官僚定为奸党。马文升与其中一些人关系密切。正德四年（1509年），马文升被削秩除名。
正德五年六月八日（1510年7月13日），马文升去世，享年八十五岁。葬于州北大隗山麓。马文升死后两个月，刘瑾被捕入狱。朝廷还未听闻马文升的死讯，下诏命其“致仕复职”。闻其死讯后，为他辍朝一日，赐祭葬。追赠特进光禄大夫、太傅兼太子太傅，谥号“端肃”。
嘉靖（1522年—1567年）初年，明世宗朱厚熜又加赠马文升为左柱国、太师兼太子太师。
心行内外
马文升曾经说：“我在兵部任职时，每夜心都在边境行走一圈；在吏部任职时，每夜心都在国内行走一圈。行边是因为思虑武备，行内是因为计量人才。”
盗贼同恶
嘉靖初年，农民赵鐩在河南起义，剽掠至钧州，因为马文升家在，便放弃没有进攻。攻破泌阳时，前大学士焦芳已经逃走，赵鐩便毁了他的家，打开他的箱子，取出他的衣冠，把衣冠穿戴绑在草人上宰杀，说：“遗憾不能替天下人杀这个贼子！”