早年经历
乔琳年轻时家中贫苦，但勤奋好学，以文词著称，天宝年间考中进士，补任成武县尉，后历任兴平县尉、朔方掌书记（节度使为郭子仪）、监察御史。他生性不羁，常戏谑同僚，与同院御史毕耀初相互嘲讽，因此逐渐结怨，最终相互弹劾，被贬为巴州员外司户。
累职拜相
此后，乔琳历任南郭县令、殿中侍御史、山南行军司马（节度使为张献诚）、东川节度判官（节度使为鲜于叔明）、检校驾部郎中、果绵遂三州刺史、大理少卿、国子祭酒、怀州刺史。
大历十四年（779年），唐德宗继位，任命东宫侍读张涉为散骑常侍，常向他咨询政事。张涉与乔琳素来交好，便向唐德宗举荐乔琳，称其可为宰相。乔琳被授为御史大夫、同平章事，时人无不震惊。他年老耳聋，奏对之时语无伦次，且又不合时宜，在位八十余日便被罢为工部尚书。张涉也因此逐渐被唐德宗疏远。
唐德宗的生母沈氏在安史之乱时失踪，虽被尊为皇太后，却一直下落不明，德宗为此耿耿于怀。建中元年（780年），唐德宗采纳中书舍人高参的建议，任命皇弟睦王李述为奉迎使、乔琳为副使，又任命四位沈氏族人为判官，在全国范围内寻访沈太后的下落。沈太后最终也未能找到。
晚节不保
建中四年（783年），泾原军在长安哗变，唐德宗逃往奉天（今陕西乾县）。乔琳扈驾前往，改任吏部尚书，加太子少师。叛军拥立太尉朱泚为皇帝，建立秦政权。
兴元元年（784年），朱泚围困奉天，唐德宗又逃奔梁州（今陕西汉中）。行至盩厔时，乔琳以马匹困乏行走不便为由，提出与德宗分手。德宗念及乔琳老臣，加以慰谕，并赐御马一匹。乔琳仍旧推辞，自称年老多病，不堪山路行走。唐德宗怅然，遂与乔琳分别，并将自己的马鞭赏赐给他，以为留念。不久，乔琳在仙游寺削发为僧。朱泚得知，派遣数十骑将他迎回长安，任命为吏部尚书。
同年六月，大将李晟收复长安，朱泚败亡，乔琳也被俘虏。李晟怜悯乔琳年迈，上表德宗，请求免其死罪。唐德宗道：“乔琳累受重任，却有失臣节，接受伪命后又诋毁朝廷，背恩负义，决不能赦。”七月，乔琳被处斩，临刑时叹道：“乔琳七月七日生，又在七月七日死，岂非命哉？”
乔琳从逆后，出任吏部尚书，主持选官。候选官吏对他道：“你任命我的官职有点不稳妥。”乔琳反问道：“那你觉得这次选官能稳妥吗？”
根据《新唐书·宰相世系表》的记载，乔琳有兄弟乔琛，儿子乔彝，仕宦经历不详。