1904年12月31日，李聚奎出生于湖南涟源县（原安化县）南风乡一个农民家庭。他7岁开始读书，1926年参加国民革命军，1928年参加平江起义，同年加入中国共产党，先后任八路军一二九师旅参谋长、冀热辽军区参谋长、东北军区后勤部部长等职。1952年，受命创办解放军后勤学院，任院长。
刚刚解放的中国石油工业几乎为零，还顶着一顶“贫油”的帽子，而百业待兴的新中国，国民经济、国防建设又都需要大量的石油。1953年，在一大批有识之士的建议下，开始了成立中国石油工业部的筹备工作。其中，不乏有一批国民党政府溃退后留下的石油、地质和化学方面的专家。周恩来想从找一位军队同志来担任石油工业部长一职，就是想把军队的传统带过来，像指挥打仗一样争取快出石油。
1955年7月30日，一届全国人大二次会议通过了成立石油工业部的决议。9月1日，中华人民共和国石油工业部正式成立，任命李聚奎为部长。任命前李聚奎一点思想准备也没有，还要到一个国民经济和国防建设非常重要、专业性很强的部门去工作，这让李聚奎有点“发怵”。但他没有多说，脱掉军装到了地方。因为他是周恩来总理亲自圈定的。
自知缺乏石油专业知识的李聚奎，到岗没几天就找来部长助理徐今强，甘愿像小学生一样，从石油工业知识的ABC学起。徐今强给他制定了一个为期两个月、每天两小时的课程安排。李聚奎到石油工业部每天两小时学习、两小时处理文电、两小时找专家谈话、两小时办理其他业务的工作日程就这样开始了。
建国之初，尽管在“贫油”的阴影之下，但中国石油人踏勘找油的工作并未停止，在玉门、独山子和抚顺安排了大量技术人员和工人找油。在石油工业部成立不久，李聚奎就带着理论学习中的问题到西北和东北现场去了。他向一线工程技术人员、工人师傅请教，同时进行调查研究，熟悉情况，尽可能地给下面创造较好的工作和生活条件。刚到独山子时，李聚奎在石油专家面前像个“小学生”，在石油工人的面前也只说“我是石油部的老李！”。由于他没一点架子，还到井台同大家一起干活，大家谁也没想到他就是部长。
李聚奎了解到建国之初的石油工业情况正处于“两难选择”之中：一方面国家要勘探天然油，明显信心不足；一方面不得不花费很大人力、物力去试制造价很高的人造油。当时，中国的煤炭虽然多，但煤炼油要用优质煤，化工、炼钢、炼焦炭也要优质煤，新中国建设要用煤炭的地方也很多，哪里有那么多的煤来提炼油呢？另外，煤的投资大，资源有限，人造油的途径行不通。
突破方向认定之后，虽然当时的专家们对克拉玛依是否有油持两种观点，但李聚奎带领部里司局长和专家飞往新疆。到达新疆后，又经过长途汽车的颠簸，到了那个汉译为“沥青山”的克拉玛依。等到大家再回到乌鲁木齐时，意见基本上取得了一致：要大规模勘探！
1955年10月29日，克拉玛依一号井喷出了人们期盼已久的原油。听到这一消息，李聚奎马上将这一好消息报告了中央。11月26日，新华社向世界播出了这一振奋人心的消息。
毛泽东听到这一消息后，十分高兴，还专门召见李聚奎给予鼓励。也就是在这次召见时，李聚奎提出了将解放军第十九军五十七师改为石油师的建议。同时，他又动员新疆维吾尔自治区主席抽调大量人力、财力支持克拉玛依油田建设。另外，他还以石油工业部的名义下达了一年内打出40口油井的会战任务。1956年年底，40口油井全部打出，石油产量由1955年的60万吨一跃达到150万吨。克拉玛依油田的建成，是中国石油工业的“第一桶金”。这一桶金，也是对李聚奎能力和智慧的最好证明。
当然，事情没有十全十美的。李聚奎在石油工业战线上也不是“常胜将军”，也有遗憾之事。
在开发克拉玛依时，他接到消息：四川仪陇发现了一个大石油构造，横跨8个县，1000多平万公里。满怀李聚奎很支持四川的开发。然而，事与愿违，四川的开发经过细致的探查和科学分析，那儿的石油都顺着地下裂缝流失了。到1957年，虽然探明四川天然气储量达到6000多万立方米，但毕竟没拿到大油田。直到晚年，李聚奎仍对此不无遗憾。
在担任石油工业部部长的过程中，李聚奎不仅对石油行业，而且对石油开发进入了一种痴迷的境界。于是，他又把目光投向东北松辽盆地，之前的地质勘探已初步查明松辽盆地有石油构造。1957年3月，李聚奎决定向松辽盆地“开刀”了。他组织部机关有关部门，从西安地质调查处抽调地质调查师邱中建等7人组成116地质队，赶赴松辽盆地进行勘探。同年秋天，李聚奎组织石油部党组结合松辽勘探报告作出了一项重要决定：3年内查明松辽盆地有无开发价值的油田。与此同时，部里还组织了300余人的勘探队伍进入黑龙江双城县。
又一次“大会战”！队伍出发之前，李聚奎情绪激昂，亲自进行了动员。不过，正如一位了解他的老人所说：老李种的树很多，但他不一定都摘了果。1958年2月，调令来了。
1958年2月11日，第一届全国人大常委会通过了余秋里担任石油工业部部长的任命，不过李聚奎还要带余秋里一程。于是，就出现了一个难得的场面：在部长办公室里，一张办公桌，李聚奎与余秋里两人对座办公。遇到开会，余秋里只管听，他让李聚奎主持拍板，他当学生，两个新老部长配合默契。邓小平过问石油工业的工作，李聚奎带着余秋里一起去汇报。汇报人还是李聚奎。他如数家珍地汇报了上一年工作和当年的打算，谈了两天。可见李聚奎对工作的认真程度和对石油的感情。
离开石油工业部的李聚奎又回到军队，任总后勤部政委，被授于上将军衔。1966年4月，他任高等军事学院院长，后来在“文化大革命”中遭到迫害。1977年恢复工作后，李聚奎任后勤学院政委、党委第一书记。1981年任中共中央军委顾问。他是第四、五届全国人大常委会委员，第二、三届国防委员会委员，中共七大、八大、十二大代表，在中共十三大上当选为中央顾问委员会委员。
1995年6月25日，李聚奎在北京逝世，终年91岁。
李聚奎将军大半生属于战争，也属于军事后勤，同时也属于国民经济建设的一部分。虽然他在石油工业部的任职时间不算太长，但在他的带领、指导下，创建了克拉玛依油田，组建了松辽石油勘探局、华东石油勘探局和华北石油勘探处，全面加强石油勘探的生产建设工作，为中国石油工业在更大规模上展开奠定了良好的基础。