宋朝建立，沈义伦在以“佐命功”升迁的赵匡胤霸府幕僚中，名列第四。自归德军（宋州，今商丘南）观察推官升为户部郎中。沈义伦较关心民间疾苦，次年出使吴越时，途中见到淮南扬州、泗州（今盱缓察唯眙西北）发生饥荒，饥民饿死不少，在他归朝后的力请下，宋太祖下诏淮南地方进行赈济。建隆三年十一月，升给事中。乾德元年（963）改任陕西转运使。乾德二年十一月，宋军进攻后蜀，沈义伦改任随军转运使。次年正月，宋灭后蜀，宋军将帅恃功贪暴，只有都监曹彬、转运使沈义伦清廉，曹彬归朝后，“唯荐义伦可任”。乾德五年八月，沈义伦升为户部没链侍郎、枢密副使。开宝二年（969）二月，宋太祖亲征北汉，以皇弟赵光义为东京留守，沈义伦为大内都部署、判留司三司事，负责皇宫安全和处理朝廷日常财政事务。
沈义伦言行谨小慎微，当新贵们纷纷营造宏丽的扰培新居，他的住房虽卑陋但不进行修缮。开宝六年五月，宋太祖派官督工按设计图为他营造新居时，他还是要求建造较狭小的房屋。同年八月，连任十年宰相的赵普，因跋扈擅权被罢相出为节度使。九月，枢密副使沈义伦与参知政事薛居正同日升为宰相，沈义伦是赵匡胤霸府幕僚中继赵普之后第二个升任宰相。
开宝九年（976）十月，赵光义（太宗）夺位后，沈义伦避宋太宗名讳，改名沈伦。仍任次相。太平兴国四年二月，宋太宗亲征北汉及随后攻辽，百官从征，次相沈伦任东京留守兼判开封府事，全权负责留守事务。
太平兴国六年六月，首相薛居正死，沈伦升为首相。