人无完人，说完李善长的优点再来说说他的缺点，如此有能力的人，自然是锋芒毕露，因此李善长自身存在的问题也是很明显的，《明史》是这么形容李善长的，说李善长面相像个忠厚长者，对谁都是一团和气，但实际上这个人心胸很刻薄，睚眦必报。并且李善长本人权力欲望极强，绝对不能容忍有人染指自己的权力，比如当时担任参议的李饮冰、杨希圣两人只是稍微越过了界（不排除是朱元璋故意安排的想借此牵制李善长），结果李善长直接上书朱元璋说这两个人有问题，自己合作起来不愉快，直接罢免了这两个人。但我们知道朱元璋本人也是个权力欲极强的人，李善长的这种做法无疑是跟朱元璋杠上了。因为李善长是首席功臣，所以朱元璋也不得不给他个面子，但忍耐终归是有限度的。
“朋党政治”是皇权所不能容忍的，而李善长在这方面又惹怒了朱元璋，李善长还是明朝初年朝中淮西集团的领军人物，淮西集团的成员大多是大明开国功臣、武将，都是实力派，在朝中势力极大，本来朝中还有以刘基为首的浙东集团能稍微牵制李善长，但是浙东集团的成员比起淮西集团那就是小巫见大巫了，因而在淮西集团的反击之下很快就节节败退，根本无力再牵制李善长等人，甚至连首领刘基都被迫告老还乡，老实说王朝建立之初，大部分功臣都是死人堆里滚过来的，同僚之间报团取暖不可避免，因而对皇帝来说如果能有多个集团相互牵制，避免一家独大，这种选择也不错，但淮西集团的举动无疑打破了皇帝的希望，而作为首领的李善长自然要被皇帝记恨。同时，李善长在担任丞相期间所奉行的用人原则便是“非淮人不用”，这无疑是一种招纳党羽、排斥异己的行为，令朱元璋对他的疑心更重了。