颍上历史悠久。据南照镇铜台孜发现的陶器、石器等文物考证，此地为新石器时代遗址。至迟在原始社会晚期，这里已有人类聚居。

 按其沿革，远在夏商时代，属豫州。周为“慎邑”，属楚国。秦为“慎县”，属泗水郡。汉高祖初，“慎”属楚王韩信封邑，信被诛，置汝南郡。武帝置13州刺史部，“慎”属豫州部汝南郡。新莽改“慎县”为“慎治”，汝南为汝汾。东汉复为“慎县”，属汝阴郡。三国时，魏景初二年（238年）划属汝阴郡。晋怀帝时，中原大乱，晋豫州淮北地区被北方石赵夺去，“慎县”属扬州管辖。东晋永和五年（349年）收复，仍属豫州汝阴郡。南北朝属宋地，把山西雁门旧县侨置慎地，名为“楼烦令”（按《宋书》郡县均带官名），属豫州刺史、西汝阴太守。将“慎县”置于南汝阴郡合肥以东，后因避讳的原因改成梁县（今肥东县梁园镇）。齐仍为楼烦，属汝阴郡。永元二年（500年），没于元魏，属扬州。梁武帝六年（507年），设置下蔡、楼烦、宋3县。下蔡、楼烦共为下蔡郡，属豫州。宋县（今南照集以北和阜南县东部），属汝阴、戈阳2郡。东魏以下蔡、楼烦共为下蔡郡，属扬州。北齐以下蔡、楼烦属扬州汝阴郡。陈楼烦县没于北周，属同北齐。

 隋大业二年（606年），楼烦县改名颍上县，当时并有原下蔡（今凤台西南一带）、楼烦（慎地）2县的辖地，属豫州汝阴郡。唐朝，属河南西道，颍州汝阴郡。乾元元年（758年），复属颍州。赵宋初年，属京西北路，顺昌汝阴郡。南宋绍兴三十一年，即金世宗大定元年（1161年），金军占领顺昌，将顺昌改为颍州，辖颍上。金元光二年（1223年），改属寿州府寿州。元代至元二年（1265年），复置颍上县，仍属颍州。至元三十年（1293年），属河南江北行省汴梁路汝宁府颍州。明洪武四年（1371年）二月，属中都临濠府颍州。洪武六年（1373年）九月，属中立府颍州。洪武7年（1374年）八月，属凤阳府颍州。清代顺治初， 属江南左布政使司凤阳府颍州。雍正二年（1724年），升颍州为直隶州；十三年，又升颍州府，颍上均属其辖。

 民国元年（1912年）1月，裁府留县，民国3年分道，属淮泗道。24年（1935年）废道设行政督察区，区下设县，属安徽省第七行政督察区。29年（1940年）8月，划属第三行政督察区。35年（1946年）属阜阳行政督察专员公署。

 1947年，颍河以北的谢桥、龚集、江口、杨湖、夏桥一带，属共产党新四军领导的阚疃县民主政府。1948年2月，颍河以南属豫皖苏分局及豫皖苏边区第四分区，成立颍阜县民主政府。1948年4月，豫皖苏边区第六分区在颍河北岸设颍上县民主政府。1949年1月6日，颍上解放，原边归界，成立颍上县民主政府。1949年3月，成立中共颍上县委、颍上县民主政府，同年4月21日，划属皖北行署阜阳专员公署。10月，颍上县民主政府改称颍上县政府，1950年8月，改称28365-365体育备用。1952年4月12日，皖南、皖北行政公署合并，成立安徽省人民政府，阜阳仍为专员公署，辖颍上。

 1954年7月，成立颍上县人民委员会。1968年8月，“文化大革命”期间，改为颍上县革命委员会。1980年5月15日，复名28365-365体育备用。