上街区地处河南省北部、华北平原、黄河冲积平原扇轴部，为豫东平原和豫西丘陵的相交地带。上街区位于郑州市辖区西部38公里处，周围与荥阳市接壤：东邻荥阳市城关乡，西、南分别与高阳镇、刘河镇毗邻，北部与王村镇相连。陇海电气化铁路、万泉河路由东而西贯穿城区。郑（州）洛（阳）汴（开封）高速公路傍区而行。上街区是郑汴洛“黄河之旅”旅游热线上的咽喉重地，自古就有“三秦咽喉”、“东部襟带”之称，为历代兵家必争之地。上街区域辖1个镇和5个街道办事处，全区总面积64.7平方公里。上街城区辖5个街道办事处，辖区总面积17.855平方公里。
上古为高辛氏祝融和有熊氏黄帝管辖之地。尧、舜、夏朝属豫州。商代为嚣（ao通敖）地。西周属东虢。春秋属郑国。战国属韩之成皋。秦设郡县，属三川郡成皋县。汉高帝二年（公元前205年）改三川郡为河南郡，仍属成皋县。三国时期属魏司州部河南郡成皋县。北魏时属北豫州部荥阳郡。东魏时属北豫州部广武郡。北齐属成皋郡。北周属北豫州部荥州、郑州。隋时属荥阳郡汜水县。隋大业三年（607年）属孟州汜水县，唐、五代、宋仍之。金属南京路郑州汜水县。元属河南江北中书省汴梁路郑州汜水县。明、清属河南布政使司开封府郑州汜水县。中华民国初属豫东道汜水县，民国16年（1927年）废豫东道设行政督察专员区，直至解放前归汜水县管辖，1948年秋至1954年秋属成皋县（汜水、广武合并为成皋县），1954年，成皋县、荥阳县合并后，属荥阳县第五区。1958年8月5日，经河南省人民委员会豫民字（140）号文件批准，从荥阳县划出荥阳周村乡的郎中沟、任庄、左照沟、西郊段、聂寨、东马固和史村乡的夏侯、白马寺、左照、及白杨乡的二十里铺、大园等11个自然村成立郑州市上街区。当时全区人口为27550人，其中非农业人口19657人。土地面积11.425平方千米。同年8月20日，上街区所辖的11个自然村的10个农业合作社合并，建立上街人民公社。同年12月，荥阳的西马固村划归上街区，上街人民公社辖12个自然村。

1959年1月，荥阳县的上街、东柏社、西柏社、武庄、肖洼、朱寨、沙固、南峡窝、北峡窝、西涧沟、石嘴、胡寨、四所楼、方顶、冯沟、观沟、何寨、魏岗、大坡顶、东郊段、南郊段等自然村，土地面积30.462平方千米划归上街区，和上街人民公社合并更名为马固人民公社。巩县的新中、小关、米河等公社的320个自然村，土地70.954平方千米，人口82822人划归上街区，建立新中人民公社。1961年6月，经郑州市人民委员会批准，将马固人民公社分为马固、峡窝两个人民公社，将新中人民公社分为新中、小关、米河、茶店、小里河5个人民公社。当时区辖7个人民公社。

1962年1月，将荥阳县刘河公社的东沟、河东、柴寨沟、官顶、冯庄、岗寨、徐沟、庵上、后窑、孟沟、申庄、桑树坡、泉沟、任湾、张青岗、东反坡、西反坡、龙潭、煤窑沟、李庄、徐庄、毛沟、南毛沟、申家岭、黄永岭等26个自然村，土地面积11.8平方千米划归上街区，建立上街区肖寨人民公社。

1962年2月，接收巩县大峪沟公社的雪庄、黑龙潭和磨岭大队的阎庄生产队，土地4.127平方千米，人口5970人，建立上街区大峪沟人民公社。至此，区辖9个人民公社。是年3月设立上街区中心路街道、上街区矿山街道。全区人口13万，土地面积达127.84平方千米。1963年6月，将马固公社并入峡窝公社，撤销马固公社建制。将茶店公社并入新中公社，当年区辖7个人民公社、2个街道。

1964年6月，根据国务院关于缩小城市郊区的指示精神，经河南省人民委员会批准，将大峪沟、小关、新中、米河、小里河5个公社59个大队、571个生产队、680个自然村划归巩县管辖；将肖寨公社全部及峡窝公社大部共23个大队、95个自然村划归荥阳县管辖，至此区辖范围固定下来。保留7个大队、12个自然村，成立上街区农业公社。区辖1个公社、2个街道办事处，总人口近5万，土地17.85平方千米。1971年2月中心路街道办事处分为济源路街道办事处和反修路街道（1980年9月更名新安西路街道办事处）。

1996年底，区辖3个街道办事处和1个乡即济源路街道办事处、新安西路街道办事处、矿山街道办事处及聂寨乡。

2001年，撤销聂寨乡，新成立了中心路街道办事处，工业路街道办事处，当时已有5个街道办事处，常住人口7.6万人。

2004年7月，峡窝镇正式划归上街区。