中國聯合工程公司的核心單位即公司本部的前身——機械工業第二設計研究院，至今已有七十年歷史。

1952年初，華東軍政委員會工業部（簡稱華東工業部）在上海分別成立了華東機械設計處和華東電器設計處。

1952年底，國家調整工業管理體制，撤銷華東工業部。華東機械設計處和華東電器設計處分別歸屬于中央人民政府第一機械工業部機械工業局和電器工業局。

1953年3月10日，中央人民政府第一機械工業部發布第19號令，決定設立設計總局，在上海設立第二設計分局，由華東機械設計處、華東電器設計處等為主要組成力量。

1958年4月1日，第二設計分局改名為第一機械工業部第二設計院。

1981年6月2日，改名為第一機械工業部第二設計研究院。

1982年8月18日，改名為機械工業部第二設計研究院。

1987年4月4日，改名為國家機械工業委員會第二設計研究院。

1988年12月２日，改名為機械電子工業部第二設計研究院。

1993年5月14日，恢復為機械工業部第二設計研究院。

1999年7月8日，改名為國家機械工業局第二設計研究院。

2001年2月19日，改名為機械工業第二設計研究院。

2001年10月25日，以機械工業第二設計研究院為核心，聯合機械工業第三設計研究院、機械工業第五設計研究院、機械工業第十一設計研究院和機械工業勘察設計研究院，重組成立中國聯合工程公司，在國家工商行政管理總局完成工商注冊。

2001年12月17日，中國聯合工程公司在杭州正式揭牌。

2017年11月30日，中國聯合工程公司更名為中國聯合工程有限公司。