春秋战国和秦汉时期，焉支山就是水草茂盛的天然草场，古老的游牧民族氐、羌、月氏、匈奴等曾先后在这里繁衍生息，也是古代游牧民族妇女搽抹胭脂原料红蓝花的重要产地。据传，那时匈奴诸藩王的妻妾多从这一带的美女中挑选，匈奴语称各藩王之妻叫"阏氏"，"焉支"或"胭脂"是其汉译的谐音，焉支山因此而得名。

 元狩二年(前121年)春，汉武帝任命十九岁的霍去病为骠骑将军。 于春、夏两次率兵出击占据河西(今河西走廊及湟水流域)地区的匈奴部，歼4万余人。俘虏匈奴王5人及王母、单于阏氏、王子、相国、将军等120多人，降服匈奴浑邪王及部众4万人，全部占领河西走廊。匈奴为此悲歌:"失我祁连山，使我六畜不蕃息;失我焉支山，使我嫁妇无颜色。"匈奴没有文字，他们的心性和才情仅体现于汉人单方面的转述。这首诗在匈奴消失上千年后一直保持着魅力。不重视文字的匈奴，肯定不会想到有一天自身会在人类的血液里被稀释得无影无踪，随口所唱过的一首歌却能活灵活现地在另外的语言里继续塑造他们的灵魂。

 隋大业5年(609年)，隋炀帝西行，登此山谒见西域27国使臣，在张掖举行"万国博览会"，甘州、凉州府派仕女歌舞队在路口朝迎，史书多有记载。唐代诗人李白在此留下"虽居焉支山，不到溯雪寒"的绝句，也使焉支山名扬华夏。

 西汉名将霍去病在此大败匈奴;隋炀帝在此诏见西域27国使臣，举办"万国博览会"，堪称世博会的发源地;唐玄宗封焉支山神为宁济公，河西节度使哥舒翰在焉支山建宁济公祠。"焉支(燕支)"作为诗歌意象，经常出现在李白、韦应物等伟大诗人的作品当中，留下了不少千古绝唱，余韵犹在，震古烁今。