牛郎织女的故事源远流长，早在远古的诗歌总集《诗经》中（公元前7至11世纪作品），“织女”和“牵牛”这两个星座的名称就已经出现在《小雅·大东》篇里，古人把银河北侧的三颗星称为“织女”，银河南侧的三颗星称为“牵牛”。一旦天上的星星被赋予了具有如此浪漫色彩的名字，故事就由此滋生繁衍。诗中说，在天上闪闪发光的银河边，织女天天在织布机前忙碌，却没有织出有花纹的绸布；看似光鲜的牵牛，也不能拉车干活（“维天有汉，监亦有光。跂彼织女，终日七襄。虽则七襄，不成报章。睆彼牵牛，不以服箱”），将星象拟人化了。星辰拟人之后，社会习俗就与其相连，故事继续铺陈开来。睡地虎出土的秦代简册《日书》中有这样的句子：“戊申，乙酉，牵牛以取（娶）织女，不果。三弃”（甲种第115简）；另一处云：“戊申，乙酉，牵牛以取织女而不果。不出三岁，弃若亡”，可见织女的婚配已成为占卜的内容。织女婚嫁对象可以是天河对岸的牛郎，也有其他的可能。东汉文学家王逸所撰题为《守志》的游仙诗，写屈原远飞仙界，与前朝圣贤、天上星宿欢快同游的场景，“傅说兮骑龙，与织女兮合婚”为其中遐想之一。
当年秦国的都城建造在渭水北岸与九嵕山之南，“山水俱阳”，因此称为“咸阳”。秦始皇兼并六国之后，就着手以“法天象地”的原则扩建首都，按照天帝的紫微宫环境来设计自己在人间的居所咸阳宫，使渭水贯穿都城，像天上银河一样；又扩建横桥，像连接织女星和牵牛星的桥一样把地面上的咸阳宫与阿房宫连接起来（“以则紫宫象帝居，渭水贯都，以象天汉；横桥南渡，以法牵牛”《三辅黄图卷一·咸阳故城》）。这样，地上的宫殿院落与天穹中群星位置对应，符合当时流行的“天人感应”论，“天子受命于天”，秦始皇统治的正当性就有了保证。汉代都城承袭了“法天象地”传统，汉武帝在城中开凿水道模拟银河，刻石像“牵牛、织女，立于河东西”（《雍胜录》）。东汉班固和张衡在各自的作品中都提及这组牛郎织女的三维立体像：“集乎豫章之宇，临乎昆明之池，左牵牛而右织女，似云汉之无涯”（《西都赋》）；“牵牛立其左，织女处其右”（《西京赋》）。汉代佚书《关辅古语》明确记载：“昆明池中有二石人，立牵牛、织女于池之东西，以象天河。” （《三辅黄图》卷四引），可与班固、张衡的文字相互印证。这两座大型火成岩圆雕至今犹存，两千年来被西安附近的当地人分别称为“石爷”、“石婆”。据考证，“石爷”、“石婆”比霍去病墓前的石刻组雕还早三年，是同类艺术品中时代最早的。
