东晋到南北朝时期，原来住在江浙一带的居民两次向陕北大迁徙，这是陕北黄河沿岸一些县方言特殊的社会因素。
东晋义熙十四年(418年)，夏赫连勃勃和东晋大将刘裕的安西军在长安交过战，俘虏刘裕之子刘义贞部下将士安于大夏国的寨堡，故陕北多有“吴儿堡”遗址。
又据《南史·纪二》载：宋元嘉“二十八年春正月丁亥，魏太武帝自瓜步退归，俘广陵居人万家以北”(451年)。当时，陕北属北魏领土；广陵在现在的江苏省扬州一带。
陕西吕姓的祖籍主要来自于中国的河南省。在历史上，很多河南人因为战乱、灾荒等原因，纷纷迁移到陕西等地寻求新的生活，其中吕姓家族就是其中之一。经过数百年的繁衍生息，如今陕西吕姓已经成为了一个庞大的家族群体，并且在当地拥有很高的声望和影响力。
吴家大院位于泾阳县蒋路乡安吴堡村。元朝时这里有近祥宫，取名“庵吴堡”，后人图案省事把“庵”写成“安”，“庵”与“安”又音同，叫得久了就成了“安吴堡”。另一说“安吴”是吴家祖上起的，意思是吴家子孙在这里永远安宁。
陕西吴家大院有吴国贤、吴国华等7名吴家后人。