三国时期，蜀之名将关羽任汉寿亭侯时，奉命与吴军作战，后退石首，吴军仍紧追不舍，关羽且战且走，行军甚是艰难。又怎知在溃退途中竟被一河流挡道，前无去路，后又追兵，众将士惊慌失措，关羽沉思不语，他想，此时若吴军追至，我三百余众必尸横河边，难道真是天灭我关羽?不，我决不能坐以待毙。他当机立断，亲率将士沿河找寻船只。其子关平找一老者求助，老者听说是关羽之师，欣然同意。只见他划小船直奔芦苇丛中，一声哨响，芦苇深处划出数十只小船八字摆开。老者率众拜见关羽，关羽大悦，致谢老者，随即率众将士渡河。众将士登岸，关羽挥手向老者致意。老者说：“只要你们安全过渡，我就心安了。”说完，手一挥，就见所有船只井然有序地进入了芦苇深处。此时，追兵已到，但被河水挡道，知无法追上关羽，便罢兵回营。

　　老人助关羽安全过渡，在当地被传为佳话。此渡也因此名为安关渡，现在的安官渡为谐音。虽然是谐音，但却有可解释的含意，这里是官垱通往安乡县城的码头，一般乡下人称到安乡县城都是说“到安乡去”，所以叫“安官渡”也无不当之处。