在趙家鄉境內，有四個大小不一的山堆連城一片，叫做魯班巖，山下有一條河，河邊有個像船一樣的石頭，傳說，這些都是很久很久以前魯班師傅留下的。
魯班師傅晚年的時候收養了一個徒弟叫趙巧，趙巧非常聰明，把魯班師傅交給他的技術學得精通嫻熟，漸漸的覺得自己超過了魯班師傅。認為只有打敗了魯班師傅他才能做“天下第一巧匠”。
魯班認為烏江向酉陽、彭水方向流太遠了應該向貴州道真經趙家鄉到涪陵匯入長江會近很多。所以魯班決定修一條河，有天魯班借著明月的光輝來到道真，趙巧悄悄的跟在魯班身后，只見魯班拿出墨斗，在石頭上拉好墨線，一彈，那石頭就像切豆腐一樣整整齊齊地裂開來。不一會兒，就開出了許多的石條，趙巧看得眼珠子都紅了，又是妒忌又是怨恨，認為魯班對他藏私了，想到此處，恨不得上前，把那墨斗踩個粉碎。就在趙巧無計可施的當兒，魯班把一只牧羊鞭揮得啪啪響，嘴里吆吆喝喝，那些石塊就似聽話一般，應聲排成一列，浩浩蕩蕩地向前走去。當魯班趕著石頭轉過一個山腳， 趙巧跳了出來，正好有些內急，瞅瞅四處無人，就解開褲帶往那墨斗里方便起來。
一陣青煙散過后，那墨斗還是墨斗，趙巧撿拾起來，拉出墨線，往石頭上一彈，只留下一道渾濁的黑線，趙巧放了心，歡喜地抄近道去追魯班。
魯班還趕著石頭朝前走，前面來了一個老乞丐。魯班上前作了個揖，問：“老人家看見我的羊群了嗎？”老乞丐一副裝聾作啞的樣子，魯班又大聲說：“老人家，我問你看見我的羊群了嗎？”魯班以為他使了法術，別的人會把石頭看成羊，沒想老乞丐猛搖著頭說：“哪里什么羊啊？全是一堆石頭！”他話一出口，魯班就知道糟了，果然，無論他怎么吆喝，那些石頭就跟死了一般，一動不動，他嘆了口氣，只好返回另想辦法。
魯班來到工地上，才發現他的墨斗也不靈驗了。他想也許是壞了吧，又嘆了口氣，只得掀開衣襟，包了一堆石屑，往修橋的地方趕。他剛走到半路上，就聽見對面山頭，傳來一陣陣“撲嚕嚕”公雞振翅的聲音，接著就聽見“喔喔”的鳴叫。魯班抬頭望天，明月還在，青輝輝的，他長嘆一聲：天意啊！天意啊……邊說邊把衣襟里石頭塊，撒倒在路邊，從大到小，正好四堆。后來，那些石屑就化成了四個山包，人們叫做魯班巖。
這個傳說是否真實，有待考究，但那一層層堆積起來的石頭，雖被風雨侵蝕得有些斑駁。但看那別致的形態，依然是游客來到趙家鄉必去的一處景點之一。
