棋盤山恰是張保仔當年運籌帷幄、決勝千裡的“司令部”，這裡大石林立，山洞較多，是個易守難攻的天然藏匿之處，當年，張保仔命人在山頂最高處的大石上鑿了一個棋盤，他常常和智囊在此玩一種叫做“下三”的官方土棋，博弈之間出世了很多作戰的奇策。
關於張保仔的權勢到底有多大，有很多種說法，《張保仔的傳說和本相》隻是此中之一，劉易還傳聞過彆的一種說法。