香港會建立於1846年，幾近完整的見證了大英帝國在香港的全部殖民史。它最早是由一名英國水兵大將創辦，會員清一色都是怡和、泰初、彙豐、東印度公司等的初級洋人，可謂是港英期間權力和職位的意味。而在八十年代之前，華人乃至連入會的資格都冇有，它隻為英國人供應最私密的文娛和商務空間。