紅一点といえば、男性の中にたった一人女性がいるという意味で用いられることから、紅は女性の事だと思われていますが元々の意味は別にあります。紅一点は、中国・北宋の詩人、王安石(おうあんせき)の詩「詠石榴詩(えいせきりゅうし)」の一節である「万緑叢中紅一点(ばんりょくそうちゅうこういってん)」に由来すると言われています。この句は「草木が一面生い茂る草むらに、一輪の赤いザクロの花が咲いている」という意味から、明治以降の日本では「同じようなものの中で一つだけ異彩を放つもの」として紅一点が用いられていました。その後この意味が転じて「紅」という文字から艶やかに咲く花が連想され、唯一の女性を表す意味で用いられるようになったようです。
参考書籍:雑学大全 東京雑学研究会