天平年間、行基（ぎょうき）が北空に紫雲（しうん）のたなびくのを見て来てみると温泉が湧（わ）いているのを見つけました。湯つぼを作り、紫雲の湯と名付け、長さ九寸の薬師（やくし）像を湯屋に安置させました。その後、平将門の乱でこの湯はおとろえ、薬師像も土に埋もれてしまいました。
建久（けんきゅう）年間、長谷部信連（はえべのぶつら）が鷹狩に来て、足の折れた一羽の白鷺（しらさぎ）が湯に足を浸しているのを見つけ、行基の話を思い出しました。土の中からは、薬師像が出てきたので、堂を建てて安置させました。今の医王寺です。
真言宗高野派準別格本山（こうやはじゅんべっかくほんざん）で、正式には国分山医王寺です。日本薬師の一つで「お薬師さん」と親しまれています。本堂には行基菩薩（ぎょうきぼさつ）、長谷部信連（はせべのぶつら）、蓮如（れんにょ）、芭蕉（ばしょう）の四人の連座像（れんざぞう）が奉られており、この四人を山中の四聖人と呼んでいます。
昭和の始めまで旅館には内湯がなく、浴客はすべて、「湯座屋（ゆざや）」と呼ばれた総湯に入っていました。明治になると浴客は急速に増え、新たに「葦（あし）の湯」「白鷺（しらさぎ）の湯」が作られ総湯も芭蕉の句から「菊の湯」と銘々されました 写真は現在の様子です。。
山中温泉には北前船の船頭達も来て、湯治（とうじ）をしたと言われています。「山が赤なる木の葉が落ちるやがて船頭衆がござるやら」にもある通り、一年の苦労を癒（いや）すため、少なくとも一週間、長ければ一ヶ月も滞在しました。船頭達は出稼ぎ中に習い覚えた追分節をお湯の中で唄い、それを外で聞いていた浴衣娘（ユカタベ）達が聞き惚れて山中訛（なまり）でまねをして山中節となりました。昔は“湯の廊下節”とも言われました。
明治の頃、山中温泉の温泉風景の錦絵がさかんに描（えが）かれました。多色刷りで、錦絵の中に当時の山中温泉の様子や名所を知ることができます。
昭和３年（１９２８年）に温泉電軌株式会社から発行されたこの鳥瞰図には、山中・山代・片山津・粟津の加賀温泉郷が描かれています。その中での当時の山中温泉の様子は、３棟の湯座屋（ゆざや）があることが分かります。この２年後に現在のような大型の菊の湯ができました。
*（図は山中図書館所蔵）
