瑞雲山文昌寺は、眼界近く桐生市街を見下ろし、脚下桐生の清流を聴き、近く渡良瀬川の長流を眺め、遠く上毛三山を仰ぎ見ることのできる無上の好適地に天台宗寺院として創建されたが、いつ創建されたかは定かではない。（一説では室町時代後半とも云われる）
元禄9年（1696年）本寺鳳仙寺8世応山牛喚大和尚が信施を集めて当寺を再興し、寺観大いに隆昌するが、当寺16世耕田大牛大和尚の代、天保14年（1843年）3月12日、町谷の「荒神大火」によって全山焼失し一堂もあまさなかった。
それまでは、現在地よりやや北方の山腹に建てられていたというが、これを機に現在地に仮堂を造建し同年8月、17世大孝隆道和尚が入山し元治元年（1864年）本堂を修復した。
その後、20世大光徳雄大和尚が本堂再建を発願するが、大東亜戦争勃発の為に中絶となった。
また、昭和46年（1971年）4月27日にも原因不明の火災にて本堂・庫裡等全てを焼失し22世大圓雄鳳大和尚が、時の総代・世話人と協議の結果、本堂再建にあたり昭和48年（1973年）近代的な鉄筋コンクリート造りの本堂、続いて庫裡も再建された。
その後、古くから祀られていた「子育地蔵」の地蔵堂再建、更に昭和６０年（1985年）には「鐘楼堂」も建立し、現在のような伽藍が整備された。
隣接地には、旧下野の国、菱・小俣領主「細川内膳」の開基とされる旧天台宗西善院の境内地跡、及び内膳公の墓地があり、寺は明治5年（1872年）に廃寺となり、現在は墓地等全て文昌寺に合併管理された。
他、境内には俳人田所米室、菱村の小学校の先生森山君之助の墓もある。
さらに、子どもの健全育成の目的で始まった菱剣会（りょうけんかい）〈剣道〉の発会のときの寺でもある。