卸下戎裝後，馬玉山去淡江大學企管系念了學位，本來準備赴美讀書，卻又拗不過第一次見面就對他賞識不已的嘉新水泥董事長張敏鈺誠摯邀約，從公職跨入企業界，接受生產、銷售、財務領域全方位歷鍊，十年內，就從廠長幹到執行副總。
看好建築領域大膽創業 蓋精緻好宅樹立口碑
1979年，馬玉山離開嘉新水泥，和朋友湊了一百萬元創業，成立了冠德建設。他曾說：「先前十年在工廠當廠長，對建築、土木、機電較為熟悉，而當時建築業正向上攀升，所以就選擇自己嫻熟的建築領域創業。」 新手上路，難免走得跌跌撞撞，馬玉山終究撐了過來。
1988年起，冠德建設陸續在台北市蓋了「仁愛冠德園」、「敦南冠德園」等甚有口碑的作品。馬玉山說：「我深知買房子不像買襯衫，買錯了還能換，要知道，一個人得要花多少代價才能安身立命？所以，我總是用同理心看待客戶，如何讓買我房子的人住得安全、貼心、窩心，是我一直在思考的問題。」
因此，你若是看多了馬玉山蓋房子，就會發現冠德建設蓋的是精緻的住家，卻不都是大坪數豪宅，偶爾，你也會買到冠德推出的挑高三米六或四米二小宅，畢竟購屋客要買得起他的房子，這個房子才有存在的價值，所以馬玉山總是說：「客戶需要的，就是好的產品。」
數位時代洞燭機先 一馬當先帶動資訊化
1993年，冠德建設順利上市，當初那個奔逃了上萬里路，孤伶伶來到台灣的少年，竟已成了股票上市公司的董事長。身價已不可同日而語的馬玉山仍不改務實風格，有關務實，不能不提一件事，就是資訊化，在那個電腦還不普及的年代，馬玉山已經洞燭數位時代來臨的趨勢，毅然決然，在冠德建設內部推動e化，由他帶頭，從「key in」開始學起電腦。
