1927年的8月，胡適還被應聘爲私立光華大學教授。但是課程並不重，如他給友人的信中說：“我現在教六點鐘書，維持生活費，餘力則編書。”
對胡適來說，在上海的日子總的說來是較爲輕鬆的，除了教授很少的課程外，主要從事研究著述。在此期間，不但在原來《國語文學史》講義的基礎上改寫了《白話文學史》，還寫了幾篇關於禪宗和《紅樓夢》的文章，爲亞東圖書館標點本《官場現形記》作序，在上海同文書院作《幾個反理學的思想家》的演講，後整理成文。《新月》月刊創刊後，胡適在《新月》上也發表了不少文字。
1928年4月，胡適還帶兒子祖望與朋友沈崑三、高夢旦等到廬山遊玩一週，回到上海後寫有《廬山遊記》一文。
但是，這種輕鬆自在的日子很快被打破了。
1928年春天，胡適的母校中國公學爆發學.潮，學校董事會先後推舉于右任、蔡元培出任校長，都被學生拒絕。理由是“於、蔡二人道德學問雖好，可惜兼職太多，恐不能專心辦學”。
無奈之下，關心公學命運的王雲五、朱經農等人找到胡適，請他出山，以解危難。
在朋友勸說下，胡適勉強答應維持兩個月，到本學期結束後就辭職。答應後，很快又有點後悔。
他在1928年4月26日的日記中寫道：“今天套上一件鐐銬，答應了去做中國公學的校長。近來中國公學有風潮，校長何魯不能回去，校董會中一班舊同學但怒剛、朱經農、丁觳音、劉南陔諸君，與雲五等都來逼我。今天雲五邀我吃飯，與怒剛諸人勸我，我一時高興，遂允爲維持兩個月。此事殊不智，事後思之甚懊悔。”
作爲中國公學的校友和校董，看到母校危機，雖不是很情願，但還是勉爲其難。
4月30日，胡適到中國公學正式就任校長之職，與他一同上任的還有新任總務長但懋辛、秘書長丁觳音。
中國公學全體師生召開大會歡迎胡適。
大會由中國公學第一任總教習馬君武主持，他在致詞中說：“一九○六年胡先生考進中公時，我就認定已替中公取了一位好學生；不但成績好，品行好，風采也很好。果然，二十年後的今天，這位當年的好學生已經成爲國際著名的學者了。現在由他回到母校來做校長，是我們中國公學最光榮的事，也是我感到生平最高興的事。”
胡適也發表了就職致辭，他回顧了中國公學創辦的歷史，並特別發揮中國公學“公”字的意義，以此作爲對學生進行品格教育的開場白。
就職典禮後，胡適仔細考察了中國公學的情況，看到的情況實在是困難重重。此時已經沒有退堂鼓可打，胡適越發感到了自己肩上責任的重大。
他在當天的日記中寫道：“與但怒剛同到中國公學。雖然受了很熱烈的歡迎，但我細看校中情況，很難有辦法。最難的是經濟方面，熊、但諸君雖任此事，然他們都不是很有手腕的財政家，況在這各方面都窮困的時期呢?”
5月3日，胡適到中國公學辦公，發現學校連一本校規都沒有，於是決定從組織和法律方面入手，整頓學校。
5月5日，胡適到校召集校務會議，通過了三個議案：(1)校務會議組織大綱；(2)教務會議組織大綱；(3)學校章程起草委員會。
此外，由於之前中國公學校董名額隨時增加，沒有定額，導致分散在各省的校董總計不下百人，胡適認爲這樣的後果是“召集既甚困難，組織又不合現行制度”。因此改組校董會也成爲當務之急。
在胡適的建議下，中國公學校董會於6月10日在上海開會。會議根據大學院頒佈的私立學校校董會規程，通過了校董會章程，決定校董名額爲15人，每兩年改選三分之一的校董。接着由校董會投票選舉蔡元培、于右任、熊克武、胡適、楊銓、王雲五、但懋辛、馬君武、丁觳音等15人爲新校董。校董會還通過了中國公學組織大綱13條。
胡適當初答應接任中國公學校長，主要是爲了解決中國公學的風潮，原定任期只維持兩個月。因此，會議當天胡適向校董會提出辭職，但未能獲准。中國公學的組織大綱中有設副校長的規定，就是爲胡適繼續擔任校長準備的。
當天的會議通過決議，聘請高踐四或楊亮功爲副校長。高踐四，早年留學康奈爾大學，歸國後曾任中國公學教授。楊亮功，安徽巢縣人，早年畢業於北京大學中文系，後留學美國，先後獲斯坦福大學教育碩士，紐約大學教育學院哲學博士學位。
6月17日，胡適與楊亮功商談，勸他做中國公學的副校長，楊亮功最後答應了。
這一年的暑假，楊亮功到校任事。有了楊亮功替胡適管理日常校務，胡適可以集中精力想大事，辦大事，管他這個校長該管的事。他也不必每天都到校了。
6月25日，胡適到中國公學參加校長就職典禮。
胡適在當天的日記中說：“套上這一箍，不知何日能解下。我所以不忍丟就走的緣故有三：(1)熊錦帆、但怒剛、丁觳音諸同學真熱心辦此事，我不忍丟了他們就走；(2)這個學堂當初確然於我個人的發展曾有大影響；我若不進中公，後來發展的方向當不同；(3)此時我行就職禮，可以表示一種態度，表示我不想北去。”
最後一點是指胡適反對李石曾擔任北大校長，有人懷疑胡適自己有北上擔任北大校長的打算。
9月12日，中國公學開學，胡適本想辭去一切課程，專心管理學校和從事研究，但中國公學的學生都希望能夠親炙胡適教誨，親眼目睹胡適講課的風采，胡適於是選了一門別的教授不願教的課——中國文化史。這門課對胡適來說也很陌生，只好從頭學起，認真備課，現“蒸”現“賣”。
中國公學經費異常困窘，瀕於破產的境地，卻貪大求全，設有文、商、法、理工4院17學系，而學生僅三百餘人。
胡適從1928年暑假開始調整學校的院系設置，最終改爲文理學院、商學院、社會科學院等三個學院六個系。此舉一方面便於課程的安排和學生的全面培養，另外，有助於節省經費，減輕學校經濟上的壓力。
在教師的選聘上，胡適繼承了蔡元培“兼容幷包”的作風，遵循“不分派別，不限資格”的原則，將學術水平和能力作爲標準，堅持不拘一格選聘優秀教師。例如沈從文只有小學文憑，胡適也大膽聘用他爲大學老師，誠如沈從文所說，“這是胡適校長給予我的難得的機會，是一種很大膽的嘗試”。
爲了提高教學質量，胡適先後請來一大批著名的學者前來任教，其中有人們熟悉的高一涵、張慰慈、楊亮功、羅隆基、梁實秋、鄭振鐸、陸侃如、馮沅君、全增嘏、葉公超、饒孟侃、黃白薇等。
對於教授的聘請，胡適非常重視，並且有明確的標準，如中國文學教授，他認爲必須舊學有根基而對於新知識也有相當研究者，纔算合格。同時胡適又不拘於資格和學歷，不分派別。以中國文學系爲例，當時聘請王運的學生馬宗霍教先秦文學、左派作家白薇教戲劇、後來結爲夫婦的陸侃如和馮沅君教古典詩詞考釋。
前邊說到的，青年作家沈從文教小說創作、鄭振鐸教西洋文學史、梁實秋教文學。其中陸侃如、馮沅君，沈從文都不滿30歲，而沈從文只有高小學歷。
胡適聘用沈從文是徐志摩的推薦，雖然沈從文第一堂課因爲緊張站在講臺上十多分鐘說不出話，但後來的事實證明，沈從文以專深的知識和才氣得到了學生們的認可。
胡適的名氣不僅吸引了許多有真才實學的學者到中國公學任教，也吸引了不少人報考中國公學。
據羅爾綱回憶，當時他所在的班有一位六十歲左右的老學生，比胡適還要大二十多歲。本來已經高等師範畢業，教了多年中學，因爲仰慕胡適而放棄工作重新來中國公學求學。
胡適認爲“教育的成功，此實系環境所使然”，因此，他開除了一批不註冊、不上課、打架鬥毆、使用假文憑的學生，整飭了學風，樹立了學校威信。與此同時，他積極支持《吳淞月刊》《中公學生》《中國文學季刊》等刊物以及各種學會的創辦發展，活躍了學術氣氛，給老師和學生提供了提高學術水平和表達思想的平臺，爲學校建設起了良好的學風。
胡適在自己求學期間積極參加課外活動，非常活躍，對於中國公學學生的各種學術研究會和講演會也非常支持，有時還親自擔任演講競賽的評判員。
胡適自己非常擅長演講，也很有心得，他告訴學生演講的要點：第一是口齒要清楚，第二是說話要慢，而演講稿的好壞則取決於思想組織的能力。
由於胡適的提倡和支持，學生的演講水平有很大提高。1929年12月，中國公學、復旦大學、持志大學、勞動大學四所淞滬大學在持志大學舉行演講比賽，結果中國公學奪得第一名。
胡適也非常重視學生的體育運動，認爲體育運動不僅可以強健體魄，還可以磨練意志，培養堅忍進取的精神和集體榮譽感。在胡適任校長期間，學校每年春秋兩季都舉辦運動會。
1930年4月28日，他親自作《中國公學運動會歌》：“健兒們，大家上前！只一人第一，要個個爭先。勝固然可喜。敗也要欣然。健兒們，大家上前！健兒們，大家全體的光榮，要我們擔戴。勝，要光榮的勝，敗，也要光榮的敗，健兒們，大家齊來！”
經過改革，中國公學的教師隊伍不斷壯大，學生數量和質量普遍提高，學校知名度和招生情況逐漸改觀。在胡適掌校的兩年時間裡，學生數目從300多人增加到1300多人，發展很快，經濟情況也有了好轉。學校原有的規模已經不能容納學生現有的數量，爲此擴建開設了分校區，新建了校舍。