湯若望原名約翰·亞當，沙爾·馮·白爾。1592年5月1日出生在德國萊茵河畔科隆城一個叫沙爾·馮·白爾的貴族之家。沙爾家族是科隆城古老的名門望族，其爵邸就在阿波斯特爾大教堂附近，全家人都是天主教的虔誠信奉者。
1534年西班牙貴族羅耀拉創建耶穌會，幫助羅馬教會在反宗教改革的運動中自上而下地實行自身的改革，重振天主教，重建教皇的絕對權威。耶穌會成了天主教各修會中勢力最大的一個修會團體。
湯若望就讀於耶穌會所創辦的著名的三王冕中學。這個學校非常重視對學生的素質教育，把培養學生虔誠善良的人生操守視爲主要目標。聰明好學的湯若望學習成績優秀。
1607年，科隆城內流行瘟疫，三王冕中學被迫停辦。16歲的湯若望被當地耶穌會教區推薦到羅馬德意志學院學習。
三年過去，他以優異的成績學完了哲學、古典文學、數理天文學等全部課程，特別在數學和天文學方面，顯示出他具有很大潛力和才華。他就是在這裡第一次接觸到伽利略的望遠鏡，並對此產生濃厚的興趣。
1611年10月，湯若望加入了耶穌會，宣誓終生安貧、貞潔、服從。隨後，搬到了羅馬耶穌的聖·安德烈奧修道院，當一名見習修士，接受嚴格的修士訓練。也加入了靈採研究院，探索着不斷髮展着的新科學，尤其是天文學和數學。
安德烈奧修道院有一個圖書館，館裡藏着許多經過印刷，裝訂成冊的海外耶穌會士寫給總會的年報、報告、信函。
湯若望經常到圖書館翻閱這些材料。早期傳教士在東方在中國所建立的豐功偉績，讓他激動不已。他欽佩利瑪竇在中國採取的適應中國文化習俗的，所謂“合儒”的傳教策略，竭力把天主教義與中國的儒家文化相結合。當他聽說利瑪竇神父以其數學天文學的智慧，驚倒了中國人，並且受到皇帝的優禮和敬重，爲上帝的教會開拓了新的、非常大的信仰領域時，他爲西方的數理天文這在中國獲得這樣的價值而欣喜若狂。
兩年見習期滿後，1613年10月，他進入了羅馬學院。開始了爲期四年的神學和數學研究。羅馬學院是羅耀拉於1551年創辦的，雖說是一所“基督精神的神學院”，該學院的課程設置除宗教內容外，還有數學、天文學、地理學、機械力學、化學等科目。
伽利略也擔任過該院的教師，他曾在學院的報告廳裡展示過經他改良後的望遠鏡，受到熱烈歡迎和欽佩。湯若望都聽過他的演講，對伽利略的學說產生濃厚的興趣。
1617年，他以最優秀的成績完成了在羅馬學院的學業，晉升爲神父。1618年4月16日，在金尼閣的帶領下，湯若望、鄧玉函、羅雅谷等22名傳教士，以葡萄牙政府的名義派遣，從里斯本啓航東渡。
1619年7月15日，湯若望和他的教友們抵達了澳門，被安置在聖·保祿學院裡。
傳教士們一踏上中國土地，便開始精心研習中國語言文化，甚至以掌握北京官話爲目標。這些西方修士入鄉隨俗，脫下僧袍，換上儒服，住進中式房屋，並潛心研究中國經史和倫理，尋找其中東西方文化的融合點。在同朝野名流交往的過程中，這些上通天文，下知地理，又熟讀漢文典籍的西方傳教士，自然贏得了中國文人士大夫的好感和信任，從而達到其傳播信仰的目的，這就是利瑪竇開創的“合儒超儒”的傳教策略。但有些狂熱的傳教士們，認爲利瑪竇過於遷就中國人，影響了天主教的“純正性”，發展教徒速度太慢。在利瑪竇去世之後，開始改變利氏的傳教路線，採取激進式的傳教方式，堅決排斥儒家思想，嚴禁中國教民祭天、祭祖、拜孔子，激起了社會人士的反感與懷疑，釀成“南京教案”，傳教士們被驅逐，在中國內地幾乎無立足之地。
其時正是明朝內憂外患之際，滿洲努爾哈赤的勇兵悍將“非火器戰車不可御之”。朝廷派人到澳門向葡萄牙人購買大炮。滯留澳門的傳教士們以軍事專家的面目，跟着大炮隨行，得以進入內地。
1622年夏天，湯若望換上了中國人的服裝，把的德文姓名“亞當”改爲發音相近的“湯”,“約翰”改爲“若望”，正式取名湯若望，字“道未”出典於《孟子》的“望道而未見之”取道北上。1623年1月25日到達北京。
湯若望到北京後，仿效當年的利瑪竇，將他從歐洲帶來的數理天算書籍列好目錄，呈送朝廷。又將帶來的科學儀器在住所內一一陳列，請中國官員們前來參觀。湯若望以他的數理天文學知識得到朝廷官員們的賞識。
他到北京不久，就成功地預測了當年10月8日出現的月食。後來他又準備地預測了第二年(1624)9月的月食。還用了一種羅馬關於月食計算的方法，計算了北京子午圈與羅馬子午圈的距離。爲此，他寫了兩篇關於日食的論文，印刷分贈給各官員並送呈給朝廷。
中國傳教會給他的任務是研究中國的語言文字與儒家學說，數理天文學以及傳教工作只是附帶的。他在北京見習了四年，在欽天監官員李祖白的幫助下，用中文寫了一本介紹伽利略望遠鏡的《遠鏡說》，第一個將歐洲的最新發明介紹給中國，在以後的歷法改革中起了相當大的作用。
《遠鏡說》刊印於1629年。該書前面有湯若望的自序，正文分四個部分：1.望遠鏡的利用，按仰觀和平視分述，2.構成望遠鏡的各透鏡的分別利用，如解決近視和遠視患者的苦惱;3.光學原理，4.望遠鏡的製造方法、使用說明和保養說明。
《遠鏡說》從原理、結構功能和使用方法上詳細介紹了伽利略式望遠鏡，全書通篇條理清楚、淺顯易懂、圖文並茂。成爲傳播光學和望遠鏡製造技術的奠基性著作，對後世有重要影響。
1627年，湯若望被派到西安接替金尼閣的傳教工作。他在西安城內建立了一座小教堂，除了開展宗教活動外，他始終堅持科學研究。他研究了從西安通向中亞、中東和歐洲的交通道路問題。爲此，他不斷向過往商人、到北京向中國朝廷進貢的附件小國的使團，打聽和記錄他們行走的路線，經過的國名、地名、驛站名以及來往商品的名稱、貿易狀況等等。他據此寫山詳細的研究報名，寄往歐洲。他還花了不少時間考察了歐洲長期爭論不休的契丹和北部中國的關係問題，理清了在中國的北部並沒有所謂契丹的地方。舊日所謂“汗巴利可城”是蒙古語對北京的稱謂。在地圖上應置於北緯40度，而競置於50度以上，位置太靠北了。他這些觀點和利瑪竇是一致的。
崇禎三年(1630)，由禮部尚書徐光啓疏薦，回京供職於欽天監，譯著曆書，推步天文，製作儀器。同時，利用向太監講解天文的機會，在宮中傳播天主教，受洗入教的有御馬監太監龐天壽等。
湯若望在歷局期間，還同中國學者合作翻譯了德國礦冶學家阿格里科拉於1550年撰寫的論述16世紀歐洲開採、冶金技術的鉅著“礦冶全書”，中譯本定名爲“坤輿格致”。此書編成後，湯若望進呈給朝廷，崇禎皇帝御批：“發下‘坤輿格致’全書，着地方官相酌地形，便宜採取”。
崇禎七年，協助徐光啓、李天經編成《崇禎曆書》一百三十七卷。又受明廷之命以西法督造戰炮，並口述有關大炮冶鑄、製造、保管、運輸、演放以及火藥配製、炮彈製造等原理和技術，由焦勗整理成《火攻挈要》二卷和《火攻秘要》一卷，爲當時介紹西洋火槍技術的權威著作。
崇禎九年，湯奉旨設廠鑄炮，兩年中鑄造大炮20門。爲謀取天主教在各省的合法地位，十一年奏請崇禎賜“欽褒天學”四字，制匾分送各地天主堂懸掛。
清朝順治元年(1644)，清軍進入北京，明亡。湯若望以其天文曆法方面的學識和技能受到清廷的保護，受命繼續修正曆法。
湯若望多次向新統治者力陳新曆之長，並適時進獻了新制的輿地屏圖和渾天儀、地平晷、望遠鏡等儀器，而且用西洋新法準確預測了順治元年（1644年）農曆8月初一丙辰日食時，初虧、食甚、復圓的時刻，終於說服當時的攝政王多爾袞，決定從順治二年開始，將其參與編纂的新曆頒行天下。他用西法修訂的歷書（就是《崇禎曆書》的刪節版）被清廷定名《時憲曆》，頒行天下。
順治元年十一月，命掌欽天監事。次年，他將《崇禎曆書》壓縮成《西洋新法曆書》一百零三卷，進呈攝政王多爾袞，封太常寺少卿。
順治七年，清政府賜地在宣武門內原天主堂側重建教堂。湯若望將利馬竇建的一座經堂擴大，建成了北京城內的第一座大教堂（南堂），此處成爲湯若望等神父的起居地。 湯若望工作的地點則是在北京建國門附近的古觀象臺。在古觀象臺工作的傳教士有50多人，湯若望是其中最主要的傳教士，還擔任臺長，即欽天監監正。
順治八年順治帝親政後，先後授太僕寺卿、太常寺卿、通政使並賜號“通玄教師”(康熙帝時爲避諱，改“通微教師”)。湯若望經常出入宮廷，對朝政得失多所建言，先後上奏章三百餘封。順治帝臨終議立嗣皇，曾徵求湯若望意見。當時順治帝因得天花，而當時朝延中只有湯若望一人知道天花如果流行會造成什麼樣的後果，於是他就說一定要找一位得到天花的皇子來繼王位，於是便有了後來的康熙大帝。
中西曆法之爭，由來已久，吳明煊早在順治十六年便上疏舉報湯若望天算錯誤，結果反落了個“詐不以實”的罪名，險些被判了死刑。1661年，順治病逝，八歲的康熙登基，輔政大臣鰲拜等反對西洋學說，大臣楊光先，言湯若望等傳教士有罪三條：潛謀造反；邪說惑衆；曆法荒謬。
1664年冬，鰲拜廢除新曆，逮捕了已經中風癱瘓的湯若望和南懷仁等傳教士。
康熙三年九月二十六日，清廷“會審湯若望，以及欽天監官員，翌年三月十六日，廷議將欽天監監正湯若望，刻漏科杜如預，五官挈壺正楊弘量，歷科李祖白，春官正宋可成，秋官正宋發，冬官正朱光顯，中官正劉有泰等皆凌遲處死。已故劉有慶子劉必遠，賈良琦子賈文鬱，宋可成子宋哲，李祖白子李實，湯若望義子潘盡孝俱斬立決。”
在湯若望等人經初審被判處死刑之後，曾進行了一次由中國、回回和西洋三種觀測法同時預測日食時間的實際檢驗活動。結果南懷仁等人據西洋曆法預測的日食時間與事實相符，最爲正確。但是，對湯若望等人的處罰非但沒有減輕，反而又加重了：由絞刑變成了最殘酷的凌遲。事情很清楚，朝廷只是希望南懷仁等人出現錯誤，從而爲迫害他們尋找有力的藉口。否則的話，西洋人正確的日食預報應該成爲減輕或撤銷他們罪名的理由和依據。
按照判決，次年湯若望應凌遲處死。但不久天上出現被古人認爲不祥之兆的彗星。京城又突然發生了大地震，皇宮在地震中遭到破壞，而且有宮殿着火。這顯然嚇呆了清宮統治者。湯若望免死羈獄，旋獲孝莊太皇太后特旨釋放，湯的僕人潘盡孝也免去一死。而其他上面列出的從事西學的漢人，還是被斬頭。至此，徐光啓在崇禎年間，精心培養的一大批漢人的西方數學天文專家，被徹底殺滅掃蕩乾淨。
康熙五年七月十五(1666年8月15日)，湯若望病死於寓所。 康熙八年，康熙給湯若望平反。1669年十一月十六日，康熙又發佈了對湯若望的祭文：“皇帝諭祭原任通政使司通政使，加二級又加一級，掌欽天監印務事，故湯若望之靈曰：鞠躬盡瘁，臣子之芳蹤。恤死報勤，國家之盛典。爾湯若望，來自西域，曉習天文，特畀象歷之司，爰錫通微教師之號。遽爾長逝，朕用悼焉。特加因恤，遣官致祭。嗚呼，聿垂不朽之榮，庶享匪躬之報。爾有所知，尚克歆享。”
湯若望在順治年間所受的恩寵與隆遇使得天主教當時在中國的傳播較爲順利。隨着傳教士人數的增加，活動範圍的擴大、信徒在不斷髮展。在湯若望時代，教堂在中國已有30多處，據德禮賢先生統計1650年信徒人數就已達到150000人。
順治皇帝的去世，使湯若望失去了宮廷保護人，他的命運也發生了巨大的轉折。
雖然關外的愛新覺羅氏家族直入北京，統一中國，但具有幾千年歷史的儒家思想仍然是當時中國傳統文化的主流，孔孟之道根深葉茂。早在順治時期，就有一些漢族士大夫反對順治信任湯若望等傳教士，對湯若望竟然在中國發展了十幾萬天主教徒極其不滿，極力主張從葡萄牙人手裡收回澳門。安徽歙縣的官生楊光先就是他們的代表，他首先向西方傳教士發難。楊光先對天主教早有所聞，於順治十五年在京城看到被釘死於十字架上的耶穌受難畫像之後，才確認天主教就是耶穌教，從此即有“彈劾”湯若望的念頭。順治十六年至十七年之間，楊光先撰寫了《辟邪論》上、中，下三篇以及《摘謬十論》、《正國體呈》、《中星說》、《選擇議》等多篇文章，又多次親自來到禮部，通政使司等衙門狀告湯若望。楊光先指出，天由二氣結撰而成，並非天主所造。耶穌是彼國謀叛的罪魁，因事敗露而被正法，絕非造天聖人。所謂天主耶穌於漢元壽二年降生之說，純屬荒唐怪誕。“若耶穌即是天主，則漢哀以前盡是無主之世界”。“設天果有天主，則覆載之內四海萬國，無一而非天主之所宰制，必無獨主如德亞一國之理。獨主一國，豈得稱天主哉”。他進而又說，湯若望等“非我族類，其心必殊”，倘若天下之人，“只愛其器具之精工，而忽其私越之幹禁”，則無異於“愛虎豹之文皮，而豢之臥榻之內，忘其能噬人矣”。同時，又斥責湯若望在《時憲曆書》封面上題寫“依西洋新法”五個字，其目的是“借大清之歷以張大其西洋，而使天下萬國曉然知大清奉西洋之正朔”。說湯若望借西洋新法陰行邪教，而“謀奪人國是其天性，今呼朋引類，外集廣澳，內官帝掖，不可無蜂蠆之防”。因爲當時順治帝尚在，湯若望仍受朝廷器重，而禮部又不理睬楊光先的狀告，所以湯若望等人對楊光先的反教舉動未加重視。
康熙初，湯若望等耶穌會士加緊宣傳天主教，將天主教捧爲全世界之惟一正教，只以天主教爲獨尊。湯若望與當時在京的傳教士利類思、安文思、南懷仁等人認真研究之後，令奉教欽天監夏官正李祖白執筆，根據明崇禎皇帝所賜“欽褒關學”匾額的“天學”二字，於康熙二年冬撰寫了《天學傳概》一書，三年正月，又求國子監助教許之漸爲該書作序。該書刊行之後，散發給在華天主堂的傳教士及有關人員。據湯若望、李祖白等人講，此書是針對楊光先指責天主教爲邪教的論點而作，以闡明天主教並非邪教，而是正教。但是，在該書中卻大談特談許多令當時人無法理解和接受觀點。譬如，在該書中寫到，“天主上帝開闢乾坤，生初人男女各一。初人子孫聚居如德亞國”。其後生齒日繁，散走世界各地。“考之史冊，推之歷年，在中國爲伏羲氏，即非伏羲，亦必先伏羲不遠爲中國有人之始。此中國之初人，實如德亞之苗裔”。接着又說到，中國自有初人之始，即信奉天主之教，而六經四書之類，不過是天主教的“微言法語”。自秦始皇焚書之後，天主教也在中國失傳。等等。這種將中國的社會，宗教思想甚至人種完全納入歐洲的體系，變成爲歐洲的附庸和分支的理論，充分反映了歐洲中心，歐洲至上論的傲慢與偏見，導致了人們的極大反感和不信任。楊光先見到《天學傳概》一書後，把它當作擊敗湯若望的一把利劍，於康熙三年三月二十五日，先寫信給該書的作序者許之漸，指斥天主教是邪教，《天學傳概》是妖書，敦促許之漸舉揭湯若望，反對天主教。於七月二十六日，又寫《請誅邪教狀》一文，再赴禮部呈遞，正式控告湯若望有三大罪狀：一是潛謀造反，二是邪說惑衆，三是曆法荒謬。又將《天學傳概》一本、《邪教圖說》三本、《正國體呈》稿一本、《與許之漸書》稿一本，以及金牌，繡袋，會期等物，一併遞呈禮部，要求依律將湯若望正法。清廷從三年八月初六日至四年七月，用將近一年的時間審理此案，最後作出了禁止耶穌會士在中國傳播天主教的決定。並拘審捕外省傳教士30餘人解京。判湯若望絞刑。由於當時北京接連五天發生地震，加之“太皇太后(孝莊)力主開釋”，湯若望才免於一死。清廷又恐傳教士們仍然傳教，收徒，建堂，也嚴加飭交繼任各官防範。這就是康熙初發生的有名的“教案”，
康熙五年(1666年)8月15日，湯若望逝於南堂，享年75歲。康熙八年(1669年)9月，湯若望得到徹底昭雪，恢復“通玄教師”之名，1669年12月8日，康熙帝賜地重葬湯若望於利瑪竇墓旁，御賜祭文一篇，鐫刻在湯若望墓碑的反面，從“鞠躬盡瘁，恤死報勤，國之盛典”等用詞足以見中國一代明君對這位來自萬里之遙、萊茵河畔的德國傳教士高度的評價和認同。