蘋果 AI、國行 Vision Pro 都來了!WWDC24 值得關注的 30+ 個看點

今天凌晨,WWDC24 全球開發者大會正式開幕。首場 Keynote 發佈會上,Apple 展示了包括 iOS 18、iPadOS 18、watchOS 11 和 macOS Sequoia 在內的新系統。不出意外本次發佈會上的重點是 Apple Intelligence,Apple 用了首場發佈會將近一半的篇幅來講述他們在 AI 領域所做的工作。

如果你沒有熬夜看發佈會,少數派依舊爲你整理了本次發佈會的要點,幫你快速瞭解本次發佈會的主要內容。

在 6 月 12 日晚間,我們將與科技博主「兩顆皮蛋」的零號舉行線上直播特別活動,一起聊聊對於本次 WWDC24 及各大系統更新的初印象,活動詳情將於稍後公佈,歡迎關注少數派微信視頻號、小紅書第一時間獲取相關信息。

Apple Intelligence

Apple Intelligence 是本次發佈會上的壓軸大戲,Apple 表示該系統已經深入集成到了 iOS 18、iPadOS 18和 macOS Sequoia 中。

Apple Intelligence 藉助大語言模型能力理解和生成語言和圖像,並能根據用戶所處場景、跨應用地簡化和加速日常任務。Apple Intelligence 不僅能在專用的 Apple 芯片服務器上運行,還能夠在 Apple 設備端本地運行,並根據不同的任務負載選擇正確的運行方式。

▍理解生成

Apple Intelligence 爲 iOS 18、iPadOS 18和 macOS Sequoia 帶來了系統內全局範圍的寫作工具,用戶可以在任何輸入框中用大語言模型進行改寫、校對和總結,支持第三方工具。

和其他由生成式模型驅動的寫作工具一樣,Apple Intelligence 可以根據上下文和用戶選擇的語氣,生成適應於不同工作和對象的內容。Apple Intelligence 的校對功能幫助用戶檢查語法、單詞用法和句子的結構,並給出詳細的建議,用戶還可以快速接受所有的建議。Apple Intelligence 的總結功能允許用戶快速選擇文本,並以表格或無序列表的形式進行總結。

在郵件中,Apple Intelligence 會識別郵件內容,並將重要郵件顯示在收件箱的頂部。且收件箱的郵件預覽會針對每封郵件總結,而不再是預覽每封電子郵件的前幾行。對於有較長上下文的郵件串,Apple Intelligence 會也會給出總結;智能回覆功能也會根據郵件的上下文找出問題,並給出回覆建議。

在通知方面,Apple Intelligence 也會識別通知內容,並將重要的通知顯示在通知堆疊的頂部,在必要時也會摘要長通知的關鍵信息並在鎖屏上顯示。Apple Intelligence 還驅動了一個新的「減少通知打擾」的模式,允許用戶專注於其他事情的時候,只關注於重要的通知。

在筆記和電話中,用戶可以錄製、轉錄並總結音頻。但在通話中發起錄音時,參與者會自動收到通知,通話結束後 Apple Intelligence 會生成一個摘要。

▍圖像生成

Apple Intelligence 也同樣支持「文生圖」功能,通過新的、獨立的 Image Playground 功能,用戶可以生成動畫、插圖或素描風格的圖像,並在消息或者其他第三方程序裡使用。Image Playground 功能是純本地功能,並有獨立的 App 的供用戶體驗。

Image Playground 不僅支持用戶輸入提示詞生成,還支持從特定的主題、服飾、配件、地點、個人照片庫中的人等元素中選擇一系列元素生成圖像。

在筆記 app 中,用戶可以通過 Apple Pencil 工具調色板中的新 Image Wand 訪問 Image Playground,來將粗略的草圖變成更具精美的圖像、或是根據周圍區域的上下文創建圖像。

Apple Intelligence 除了生成圖像,Genmoji 功能可以讓用戶輸入文字提示詞快速生成新的自定義 Emoji,Genmoji 生成的內容同樣可以以消息的形式發送,或者作爲貼紙、反應分享。

▍照片編輯

Apple Intelligence 也集成在了照片中,現在不僅可以用自然語言搜索特定的照片,還可以搜索視頻的特定片段,方便用戶查找、跳轉和剪輯。此外,新的清理工具還可以識別和刪除照片背景中部分雜亂的內容,同時不會改變拍攝對象。

Apple Intelligence 還改進了回憶功能,用戶在輸入提示詞後即可創建他們想要看到的回憶。Apple Intelligence 會根據描述挑選出最好的照片和視頻,根據照片中確定的主題製作一個帶有章節的回憶,並將它們排列成具有自己敘事脈絡的視頻。

▍改進的 Siri

Apple Intelligence 也改進了 Siri,在更豐富的語言理解能力模型的幫助下 Siri 能夠根據上下文、用戶的背景,更自然地響應用戶提出的問題。Siri 在激活時,也會用發光光環繞在屏幕邊緣。Siri 還可以隨時在文本和語音之間切換,用戶可以用當前最合適的方式與 Siri 交互。

Siri 也會隨着時間的推移,藉助屏幕感知功能理解用戶的上下文,並採取給出建議操作。比如將地址添加到聯繫人卡片中、媽媽的航班什麼時候降落等等。

Siri 現在還可以隨時爲用戶提供設備上功能的幫助。也能從 Apple 內置應用和其他第三方應用程序中執行具體操作,比如將週六燒烤的照片發送給 Malia、從我的閱讀列表中拿出那篇關於蟬的文章等。

▍隱私保護

Apple 在發佈會上多次聲明隱私保護是重中之重,且 Apple Intelligence 的基石是設備端處理。當處理需要更多處理能力的更復雜請求時,Apple 採用私有云計算的方式,將 Apple 設備的隱私和安全擴展到雲端。私有云計算的服務器採用 Apple 自研芯片,Apple 認爲 Apple 自研芯片爲未數據不被保留和暴露打下了基礎。

這些私有云計算的服務器上的允許的代碼也有獨立專家進行檢查、以驗證隱私,私有云計算的服務器和 iPhone 之間使用加密通信。

▍ChatGPT 集成

iOS 18、iPadOS 18 和 macOS Sequoia 中還將集成 ChatGPT 功能,採用 GPT-4o 無需註冊即可訪問。支持訪問專業知識、使用圖像和文檔理解功能,無需在應用間跳轉。ChatGPT 也可以在 Apple 的系統範圍的寫作工具中使用,生成符合用戶需求的文字和圖像。

在鏈接到 ChatGPT 時,用戶的 IP 會被隱藏;ChatGPT Plus 用戶還可以通過登錄解鎖全部功能。

iOS 18

本次 iOS 18 帶來的新功能與之前的預測相差不大。除了更加自由的主屏幕,包括照片、信息、郵件在內的多個系統 app 也獲得了大量功能或設計更新。

▍更自由的主屏幕定製

iOS 18 爲 iPhone 帶來了更加自由的主屏幕定製功能。在(像隔壁系統一樣)引入 App 資源庫、不再強制所有圖標都在主屏幕排布之後,iPhone 用戶終於可以把壁紙上自己超愛的角色或人的臉完整露出來了。

現在,主屏幕的任意網格位置都可以擺放 app 和小組件。用戶還可以爲圖標與小組件更換配色,包括常規的深色、淺色和自定義色調,也可以調節 app 圖標尺寸,搭配壁紙製作出更個人化的主屏幕。

位於右上角下拉的控制中心也得到重新設計,有了更強的可定製性。首先,控制中心增加分組頁,包括媒體播放、家居控制、連接狀態等,從右上角長掃滑動即可切換至不同分組。原先的首頁可自定義範圍提高,用戶可以調整控制項的擺放、尺寸以及創建新分組。iOS 18 還添加了全新的控制選項庫(controls gallery),並開放了 Controls API,完成適配的第三方 app 也可以加入其中。

此外,鎖定屏幕底部的控制開關也可以自定義了。用戶可以將其替換爲控制選項庫中的任意選項,也可以將其直接移除。iPhone 15 Pro 側邊的操作按鈕(Action Button)也可以快速調用控制選項。

▍信息 app 帶來更多功能

iMessage 現在支持全新的文字效果。用戶可以採用粗體、下劃線、斜體與刪除線等格式對部分文字進行強調,也可以爲任意文字增加動畫文字效果。「點回」(Tapbacks)功能從原本的六個迴應擴展至支持任意表情符號或貼紙。

信息 app 本次還帶來了稍後發送功能,用戶可以提前撰寫信息,並在稍後的設定時間發送。此外,信息 app 還支持向非 Apple 設備發送 RCS 信息,並且引入了端到端加密的衛星信息功能。

▍全新設計的照片 app

iOS 18 的照片 app 獲得重新設計,從原本的網格設計加標籤頁更換至單一視圖。App 上半部分爲常規的時間流網格顯示,下半部分爲照片集,可以按主題、人物、旅程等瀏覽與分類。用戶可以依喜好置頂、分享主題照片集,方便觀看最喜愛的照片。在網格部分右掃,還能看到全新設計的 carousel(輪播)視圖,可以播放由 app 選擇的精選照片或用戶選擇的照片集。

▍郵件 app 增加分類功能

郵件 app 將引入新的收件箱管理功能,可以自動將收到的郵件分類,如個人郵件、收據、新聞與訂閱通知、營銷郵件等。 來自同一企業的郵件還能以概要視圖展示,讓用戶快速瀏覽相關信息。 該更新會在今年晚些時候上線。

▍鎖定與隱藏 app

隱私功能在 iOS 18 也有更新。本次引入的鎖定與隱藏 app 功能可以爲有用戶私密內容的 app 提供額外的解鎖確認,如驗證 Face ID 後纔可打開或顯示內容。被鎖定或隱藏的 app 及其中內容不會出現在搜索、通知等其他地方。如果有需求,app 還可以移動至 App 資源庫內專門的隱藏文件夾。

▍其他更新

隱私功能方面,iOS 18 允許用戶與 app 僅共享特定聯繫人。第三方配件也可以無需讓 app 看到用戶網絡上的其他設備,與 iPhone 完成無縫連接。

地圖 app 增加地形圖功能。目前支持美國各大國家公園的徒步路線查詢與收藏,並可定製自己的步行路線。

Apple 錢包爲票務信息提供了更豐富的內容,包括相關場館信息顯示、相關 Apple Music 歌單推薦等。Apple Cash 在美國新增 Tap to Cash 轉賬功能。

手記 app 增加全新洞察視圖,允許用戶搜索與分類日記;可以在主屏幕使用小組件直接語音記錄,日記中將自動轉寫爲文字。

iOS 18 引入遊戲模式,開啓後降低 AirPods 與遊戲手柄等配件時延,限制後臺以穩定幀率。

日曆 app 可顯示、創建、編輯與完成提醒事項 app 中的日程與任務。

輔助功能更新眼動追蹤、音樂觸覺與人聲快捷鍵功能。

iPadOS 18 除了能獲得 iOS 18 中的包括自定義主屏幕在內的各項新功能,還新增了多項針對 iPad 手寫場景定製的特別功能。

▍計算器 app

本次 iPadOS 18 的最大更新莫過於帶來了計算器 app。iPad 用戶終於獲得了原生計算器的加持。

在常規的計算器功能之外,如基礎計算器、科學計算器、單位換算、歷史記錄等,iPadOS 版計算器新增了 Math Notes 數學筆記功能。用戶可以在 Math Notes 鍵入或手寫數學表達式。數學筆記支持設置變量,用戶可以方便地查看變量之間的關係,能夠依等式創建函數圖像,也可以用 Apple Pencil 懸停後拖動變量連續更改其賦值,實時查看圖像與結果變化。

▍更靈活的手寫筆記

Smart Script 功能會學習用戶的手寫筆跡風格,使得手寫文字也可以與鍵入文本一樣即時調整。該功能可以在手寫時實時調整書寫字跡,使字跡更整齊;也可以直接修改文字,爲手寫文本自動糾錯、重新排版、實時刪除,粘貼的文本也可以直接轉爲手寫字跡插入。

計算器 app 新增的 Math Notes 功能在備忘錄內同樣可用。

▍全新標籤頁欄設計

iPadOS 18 引入了全新的標籤頁欄設計,互補 app 的邊欄功能。標籤頁欄將懸浮在頁面上方,可以由用戶選擇邊欄中的標籤頁並自定義順序。該功能可以爲 app 提供更多全屏顯示體驗,並向第三方 app 開放 API。

▍其他更新

同播共享功能支持在屏幕上通過點擊與塗鴉向對方指示操作,並且支持遠程控制設備。

無邊記 app 新增場景功能,支持以主題管理看板不同部分,可以通過查看主題快速移動看板。

在此次的加州「地名探索之旅」上,macOS 的全新代號是 Sequoia,其名稱來源是紅杉國家公園。帶來了 iPhone 鏡像連續互通、Safari 的 Highlights 功能、全新的獨立密碼管理應用以及 Game Porting Toolkit 2 等一系列升級。

▍在 Mac 上操作 iPhone

多設備的互聯互通一直是 Apple 生態的重要功能。現在,通過 macOS Sequoia,允許用戶將 iPhone 屏幕鏡像顯示在 Mac 上,並進行完全交互,鍵盤、觸控板、鼠標都能夠用於與 iPhone 互動,還能在 iPhone 和 Mac 之間流暢地拖放文件。

這一功能使得用戶能夠無線地控制 iPhone,訪問其應用和功能,同時保持 iPhone 屏幕的鎖定狀態,確保隱私安全。

▍Safari 給你「劃重點」

在 macOS Sequoia 中的 Safari 瀏覽器變得更爲智能,提供了名爲「Highlights」功能,利用機器學習技術自動檢測並突出顯示網頁上的相關資訊。此外,Safari 的閱讀器模式經過重新設計,提供了更簡潔的閱讀體驗和文章摘要。

▍全新 Passwords app

鑰匙串現在被全新的 Passwords app 所取代,帶給你更加方便安全的密碼管理體驗。這是一個集中管理密碼、通行密鑰、無線局域網密碼和其他憑證的應用。支持跨設備同步,確保用戶在所有設備上都能快速、安全地訪問密碼。

除了 Apple 設備外,也在 iCloud for Windows app 中提供。

▍其他更新

更快捷的排列多個窗口:macOS Sequoia 引入了全新的窗口管理功能。當用戶將窗口拖動到屏幕邊緣時,系統會自動建議桌面上的平鋪位置,使得多任務處理更加直觀和高效。

Gaming on Mac 不再是玩笑:更多的遊戲作品即將登陸 macOS 平臺,包含育碧、卡普空等開發商在內的多款 3A 大作,包括《刺客信條:影》《生化危機 7》《生化危機 2》等,都即將登陸 Mac。

視頻會議體驗升級:針對視頻會議體驗進行了優化,新增的 presenter preview 功能允許用戶在分享屏幕前預覽內容。此外,用戶現在可以替換背景,使用內置背景或個人照片,以適應不同的會議需求。

作爲距離此次開發者大會發售時間最短的產品,Vision Pro 搭載的 visionOS 也迎來了首個大版本的更新:visionOS 2。

▍更有沉浸感的 2D 照片

利用先進的機器學習技術,visionOS 2 能夠將用戶庫中的 2D 照片轉換成具有自然深度感的立體空間照片,讓回憶更加生動。

此外,通過同播同享,你可以與親朋好友共享全景和空間照片、視頻,實現社交體驗的新維度。

▍全新手勢帶來更多快捷操作

在 Vision Pro 中的導航和控制方式也得到了更新,藉助新手勢,可以更快、更輕鬆地訪問常用功能。

▍更大的 Mac 屏幕

將 Mac 無線連接到 Vision Pro 是用戶最常用的功能之一,在 visionOS 2 中,新增了多種分辨率與屏幕尺寸,Wide(寬屏)以及 Ultrawide(超寬屏)兩種全新選項搭配 Mac 爲用戶帶來更多效率上的提升。

▍旅行模式新增火車

新增對火車的支持,讓用戶在長途通勤中也能享受私密的工作或娛樂體驗。

更多的開發者以及生態支持

visionOS 2 爲開發者提供了新的框架和 API,包括高級體積 API 和 TabletopKit,以及針對特定行業的企業級 API,爲醫療、製造等行業提供強大的應用場景。

此外,佳能推出新的空間視頻鏡頭,適用於 EOS R7 數碼相機,支持在最具挑戰性的光照條件下錄製空間視頻。

Apple 還與 Blackmagic Design 合作,爲 Vision Pro 打造的沉浸式視頻格式——Apple Immersive Videos,並且爲內容創作者提供了全新的製作流程。

Apple Vision Pro 國行版 6 月 28 日正式發售

在發佈會上,Apple 也正式宣佈 Apple Vision Pro 也將於 6 月 28 日起面向中國大陸、香港、日本和新加坡等國家和地區發售,中國大陸用戶可於 6 月 14 日 9 點起對 Apple Vision Pro 進行預購,256GB 版本 29999 元起售。

⌚️watchOS 11

作爲 watchOS 的第十一個大版本更新,Apple 又花了不少功夫改進了 watchOS 11 中健康、運動及其它方面的有關體驗。

可視化關鍵健康信息 Vitals

watchOS 11 中新增了一個快速查看這些關鍵健康信息的 Vitals app,用戶可以快速查看心率、呼吸率、手腕溫度、睡眠時間和血氧等相關信息,並確認哪些數據不在一般範圍內。當兩個或多個指標偏離其典型範圍時,用戶可以收到通知和一條消息,詳細說明這些特定指標的變化如何與他們的生活其他方面相關聯,例如海拔變化、飲酒習慣甚至疾病等。

運動負荷

在運動方面,watchOS 11 引入了「運動負荷」的概念,運動負荷可以有效衡量鍛鍊的強度和持續時間,並能和過去 7 天和過去 28 天做比較。運動負荷會在每次鍛鍊後更新,分爲 10 個分數,根據有氧運動的鍛鍊類型、年齡、身高和體重、GPS、心率和海拔等鍛鍊數據共同計算。用戶可以結合壓力和痠痛懂因素,手動調整運動負荷的估計值。

智能疊放再升級

在 watchOS 11 中智能堆棧新增了 Shazam、照片、距離等新的小部件,還能更具根據時間、日期、位置、日常程序等建議小部件,例如:新的惡劣天氣警報小部件可以在雷暴之前出現。此外,實時活動現在也會在智能疊放中出現。

照片錶盤新變化

照片錶盤在 watchOS 11 中也有了新變化,會使用機器學習快速分析數千張照片,並根據美學、構圖甚至面部表情提出建議,幫助用戶製作照片錶盤。此外,照片錶盤還會算法優化人物主體在框架中的位置,景深效果、時間大小、佈局、字體選擇等佈局方式來因一步個性化照片錶盤。此外,照片錶盤還支持動態模式。

可定製的活動環和健身應用程序

在 watchOS 11 中,運動圓環可以根據用戶的訓練期間計劃休息日、受傷等情況進行休息,可以暫停一天、一週、一個月或更長時間,且不會影響連勝獎勵。還可以在一週中的某一天自定義他們的活動目標,來加強運動。

iPhone 上的健身 app 中的摘要選項卡也可以自定義,方便用戶查看他們想要看到的內容。

其他更新

新增了懷孕期間的支持,允許完整記錄懷孕期間的身心變化

支持在手錶上使用平安確認功能

支持在手錶上使用翻譯 app

健身 app 支持了更多鍛鍊類型

Apple Intelligence 的通知摘要功能支持從 iPhone 15 Pro 和 iPhone 15 Pro Max 轉發到Apple Watch

Audio & HomeAirPods:點頭 Yes 搖頭 No

不是所有場景我們都方便與 Siri 進行直接的語音互動,因此 AirPods 將會引入全新的交互方式,用戶通過簡單的點頭「是」或搖頭「否」即可在不說話的場景下響應 Siri 的提問。

利用先進的計算音頻技術,AirPods Pro 新增了語音突顯功能,能夠在各種環境下提供清晰的通話質量,有效去除背景噪音。

此外,個性化空間音頻(Personalized Spatial Audio)將擴展至遊戲領域,使玩家能夠身臨其境。

tvOS 18

tvOS 18 也得到了 InSight、增強對話、21:9 支持、全新新屏幕保護程序等諸多特性更新。

InSight:用戶在觀看 Apple Original 的節目或電影時,只需在遙控器上向下滑動,即可實時查看演員及其角色名。此外,用戶還可以快速查看正在播放的歌曲,並將其添加到 Apple Music 播放列表中。

▍其他更新

對話增強(Enhance Dialogue):利用機器學習和計算音頻在 Apple TV 4K 上提供更清晰的對白聲音,用戶在使用 HomePod、電視內置揚聲器 HDMI 連接揚聲器、AirPods 和其他藍牙連接設備收聽時,都可以使用該功能。

增加 21:9 比例支持:tvOS 18 將支持 21:9 的投影儀,讓用戶可以以導演意圖觀看寬屏電影。

新增多個屏幕保護程序:新增了全新的人像、史努比等多個屏幕保護程序。

看完首場 Keynote 發佈會之後,你有哪些印象深刻的功能更新、對於幾大新版系統或是 Apple Intelligence 有什麼看法?歡迎在評論區和我們進行討論。

少數派也會繼續爲大家帶來關於新系統功能的詳細介紹,以及對於 WWDC24 開發者大會的持續報道,歡迎大家關注我們後續的專題策劃。

https://sspai.com/post/89496?utm_source=wechat&utm_medium=social

作者:少數派編輯部