開発者INTERVIEW(開発者インタビュー)

開発者INTERVIEW(開発者インタビュー)

BRAVIA 進入新世代處理器


如人腦般辨識影像


認知智慧處理器 「XR」 所呈現的 “影像” 與 “音效”

開発者INTERVIEW(開発者インタビュー)

BRAVIA 進入新世代處理器

如人腦般辨識影像

認知智慧處理器

「XR」 所呈現的 “影像” 與 “音效”

2021年 BRAVIA 全新機種陸續登場,過去提升畫質關鍵的超極真影像處理器進入世代交替。新世代認知智慧處理器 「XR」 不僅能以前所未有的概念實現高畫質,更帶來了高音質,我們請帶領研發團隊的工程師為我們說明。

MEMBER

Sony 公司
家庭娛樂與聲音產品事業本部
電視事業部 商品設計部門:井上
Sony 公司
家庭娛樂與聲音產品事業本部
電視事業部 商品設計部門:增田
01
BRAVIA XR


2021 年BRAVIA 全新系列
搭載認知智慧處理器
「XR」

首先請教井上先生,在研發新BRAVIA時您負責什麼工作呢?

井上:2021 年全新的BRAVIA搭載了認知智慧處理器 「XR」 ,我負責設計處理器最關鍵的 LSI (大型積體電路)。也就是畫質處理的基礎部分,像是處理器如何分析及辨識輸入的影像,以及針對該影像進行哪些處理等等。

想請井上先生和我們分享基礎知識,這次您負責研發的認知智慧處理器「XR」,一般所謂的「高畫質影像處理器」在電視/顯示器裡到底扮演什麼樣的角色呢?

井上:一般若直接播放傳輸至電視/顯示器的影像訊號,畫面經常不夠震撼、且太過扁平。高畫質影像處理器會分析輸入的訊號,將畫質變得更加鮮豔、立體、更具魅力。近幾年的 BRAVIA 搭載的是 「X1」 超極真影像處理器。

從2015年上市的 4K 電視開始使用「X1」,最新機型則進化為「X1 Ultimate」。請問 Sony 超極真影像處理器的優點在哪裡呢?

井上:Sony 至今研究各種高畫質技術,並將許多技術應用於 「X1」 上,其中效果最大的就是「超解析」技術。這是一種畫質升頻技術,能將影像提升至符合電視/顯示器解析度的超高畫質。最新的 「X1 Ultimate」 則是使用物件型超解析技術,對畫面內的人物、背景、樹木等物件進行最佳化處理,以呈現出高質感。

認知智慧處理器「XR」是最新世代,也是最高性能的處理器吧?

井上:是的。由於我們已經從 「X1」 系統大幅度高性能化,並取名為”認知智慧處理器 「XR」”

「認知智慧」這個名詞不常見,讓人非常好奇,可以請您告訴我們其中蘊含的意思嗎?

井上:認知智慧就如同其字面意義,是關於人類如何認知映入眼簾的景色。人類的眼睛雖然好像看到了所有映入眼簾的風景,但其實分為看得到、看不到的東西。比方說若眼前有人,當注意力放在那個人身上的時候,就不會再去注意周遭的背景等等。

原來如此,這個例子非常簡單易懂。

井上:透過這個例子我們就能知道,人類會本能地去注意人的臉孔或眼睛等部位。而人眼在看整個廣大風景及注視某處時,解析度也會有非常大的差異。認知智慧處理器 「XR」 是在這個嶄新概念下誕生的處理器,其初衷是若能讓電視/顯示器了解人類的認知智慧,便能將觀眾想看的東西更美麗地呈現出來。

那麼「XR」中,具體來說會進行什麼樣的處理呢?

井上:處理器會即時分析輸入的影像,並對觀眾注意的部位進行高畫質處理,使其更加突出、鮮明。

這和以往機型搭載的 「X1 Ultimate」 物件型超解析技術有什麼差異呢?以往機型也會依區域進行不同的處理吧?

井上:您說的沒錯。 「X1 Ultimate」 會將顯示的影像分割為物件,分析各物件的特性並進行高畫質處理。但其並未判斷各物件在整個畫面中是否為觀眾注意的部位。而 「XR」 能辨識出觀眾最注意的部分,並進行高畫質處理,讓該部位在整個畫面中更突出、更具魅力。

原來如此,像孔雀的臉部等受注目的部分都很清楚地呈現出來,而周遭好像沒有做這麼強的處理。比起過往對整體進行相同的高畫質處理,這樣一來畫面更有張力,讓觀眾更能沉浸其中。另外,請問「XR」最能發揮效果的情境(影像)是什麼呢?

井上:應該是人物登場時的場景吧。只要影像上有許多人物出現, 「XR」 便能以高精準度檢測,並施加適當的高畫質處理。

02
XR Picture

BRAVIA XR 能如人腦般辨識影像

接下來想請教認知智慧處理器「XR」的機制。它是如何判斷觀眾在注意影像的哪個部分呢?

井上:「XR」 會擷取較具特徵的部分,如影像中的人臉、特別亮、或是經常移動的部分,並判斷這應該是觀眾會注意的部位。

當影像中有人臉時,許多人應該會注意看這些地方,這能讓人理解。但影像有許多不同種類,它又是如何正確辨識的呢?

井上:關於人類會注意影像的哪個部分,其實從過去到現在世界各地有相關研究,也提出了許多論文。這次在研發 「XR」 時,我們 Sony 內部也研究了這些論文,並實際分析資料龐大的圖像以提升精準度。

在提升精準度時,有遇到什麼問題嗎?

井上:雖然我們早就知道實際狀況與論文不同,但還是花費了非常大的工夫。像是雖然能正確檢測到靜止圖像,卻沒辦法檢測影像…等等。但我們的團隊中有成像專家,具有長年的專業知識。他們給了我們許多建議,例如該如何從影像中去發現特徵等等。除此之外我們也和公司內其他領域的專家討論、不斷精修,最終才完成了 「XR」

即時分析影像應該需要非常大的處理器運算能力。請問LSI的性能提升了「XR」多少運算能力呢?

井上:您說的沒錯,即時影像分析對處理器造成了非常大的負擔。所以 「XR」 的處理性能大幅超過了以往的 「X1 Ultimate」。 我們使用這些提升的能力在重現認知智慧,以及許多高畫質處理上。

具體來說,是什麼樣的高畫質處理呢?

井上:簡單來說就是更加提升超解析的精準度。Sony 的研發部門一直在研究超解析技術,這次進入到另一個層級,能對更廣泛的影像提升解析度。

比方說對哪種影像具有效果呢?

井上:我們希望能讓數位電視的影像變得更好。雖然這在技術上非常困難,但透過我們最新的研究成果,成功地將畫質再提升了一個等級。

在這次「XR」的研發時,請問井上先生特別重視的地方?

井上:剛剛我也稍微說明過, 「XR」 跟過去的處理器相比,對於擷取的物件能做到更多事,處理上自由度也更高,可處理各區域的對比、色調、鮮明度。藉此畫質處理可以更加精細,使完成的影像更細膩完美。

具體來說,什麼地方更能感受到差異呢?

井上:對比度、銳利度、色彩飽和度等所有部分比起過去機型都有很大的不同,而差異最大的應該是 HDR 的表現。其實這是過去高畫質影像處理器難以處理的部分,而「XR」對 HDR 的訊號處理能力又再更上一層樓。在 HDR 能發揮效果的場景中,觀眾應該能感受到更強的震撼力。

03
XR Sound


認知智慧處理器 「XR」
更有臨場感的音效

聽說認知智慧處理器 「XR」 之所以能作為次世代嶄新的處理器,其中一個原因是因為可以處理"音訊"。可以請您和我們分享這背後的故事嗎?

増田:至今的 BRAVIA 在處理聲音訊號時,大多都是在電視內的 SoC (System on a Chip) 上處理,但伴隨 Android TV 的高性能化、多功能化,處理量也隨之大增,難以再繼續增加音訊的處理。所以我們這次改變想法,因為 「XR」 有極大的處理能力,那就讓 「XR」 進行高音質處理。如此一來, Sony 一直以來追求的高音質訊號處理便得以實現。

具體來說,您們成功做到了什麼呢?

増田:這說來可能只有熟悉音響器材的人可能比較了解,在將高音質處理交給 「XR」 後,便能以浮點數 (32bit-float) 處理訊號。因為過去使用定點數時,處理訊號時若發生音量超出的狀況就會破音,因此必須視狀況降低動態範圍,也就是必須容許壓縮訊號。與定點數相比,浮點數沒有如此限制,可以處理更龐大的資訊。如此一來,即便處理過程中有再大的音量都不會影響音質,且能隨意進行訊號處理。

使用浮點數做到不需犧牲音質的訊號處理,近年來也受到許多音響迷注目。這個方式具體能得到什麼效果呢?可否用一般人也能理解的方式說明一下呢?

増田:在處理訊號時音質沒有劣化,就代表聲音能更清晰,尤其更能重現較小的聲音。具體來說在播放古典音樂時能有更好的效果。希望各位使用者能夠仔細聆聽當音量從小瞬間轉為大聲時的差異。另外在播放電影、電視劇時,由於能忠實重現人聲細微的抑揚頓挫,更提升了臨場感。這次 BRAVIA 實現這些部分,都得歸功於具有高性能、可使用浮點數的「XR」。

原來如此,將高音質處理交給 「XR」 有如此優點。但讓人好奇的是電視/顯示器內建揚聲器是否能重現這種高音質呢?

増田:這是當然的,隨著音質的提升,我們也加強了硬體的性能。首先新BRAVIA 揚聲器前半部內建了擴大器,因此能接收浮點數資料,防止音質的劣化。此外當然我們也仔細打造了負責發聲的揚聲器。舉例來說, A90J 系列的「平面聲場技術進階版 Acoustic Surface Audio+」,能夠震動螢幕發出聲音,其中致使螢幕震動的致動器比起過去更大,以達到更高的音質。所以就算只用電視/顯示器,也能享受 「XR」 帶來的高音質。

此外,新BRAVIA在音質上還有什麼特別的進化嗎?

増田:我們新增了「3D 環繞音場音質提升」這個功能。至今的 BRAVIA 是使用「S-Force 前置環繞音場」技術重現環繞音場,新型 BRAVIA 增加上方的訊號處理,光是使用內建的喇叭,就能享受到更包覆、更具臨場感的環繞音效。觀賞電影時應該能感受到其強大的效果。

因為新冠肺炎疫情的關係,最近很難前往電影院觀賞電影。家裡的電視/顯示器若能提供高音質讓觀眾享受電影,真是太好了!

増田:沒錯,另外以往 BRAVIA 大受好評的 「Voice Zoom」 功能也有更新。此功能過去能提高擷取之人聲的音量,而搭載了 「XR」 的 BRAVIA 可藉由強化聲音的母音與子音,讓人聲更加清晰。對於聽不太到電視聲音的長者,透過這項技術應該也能更舒適地享受觀影樂趣。而此功能也是透過 「XR」 優異的處理能力才得以實現的。

04


希望能讓使用者說出
「果然畫質就是要 Sony」
也希望使用者能享受
不亞於畫質的高音質

最後,針對搭載的認知智慧處理器 「XR」 的新 BRAVIA,能請兩位再次介紹其優點,給想要購買電視的讀者嗎?

井上: BRAVIA 至今也提供了鮮豔、高對比的高畫質,廣受好評。我能充滿自信地說,搭載了認知智慧處理器 「XR」 的最新機型又更加實現了美麗的高畫質。這想必能讓使用者說「果然畫質就是要買 Sony」,也希望各位能去展售店體驗新 BRAVIA XR 的影像之美。

増田:至今的電視/顯示器在音質上,很難做出明顯差異化。但新型 BRAVIA 強化了高音質、音量、聲壓,相信使用者即便在條件較差的環境下也能感受出差異。希望各位能享受 「XR」 帶來的美麗影像與聲音的絕妙組合。