用于利用觸覺反饋進行對象操控的系統(tǒng)和方法
【專利說明】
[0001] 相關(guān)申請的交叉引用
[0002] 本申請涉及與本申請同一天提交的題為"Sy s t ems and Me tho ds for Haptically-Enabled Interactions with Objects" 的美國專利申請No. 14/577565(代理 卷號No. IMM548(58518-922294))，其全文通過引用結(jié)合于此。
技術(shù)領(lǐng)域
[0003] 本發(fā)明涉及用戶界面設(shè)備的領(lǐng)域。更具體地，本發(fā)明涉及利用觸覺反饋進行的對 象操控。
【背景技術(shù)】
[0004] 人們越來越多地使用基于計算機的系統(tǒng)進行各種日?；?。例如，消費者在進行 購物時可以使用移動設(shè)備(例如，智能電話)來讀取有關(guān)產(chǎn)品的評論或者比較不同店鋪的產(chǎn) 品價格。然而，對于消費者而言，在購物時與移動設(shè)備的小型用戶界面（例如，觸摸屏顯示 器)進行交互從而獲得相關(guān)信息可能是困難且耗時的。因此，需要一種能夠快速且容易地向 用戶提供這樣的信息的有所改進的用戶界面?？赡芷谕褂糜|覺反饋(例如，機械振動）來 改進這樣的用戶界面。

【發(fā)明內(nèi)容】

[0005] 本公開的實施例包括利用觸覺反饋進行的對象操控。在一個實施例中，本公開的 計算設(shè)備可以包括:傳感器，其被配置為檢測與物理對象的用戶交互并且傳送與該用戶交 互相關(guān)聯(lián)的傳感器信號。該計算設(shè)備還可以包括與該傳感器進行通信的處理器，該處理器 被配置為:接收該傳感器信號;基于該傳感器信號確定該物理對象的特性;確定與該特性相 關(guān)聯(lián)的觸覺效果;并且傳送與該觸覺效果相關(guān)聯(lián)的觸覺信號。該計算設(shè)備可以進一步包括 與該處理器進行通信的觸覺輸出設(shè)備，該觸覺輸出設(shè)備被配置為接收該觸覺信號并且輸出 該觸覺效果。
[0006] 在另一個實施例中，本公開的方法可以包括:從傳感器接收傳感器信號，其中，該 傳感器信號和與物理對象的用戶交互相關(guān)聯(lián)。該方法還可以包括基于該傳感器信號確定該 物理對象的特性;并且確定與該特性相關(guān)聯(lián)的觸覺效果。該方法可以進一步包括向觸覺輸 出設(shè)備傳送與該觸覺效果相關(guān)聯(lián)的觸覺信號，其中該觸覺輸出設(shè)備被配置為接收該觸覺信 號并且輸出該觸覺效果。又一個實施例包括一種用于實施這樣的方法的計算機可讀介質(zhì)。
[0007] 這些說明性實施例被提及并非是為了限制或定義本主題的范圍，而是提供示例以 幫助其理解。另外的實施例在【具體實施方式】中被討論，并且在那里提供進一步的描述。各個 實施例所提供的優(yōu)勢可以通過對該說明書進行驗證和/或通過實踐所請求保護主題的一個 或多個實施例而進一步被理解。
【附圖說明】
[0008] 在本說明書的其余部分更為具體地給出完整且有效的公開。本說明書對以下附圖 加以參考。
[0009] 圖1是示出根據(jù)一個實施例的用于利用觸覺反饋進行對象操控的系統(tǒng)的框圖；
[0010] 圖2是示出根據(jù)另一個實施例的用于利用觸覺反饋進行對象操控的系統(tǒng)的另一個 框圖；
[0011] 圖3示出了用于利用觸覺反饋進行對象操控的系統(tǒng)的一個實施例；
[0012] 圖4示出了用于利用觸覺反饋進行對象操控的系統(tǒng)的另一個實施例；
[0013] 圖5A示出了用于利用觸覺反饋進行對象操控的系統(tǒng)的又一個實施例；
[0014]圖5B示出了用于利用觸覺反饋進行對象操控的系統(tǒng)的再一個實施例；
[0015]圖6示出了用于利用觸覺反饋進行對象操控的系統(tǒng)的另一個實施例；
[0016] 圖7示出了用于利用觸覺反饋進行對象操控的系統(tǒng)的又一個實施例；
[0017] 圖8示出了用于利用觸覺反饋進行對象操控的系統(tǒng)的再一個實施例；以及
[0018] 圖9是根據(jù)另一個實施例的執(zhí)行用于利用觸覺反饋提供對象操控的方法的步驟的 流程圖。
【具體實施方式】
[0019] 現(xiàn)在將詳細參考各種各樣的且可替換的說明性實施例以及附圖。每個示例通過解 釋的方式被提供，而并非作為限制。對于本領(lǐng)域技術(shù)人員將會顯而易見的是，可以做出修改 和變化。例如，作為一個實施例的一部分所圖示或描述的特征可以在另一個實施例中被使 用從而形成更進一步的實施例。因此，本公開意在包括落入所附權(quán)利要求及其等同形式的 范圍之內(nèi)的修改和變化。
[0020] 利用觸覺反饋進行對象操控的說明性示例
[0021] 本公開的一個說明性實施例包括一種計算設(shè)備。該計算設(shè)備包括經(jīng)由總線耦合至 存儲器的處理器。在該說明性實施例中，該計算設(shè)備被配置為由用戶所佩戴。例如，該計算 設(shè)備可以包括被配置為佩戴于用戶手指上的指環(huán)。
[0022]在說明性實施例中，該計算設(shè)備包括被配置為檢測與對象的用戶交互并且向處理 器傳送傳感器信號的傳感器。如這里所使用的，對象是用戶可能能夠與之進行交互的任何 東西(例如，真實的或虛擬的）。例如，在逛雜貨店時，用戶可能觸碰到奶瓶。計算設(shè)備可以經(jīng) 由傳感器檢測到用戶觸碰到了奶瓶。在該說明性實施例中，該計算設(shè)備基于該傳感器信號 確定與該對象相關(guān)聯(lián)的特性。例如，該計算設(shè)備可以確定該奶品的品牌并且與一個或多個 服務(wù)器進行通信(例如，經(jīng)由互聯(lián)網(wǎng)）以確定該奶品的成分。另外，在該說明性實施例中，該 計算設(shè)備確定與對象相關(guān)聯(lián)的特性是否與標準相匹配。例如，用戶可能對大豆過敏。該用戶 可能已經(jīng)將該過敏信息輸入到計算設(shè)備之中。該計算設(shè)備可以分析該奶品的成分以確定該 奶品是否含有大豆。在該說明性實施例中，如果該特性與該標準匹配，則該計算設(shè)備經(jīng)由觸 覺輸出設(shè)備輸出觸覺效果。例如，如果該奶品的成分包括大豆，則該計算設(shè)備可以輸出例如 沖擊感的觸覺效果。這可以幫助用戶做出健康的購買決策。
[0023]作為另一個示例，用戶可能正在折扣服裝店尋找劃算的東西。該折扣服裝店可能 有一箱全部混雜在一起的打折衣服。該用戶可以將其上衣尺碼輸入到計算設(shè)備中。在該說 明性實施例中，當用戶將其手部移動經(jīng)過混合衣服的箱子，該計算設(shè)備確定用戶所接觸到 的每件衣服的條形碼(或RFID碼）。該計算設(shè)備進一步與（例如，與該店鋪相關(guān)聯(lián)的）服務(wù)器 進行通信以基于該條形碼(或RFID碼）確定每件衣服的尺碼。在該說明性實施例中，如果一 件衣服的尺碼符合用戶的上衣尺碼，則該計算設(shè)備可以輸出例如短促振動的觸覺效果。這 可以幫助用戶快速且容易地分揀大量的產(chǎn)品。
[0024] 另一個說明性實施例包括被配置為檢測與對象的用戶交互的計算設(shè)備。該計算設(shè) 備隨后確定諸如與該對象相關(guān)聯(lián)的品牌、制造商、分銷商和/或生產(chǎn)商之類的信息。另外，在 該說明性實施例中，該計算設(shè)備經(jīng)由觸覺輸出設(shè)備輸出與該信息相關(guān)聯(lián)的觸覺效果。
[0025] 例如，制造商可以將獨特的一個觸覺效果或一系列觸覺效果與該制造商的公司相 關(guān)聯(lián)。這些獨特的觸覺效果可以被稱作"觸覺品牌(haptic brand)"。例如，公司A可以具有 包括對應于代碼中的單詞"fun"的一系列振動的觸覺品牌，上述代碼的例子包括Morse代碼 或另一種代碼。作為另一個示例，公司A可以具有包括三個振動脈沖的觸覺品牌，其中每個 后續(xù)脈沖具有比之前脈沖更大的振幅。這樣的觸覺品牌可以向用戶傳遞樂趣和刺激。作為 又一個示例，公司A可以具有與音頻或視覺品牌推廣相關(guān)聯(lián)的觸覺品牌。在一個這樣的實施 例中，公司A可以具有與該公司的音頻叮當聲相關(guān)聯(lián)的觸覺品牌。例如，該觸覺品牌可以包 括具有與該音頻叮當聲中的音符相關(guān)聯(lián)的幅度和/或頻率。制造商可以基于該制造商的目 標市場、特定產(chǎn)品的目標市場、用戶對觸覺效果的感知(例如，該觸覺效果被感知為有意思 的、嚴肅的、痛苦的還是令人滿足的)和/或其它標準來決定觸覺品牌。
[0026] 在該說明性實施例中，該計算設(shè)備基于與對象的用戶交互而輸出觸覺品牌。例如， 用戶可能正在購買新的移動設(shè)備。該用戶可以拿起由公司A制造的智能電話的盒子。在該說 明性實施例中，該計算設(shè)備確定用戶拿起了由公司A所制造的對象。該計算設(shè)備可以確定 (例如，通過查閱查找表或者經(jīng)由互聯(lián)網(wǎng)查詢服務(wù)器)包括對應于Morse代碼中的單詞"fun" 的振動的觸覺效果。在該說明性實施例中，該計算設(shè)備隨后輸出該觸覺效果。即使用戶并沒 有在視覺上注視該產(chǎn)品，這也可以允許用戶確定該智能電話的制造商是公司A。觸覺品牌可 能是有效的營銷工具，因為其可以允許用戶即使在其并未在視覺上注視產(chǎn)品的情況下也能 夠識別出該產(chǎn)品。其還能夠?qū)ⅹ毺氐牡奈锢斫换ヅc品牌相關(guān)聯(lián)，這能夠幫助區(qū)分品牌并且 為用戶提供更為沉浸式的營銷體驗。
[0027]以上的說明性實施例的描述僅是作為示例而提供。這里描述了本發(fā)明的各種其它 實施例并且這些實施例的變化將被本領(lǐng)域技術(shù)人員所理解。各個實施例所提供的優(yōu)勢可以 通過對本說明書進行驗證和/或通過實踐所請求保護主題的一個或多個實施例而進一步被 理解。
[0028] 用于利用觸覺反饋進行對象操控的說明性系統(tǒng)
[0029] 圖1是根據(jù)一個實施例的用于利用觸覺反饋進行對象操控的系統(tǒng)的框圖。在一些 實施例中，計算設(shè)備101可以包括可握持設(shè)備(例如，智能電話、平板電腦、電子閱讀器和/或 便攜式游戲設(shè)備）。在其它實施例中，計算設(shè)備101可以包括可佩戴設(shè)備(例如，指環(huán)、鞋、臂 帶、袖套、夾克、眼鏡、手套、手表、腕帶、手鐲、衣著類物品、帽子、頭帶和/或珠寶）。
[0030] 在一些實施例中，計算設(shè)備101的部件（例如，處理器202、網(wǎng)絡(luò)110、交互傳感器 132、傳感器130等)可以被集成到單個外殼之中。在其它實施例中，該部件可以是分布式的 (例如，處于多個外殼或位置)并且互相進行電通信。計算設(shè)備101可以包括或可以不包括圖 1中所描繪的所有部件。例如，在一些實施例中，計算設(shè)備101可以包括處理器102、總線106、 存儲器104、網(wǎng)絡(luò)110和觸覺輸出設(shè)備118。
[0031] 計算設(shè)備101包括經(jīng)由總線106與其它硬件進行對接的處理器102。能夠包括諸如 RAM、ROM、EEPR0M等的任意適當?shù)挠行?和非暫時性的)計算機可讀介質(zhì)的存儲器104可以具 體實現(xiàn)程序成分，后者對計算設(shè)備101的操作進行配置。在一些實施例中，計算設(shè)備101可以 進一步包括一個或多個網(wǎng)絡(luò)接口設(shè)備110、輸入/輸出（I /〇)接口部件112和附加存儲114。
[0032] 網(wǎng)絡(luò)接口設(shè)備110可以表示一個或多個能夠促成網(wǎng)絡(luò)連接或者以其它方式促成設(shè) 備之間的通信的任意部件。示例包括但并不局限于諸如以太網(wǎng)、USB、IEEE 1394的有線接 口，和/或諸如IEEE 802.11、藍牙、近場通信(NFC)接口、RFID接口或者用于訪問蜂窩電話網(wǎng) 絡(luò)的無線電接口（例如，用于訪問CDMA、GSM、UMTS或其它移動通信網(wǎng)絡(luò)的收發(fā)器/天線)之類 的無線接口。
[0033] I/O部件112可以被用來促成與諸如一個或多個顯示器、觸摸敏感表面116、鍵盤、 鼠標、揚聲器、麥克風、按鈕和/或用來輸入數(shù)據(jù)或輸出數(shù)據(jù)的其它硬件的設(shè)備的連接。存儲 114表示非易失性存儲，諸如計算機設(shè)備101中所包括或者耦合至處理器102的只讀存儲器、 閃存、鐵電RAM(F-RAM)、磁性、光學或其它存儲介質(zhì)。
[0034]計算設(shè)備101可以包括觸摸敏感表面116。觸摸敏感表面116表示被配置為感應用 戶的觸覺輸入的任意表面。一個或多個觸摸傳感器108被配置為檢測觸摸區(qū)域中的觸摸(例 如，在對象與觸摸敏感表面116相接觸時），并且向處理器102傳送與該觸摸相關(guān)聯(lián)的信號。 可以使用觸摸傳感器108的任意適當?shù)臄?shù)量、類型或部署形式。例如，電阻和/或電容傳感器 可以被嵌入在觸摸敏感表面116中并且被用來確定觸摸的位置以及其它信息，諸如壓力、速 度和/或方向。作為另一個示例，可以使用具有觸摸敏感表面116的視圖的光學傳感器來確 定觸摸位置。如又一個示例，觸摸敏感表面116可以包括安裝在顯示器一側(cè)上的LED(發(fā)光二 極管)手指檢測器。在一些實施例中，觸摸傳感器108可以被配置為檢測用戶交互的多個方 面。例如，觸摸傳感器108可以檢測用戶交互的速度和壓力，并且將該信息整合到向處理器 102傳送的信號之中。
[0035]在一些實施例中，計算設(shè)備101包括支持觸摸的顯示器，其組合了該設(shè)備的觸摸敏 感表面116和顯示器。觸摸敏感表面116可以對應于顯示器外部或者顯示器的部件上方的一 層或多層材料。在其它實施例中，根據(jù)計算設(shè)備101的特定配置，觸摸敏感表面116可以不包 括(或者以其它方式對應于)顯示器。
[0036]在一些實施例中，計算設(shè)備101包括交互傳感器132。交互傳感器132被配置為檢測 用戶（例如，使用手指、腳、手、手臂、頭、腿或其它身體部分）與計算設(shè)備101和/或?qū)ο螅ɡ?如，店鋪貨架上的產(chǎn)品）的交互。在一些實施例中，該用戶交互可以包括觸碰該對象，在真實 空間中做出姿勢(gesture)，使用對象做出姿勢(例如，拿起該對象并且將其在真實空間中 進行移動），和/或在對象上做出姿勢（例如，將手指劃過對象表面）。交互傳感器132進一步 被配置為向處理器102傳送與該交互相關(guān)聯(lián)的傳感器信號。交互傳感器132可以包括加速度 計、陀螺儀、相機、射頻識別(RFID)標簽或讀取器、室內(nèi)接近度系統(tǒng)、NFC通信設(shè)備、全球定位 系統(tǒng)(GPS)設(shè)備、磁力計、超聲換能器、無線接口（例如，IEEE 802.11或藍牙接口）、紅外傳感 器、深度傳感器和/或范圍傳感器。
[0037]例如，在一個實施例中，交互傳感器132包括無線接口，該無線接口被配置為檢測 對象所發(fā)射的無線信號的強度。交互傳感器132可以向處理器102傳送與該無線信號強度相 關(guān)聯(lián)的傳感器信號?；谠摕o線信號強度，處理器102可以確定例如計算設(shè)備101是否處于 與對象的預定距離之內(nèi)。如果是，則處理器102可以確定發(fā)生了交互(例如，進入對象的預定 距離之內(nèi)）。
[0038]在另一個實施例中，交互傳感器132包括朝向?qū)ο蟮南鄼C。用戶可以在該對象附近 的空中（例如，利用身體部分，諸如手指、手、手臂、腳、頭或腿)做出姿勢（例如，復選標記標 志）。交互傳感器132可以捕捉到與該姿勢相關(guān)聯(lián)的圖像并且向處理器102傳送傳感器信號。 基于該傳感器信號，處理器102可以確定發(fā)生了用戶交互。處理器102可以進一步分析該傳 感器信號以確定所發(fā)生的姿勢的具體類型。例如，處理器102可以分析該傳感器信號并且確 定用戶利用手指在空中做出了復選標記。
[0039]在一些實施例中，交互傳感器132處于計算設(shè)備101之外并且與計算設(shè)備101進行 有線或無線通信。例如，交互傳感器132可以包括與可佩戴設(shè)備(例如，眼鏡或領(lǐng)帶)相關(guān)聯(lián) 并且與計算設(shè)備101進行通信的相機。作為另一個示例，交互傳感器132可以包括位于計算 設(shè)備101之外(例如，處于店鋪貨架上)并且與計算設(shè)備101進行通信的3D成像系統(tǒng)(例如，一 般以商標Microsoft Kinect ?進行銷售的3D成像系統(tǒng))或基于LED的追蹤系統(tǒng)。
[0040] 計算設(shè)備101可以進一步包括一個或多個附加傳感器130。（一個或多個)傳感器 130被配置為向處理器102傳送傳感器信號。在一些實施例中，傳感器130可以包括如濕度傳 感器、環(huán)境光線傳感器、陀螺儀、GPS單元、加速度計、范圍傳感器、深度傳感器、生物傳感器、 相機或溫度傳感器。在一些實施例中，傳感器130可以處于計算設(shè)備101外部并且與計算設(shè) 備101進行有線或無線通信。例如，傳感器130可以包括耦合至可佩戴設(shè)備(例如，指環(huán)或腕 帶）的生物傳感器。該生物傳感器可以被配置為向計算設(shè)備101無線傳送傳感器信號，該計 算設(shè)備例如可能位于用戶的口袋之中。
[0041] 在一些實施例中，計算設(shè)備101包括與處理器102進行通信的觸覺輸出設(shè)備118。觸 覺輸出設(shè)備118被配置為響應于觸覺信號而輸出觸覺效果。在一些實施例中，觸覺輸出設(shè)備 118被配置為輸出包括振動、所感知摩擦系數(shù)的變化、模仿紋理、溫度變化、劃動感、電觸覺 效果或表面形變(例如，與計算設(shè)備101相關(guān)聯(lián)的表面的形變）的觸覺效果。另外，一些觸覺 效果可以依次和/或共同使用相同或不同類型的多個觸覺輸出設(shè)備118。雖然圖1中示出了 單個觸覺輸出設(shè)備118,但是實施例可以使用相同或不同類型的多個觸覺輸出設(shè)備118以產(chǎn) 生觸覺效果。
[0042] 在一些實施例中，觸覺輸出設(shè)備118處于計算設(shè)備101之外并且與計算設(shè)備101進 行通信(例如，經(jīng)由于諸如以太網(wǎng)、USB、IEEE 1394的有線接口和/或諸如IEEE 802.11、藍牙 或無線電接口的無線接口）。例如，觸覺輸出設(shè)備118可以與可佩戴設(shè)備相關(guān)聯(lián)(例如，與之 耦合)并且被配置為從處理器102接收觸覺信號。
[0043] 在一些實施例中，觸覺輸出設(shè)備118被配置為輸出包括振動的觸覺效果。觸覺輸出 設(shè)備118可以包括例如一個或多個壓電致動器、電動機、電磁致動器、聲音線圈、形狀記憶合 金、電活性