近年來擴增實境的應用與研究像雨後春筍般湧現,國內外已廣泛應用於教育、遊戲與廣告等。在以往的擴增實境系統中,標記僅提供追蹤及辨識之用,它們並不包含其他資訊。因此任何標記與標記相對應的虛擬物件都必須預先註冊於系統中以供系統執行時使用。目前常見的擴增實境系統與研究大部分更以自行設計的標記作為辨識對象,它們並非通用的標記或條碼,在使用上有其侷限性,難以藉此開發出多樣與新奇的應用。
QR Code為一廣泛使用之二維條碼並擁有高容量等優勢,因此若將其結合擴增實境技術必能應用至許多層面。在本研究中,我們結合了QR Code與擴增實境兩樣技術,除了開發以QR Code為擴增實境標記的追蹤與辨識技術外,也透過國內外研究的分析,設計一個多用途的擴增實境架構。本架構不僅限於單一QR Code的使用,尚考量到多重QR Code的擴增實境應用。當使用者以行動裝置拍攝數個QR Code時,系統可以正確解析主要顯示用的QR Code之內容,並下載後視覺化呈現虛擬物件。其他的QR Code能個別顯示次要的內容,並整合至主要顯示物件。除此之外,QR Code亦可作控制之用,例如可用來操控虛擬物件的大小、顏色或是材質貼圖等。本多用途擴增實境架構另一個主要目的是希望讓不同內容提供者藉由本架構能互相整合各自的數位內容,而不需彼此間技術上之磨合。此舉能讓內容提供者只需專注於內容的設計不需擔心技術問題,進而開發出更多有趣的應用。

The field of Augmented Reality (AR) has grown and progressed remarkably in recent years and many useful AR applications have been developed focusing on different areas such as game, education and advertisement. However, most of these AR systems are designed for closed applications with particular markers, limited number of users and restricted digital contents. Hence, they are inappropriate for public environment with diverse digital contents. 
In this work we aim at developing a comprehensive framework that can integrate 3D contents from different providers into an AR demonstration. The main purpose of this framework is that we want to separate content providers from sophisticated AR technology so that they only need focusing on content creation and getting rid of the technology issues of setting up an AR system. We expect that with this system different contents can be integrated seamlessly in the AR system even the content providers do not know what the other contents to be integrated are. To achieve this goal, all the control information required for AR joint demonstration must be defined and embedded in the marker. In our system, we use a universal 2D barcode, the QR Code, as our AR marker as its information capacity is sufficient large to afford our application and is widely used in many countries. Besides, QR Code has many advantages that familiar AR marker do not have for public applications. Thus, based on this framework many useful and interesting AR applications can be developed in the areas of commerce, industry and many others.

 

這邊很容易導致誤解,我們要做的事不是單純以PR(圖形辨識)的方式將QR Code作為AR Marker而已。若是這樣,當有一個新的QR Code要讓系統辨識時,還是必須預先將該新的QR Code的pattern註冊於資料庫中,程式才會認得。而在本研究中,是追蹤QR Code的三個Alignment Pattern,以定位出三個alignment pattern組成的QR Code,接著解析QR Code所蘊藏之資訊,以該資訊儲存的是Model的網址為例,系統便可下載該Model,最後依照QR Code Pattern的三維資訊將Model繪製於QR Code上方。這樣做的好處簡單來說在於:

1. Model隨時可遠端更改或置換(因為存在網路上)

2. 通用性高(QR Code為二維條碼中相當流行的一種,而目前AR系統絕大部分使用stand-alone的Marker,要普及應用有他的難度存在。另外,通用性高的好處在於,即使是十年前就已經印製的QR Code,只要提供者仍然能管理該QR Code中記錄的網路位址,並在該位址放上數位內容或Model,系統便可接受並正確呈現AR內容)

3. QR Code有容錯率(即使有部分污損仍可成功辨識)與高儲存空間的彈性(當然, 儲存資訊越多 pattern面積越大, 容易導致讀取失敗)

4. 傳統Marker-based AR需要預先在系統資料庫中註冊哪一個AR Marker出現時要呈現哪個model。而當資料庫中記載許多marker與marker相對應之model時,當系統需要逐一辨識marker是否記錄於資料庫中,可能產生之效率問題。再者,同一marker在不同的電腦中,可能會呈現出不相同的model或數位內容(ex. A電腦將印有Hiro字樣的marker對應車子的model,但B電腦卻是將印有Hiro字樣的marker對應房子的model,此時拿同一marker在不同電腦將會有不同的結果),這將限制了該系統僅能於封閉系統中使用。

 


[Image]

約於今年(2010)初日本有一建築,mapping QR Code pattern 於大樓的外牆作為廣告的手法。當使用者以行動裝置拍攝這個QR Code時,可以即時看見該棟建築內的人員所發出的twitter訊息。

個人認為這類型應用對於房地產、建商或許是非常有宣傳效果的,當一個新的建築物需要三五年才會蓋好,那麼廠商能放置一個大型的QR Code於工地旁,使用者便能在還沒蓋好的幾年間,透過手機拍攝QR Code查看房子蓋好後之情景。

 


 

加拿大(?)學者Fiala(2007)也有將model置放於網路上的想法,且該系統選擇使用ID-based的AR marker,原因在於可以有效減少圖形比對所花的系統效能,但該系統仍然使用stand-alone的方式。而筆者在研一(2007)時,對於將通用條碼QR Code作為AR marker之用的想法有所成形,但實際開始Run(2008)並寫成論文(2009)則是進展緩慢。進度遲緩的原因很多(東摸西摸..怪自己),但因為QR Code的彈性很大,所以後續發展的可能性還很多。而做到行動裝置上,更能配合Location-based的技術,將有更多應用。

以下為筆者於研究所期間與指導教授一同撰寫的poster,有興趣的可參考之:

Applying QR code in augmented reality applications
A framework for multifunctional Augmented Reality based on 2D barcodes

 

 


創作者介紹

DKBLOG

DK 發表在 痞客邦 PIXNET 留言(12) 人氣()


留言列表 (12)

發表留言
  • gw
  • 利用QR CODE內嵌3D模型的網址然後用AR呈現 三點定位的技術 在09年的這個時候修人機介面課有實做過prototype 其實這個有paper可以參考 http://portal.acm.org/citation.cfm?id=1670252.1670305
  • Hi您好 :-)
    您給的連結是小弟08年開始做的研究09年投稿的論文,其實聽您上面這麼說實在有點受寵若驚。
    可以談談貴校與系所嗎?是在HCI課程上討論這篇然後實作得嗎?

    DK 於 2010/10/18 09:50 回覆

  • 悄悄話
  • lee
  • 我的網誌其實有較為深入的分析,也了解您的想法是利用QR CODE直接做對應,我所謂1對1的說法是指其他關於QR code轉換ar marker的做法,基本上我是完全認同您可遠端置換"素材"的做法 (詳請看我的網誌)


    但是
    有幾個問題

    1.目前QR code最主要的精神在於對應網址,且也已經被全球大量的採用,若依照您的研究想法,要如何將model放到這許多已經對應好的網站伺服器上呢?實務上可行嗎?或當然如果是在您自己伺服器上置放model並將每個網頁對應QR code如此是可行的,可是若是如此,就失去QR code開放大量採用的原意

    2.就我所知QR code並無法做到"同時"辨識多個圖碼(本來就不需要,因為QR code的設計並不是為了要做ar的使用),但我也承認我對QR code並沒有特別深入研究,僅只是一般的使用者的了解程度,也許是我對QR code的了解並不夠深入,若有錯誤也請再提出

    目前,對於物聯網的定義,確實如您所提到的,但是我的想法基本上並非"現有"的物聯網架構,我個人認為,真正有價值的物聯網,應該是"萬物物聯網"而不是僅只限於家電產品或公共建設,若是這些,那大概10年前技術早可做到,目前全球也都已有許多實際成功案例可供參考,我們大可不必再多浪費唇舌討論

    這裡有一個影片是幾年前的東西了,應該大家都看過,我對物聯網的想法,比較接近這個影片的內容

    http://www.youtube.com/watch?v=qC3H3JOtvSs

    另外
    您提到vision-based只能做小區域的監控,
    我個人並不認同, (但是並不代表我自認就是對的,我會再多思考,多了解您的想法)
    我認為vision的延伸是非常容易做到的
    舉例來說,現在,在我的電腦上就可以即時看到住在歐洲的朋友書桌上的物件
    並且進行"remote control"或"communication"

    這其實也是vision based的技術


    另外
    我想再藉這個機會多討論一些關於 "物聯網" 的想法

    我個人的想法,
    物聯網
    最重要的應該是

    要串起"萬物",

    而要串聯萬物,
    首先第一步當然是要先"辨認區別"萬物
    ......
    然而
    人類在真實世界中
    是以何種方式來辨別萬物?
    絕大部分,都是vision based

    RFID的應用非常重要
    也非常廣泛
    但我想請問,
    如果今天有5瓶不同的飲料放在超商的貨架上
    RFID是否可以協助我分辨第一瓶與第四瓶飲料的差別?
    RFID是否可以協助我分辨第三瓶已傾倒?
    上述二個簡單的動作
    二歲的人類透過vision based就能輕易分辨


    近期,網路上
    國外文獻已有極大量關於
    "物聯網" 與 "擴增實境" 的未來發展可能性
    有興趣的人不妨可以查閱



    其實
    要特別感謝您對相關議題的討論
    我的發言並不是針對您,更不是在指出您任何問題
    反而是在回應您所提出的討論
    (說真的,我還真希望有一堆網友到我的網誌
    針對"擴增實境"
    提出他們自己的見解,提供我更多可以思考的空間,只要不是不理性的,不是對人不對事的...)

    畢竟網路文章是大家都可以看到的
    我很希望能透過
    完全理性的討論與交流,讓網友們有更多元的想法

    也許
    經過大家的討論與交流
    最後證明我的想法是錯誤的,不可行的
    fine! 那很好, 不是嗎?

  • 簡單回覆您的兩個問題:
    第一,如何在掃瞄到QR Code後對應到Digital content的位址,且需要考量到如何保有QR Code的一般性(即一般QR Code Reader仍能正常讀取該QR Code)。這個部分就需要一個架構來規劃,實作方式很多種,冗長篇幅就不贅述(事實上在本文cited的第二篇論文有提到),而我們與中研院的合作案例中(日後會整理於此Blog),便有些微放入此概念,以確保QR Code使用上的一般性。
    第二,QR Code原始設計裡面確實是針對single pattern的使用為出發點。但使用習慣與方式是會因應科技進步與人類需求而進化的,不是嗎?就如同我還小時,使用人生第一台Macintosh與286,我也不曾想到過這世界有需要Dual Core CPU。是否需要multi QR Code還很難說,或許以後會出現一個驚人的encoding方式,可以有效辨識又能容納更多資訊,那麼QR Code就勢必要被淘汰了。反之,就有必要使用到multi QR Code。

    您貼的MIT的研究,有在碰觸UI或AR的大家想必耳熟能詳,但我個人認為那個不是Internet of things與AR結合的最終目標,只能算是小小過渡方式。如果大家有注意2009年的IEEE生醫科技研討會上一個驚人的研究,就知道在下想表達的是什麼,在此便不贅述。

    另外您提到了Vision-based與五瓶飲料的舉例,小弟倒有不同的想法,當今天template database裡面只有五筆飲料的資料,那麼vision-based找到這是哪一瓶將會非常的有效率。但這世界上絕對不會只有五種飲料包裝。有五萬種?五十萬種?在下不清楚,但我保證數量一多,用RFID的unique ID去查表一定比vision-based的pattern recognition 來得快上許多(另一個議題是,為何我身上需要多帶一些physical object來做vison-based辨識?)。飲料罐包裝一物已如此,更遑論"萬物"。但第幾罐飲料有傾倒,那vision-based方式似乎又與sensor方式來得"節省成本"。這個故事告訴我們,完美、人性、最終的Internet of things絕對不會脫離sensors與computer vision甚至是其他技術的互相搭配,對吧?

    歡迎討論擴增實境之技術、應用與相關案例討論。但本Blog目前並不希望有任何訪客留下連結或成為商業公司的跳板。所以很不好意思,若您留下網址的部分,與宇X數位等有關之連結、留言將會被移除,在下對本人的龜毛表示抱歉。

    DK 於 2011/02/05 18:48 回覆

  • lee
  • 呵呵
    您還真有意思
    我不會做廣告的啦
    我的團隊確實是有參與一家公司(也不是你指的那家)
    但我在此純粹只想多討論與交流關於擴增實境的知識
    其實我後面在此的留言就都沒有放網址了,
    最開始放的網址也是我自己的部落格,完全沒有廣告嫌疑呀
    原本部落格是有寫我的真實姓名,
    也怕被誤會做廣告,昨天就乾脆也把名字拿掉了
    這樣您應該相信我沒要做廣告了

    若我寫這麼多想法....竟然只是要 "做廣告"
    那格局真未免太小了............
    我相信您的格局也不僅只如此啊


    您對於QR code與AR marker的相關討論
    應該會對有心從事相關研究的人很有幫助
    大家要多謝謝您

    也期盼其他有心研究擴增實境的朋友盡可能的提出想法和成果
    不用擔心錯誤或做得不好,
    像我就常常做錯,做得不好,但只要持續下苦功,總會走出一條自己的路


    有幾點想再多請教一下

    1.所以就我目前所初步了解的,您的這套系統,是先以QR code辨識連結,再以您設計的系統打開網路上的VRML或其他格式檔案(可以影音嗎?),然後把這個結果定位在QR code上

    2.您的系統是以ARToolKit改寫的嗎? (若是在台灣商業使用,可能要付我同學授權費喔..呵呵,開玩笑的啦~~),嚴謹一點講,程式開發好像都還是有clean room的限制,不容易躲過,但若有先談好合作協議,則是很好的做法,相信ARToolKit公司也會積極參與此計畫

    3.QR code的智慧財產權問題,是否能解決?他們似乎並沒有公開承諾可以做"非其指定"的商業性用途,若這部分已經確認沒問題,也有書面協議,那將是非常完整的做法,甚至您的這個計畫將會是跨國性的,將來會很有"價值";但我仍然還是有點擔心,我個人猜測:以QR code原創公司的長遠規劃而言,絕對會納入自行開發AR應用這一塊,他們要在日本找這方面人才根本易如反掌....實在不太可能讓給外面的人來做,但這僅是我的大膽猜測,也許猜錯了也說不定



    另外
    對您所提出的問題
    我則說明如下:

    1.分辨5瓶飲料,甚至5萬瓶飲料,對我們而言是100%可行的,我們已經完成您所提到的AR ID表(沒錯,我們已經完成了),現在就馬上可以做到

    2.我們的AR ID表,還可擴充 262144 * 512 =134,217,728 (必要的話也可以再擴充), 不過,其實只要"分類得宜",262144個ID很夠用了

    3.這也是我之所以提出物聯網 + 擴增實境可行最關鍵的基礎



    另外
    我們也具備

    1.擁有100%自主合法授權,無需與ARTOOLKIT或QRCODE公司洽商

    2.一般大眾只要上傳AR素材,並指定好AR ID就可以發布並被全世界使用

    3.當然也可以像QR CODE一樣做網頁連結

    4.同一套系統可以跨平台,PC,MAC,平板電腦都可用,不用另外編製

    5.我們的AR製作工具,很容易操作,只要很短時間就可以學會


    額外說明: 其實我們近期就曾與某家本土大型食品企業提出上述"物聯網"架構.也已經協助規劃 "會員擴增實境"的想法,會員可以取得自己的AR ID,並且對應其個人上傳的AR素材或這家公司內部極大量的產品線ID,如此,後續的附加價值將非常高,之後我都會將相關資料再PO到我的部落格,歡迎隨時來一起研究討論


    我要特別說明

    這並不是做廣告

    是希望能提出我們已經具備的特點 (就像您或其他團隊也會提到自己的特點,成果一樣)
    如此
    才方便與其他研究團隊合作
    其實我們的研究方向與您的方向並不相同
    是不會對您造成負面影響的
    反而希望能有合作的機會

    事實上
    我自己評估
    在某些手機擴增實境技術的部分,我們就很需要其他的專業一起合作
    或甚至我們現有已經具備的擴增實境技術,都還是很需要找相關專業人士一起參與呀
    像這樣對於其他專業的渴求,對我們而言還真是永無止境的哩

    話說.....
    以上所有的成果
    我都可以提供完整的測試或現場證明
    所以請大家不用懷疑唷

    相關內容
    我也同時放在我自己的部落格上
    有興趣的朋友也可以一起討論
  • 1. Yes
    2. 曾經用過ARToolKit改寫成一個雛型系統,但該系統沒用在商業合作中 :-)
    3. QR Code 詳細的使用限制需參考Denso Wave網站了。不過正如您說,他們公司要自行開發AR這塊絕對是有可能的,若真的這麼做是好事情啊 XD


    大致看了您所提的你們的系統五項優勢,不知道您有沒有參考過Fiala的ARTag與Webtag,前者在2005年已經提出,採用ID-encoded的marker。而後者發明於2007年,為前者的進化版,支援4*10^12個標記數量,一樣與您的系統有著相同的功能,可上傳、指定擴增內容與ID,可做網址連結等,但相較於您們的系統,他們甚至還有標記分層的概念與支援更多的標記數量。我新增的一篇QCAR SDK也跟Webtag與您的系統一樣,但他是完全免費、跨平台開發並實作於Android平台上,且可與正熱門的Unity 3D(遊戲開發工具)結合十分方便。
    以上幾種系統固然十分理想,但就廠商而言,為何還需要透過中介站的概念去管理擴增內容與Marker ID?另一方面,採用particular marker勢必有段陣痛期需要克服,將marker推廣、設計並印刷至包裝等的成本也須納入考量。

    當然,很歡迎良性競爭或分享研究成果,但我個人確實對自己的BLOG要求龜毛了點,針對每個迴響留言我都會盡可能地保持其"乾淨",也由於您之前有在您的網址中有一些商業資訊,因此難免小題大作,還望你多見諒囉!當然您在您自己的網站中的發言我就沒意見囉!給個小建議,或許您可以將貴公司擁有的技術與系統在您的網站中有詳細的影片介紹,相信對您的事業與推廣更有幫助 :-)

    歡迎純粹討論與交換意見,有機會合作當然更好 ^^

    DK 於 2011/02/07 09:51 回覆

  • lee
  • 呵呵
    是的,您說對了
    您上面所提到的ID-encoded進化版
    這就是我們獨家使用的系統 (目前僅有我們取得完整系統及授權)
    手機的部分因為與高通合作,確實是開放的
    也歡迎大家多多投入研究喔!

    不過,因為我們是全台灣最早投入這個系統的研究與使用
    所以手機的部分,我們當然也沒問題

    可是
    話雖如此
    我們並不以此為自滿

    目前還是著重於 "flash" 的系統

    因為我們堅信
    "flash" 才是 "內容製作者" 最熟悉最能掌握的工具,
    c++,java....等對 "內容製作者" 而言是無法掌握的,不能"自由"操作(不能像他們最熟悉的畫筆一樣的自由操作)

    其實看目前市場上的趨勢就知道了,
    許多網頁或"所謂的數位藝術"都是用flash設計,為何?
    因為flash是這些 "設計師" 最熟練的工具,

    而這....也正是我們系統的優勢




    我們使用的系統

    一方面具備ID-encoded的 "大量快速對應" 的優勢

    一方面更具備 "大量內容製作者最快速方便的工具" 的優勢

    (兩者的關鍵,都在於 "大量,快速" ....因為這才是真正成為市場主流的王道)



    這是我初步的想法

    我相信
    "手持式AR"才是AR的最大利基 (但話說回來,pc應該很快地也會手持化了)

    而以FLASH作為核心的"手持式AR"
    才是
    最終極的勝出者

    因為
    FLASH
    對 "內容提供者" 非常容易上手 (也都已經熟練)

    其實看看現在
    視覺傳達設計,多媒體設計...的專業人士
    哪一個不是用FLASH做設計,做內容

    應該沒有一個"設計師"
    是用c或java做設計的吧!
    當然,一定也會有人提出flash效能的問題
    但也正如您之前所言,數位世界正快速進步與轉變,
    "今天的效能問題"...到了明天...可能就根本沒人care了

    以上僅是我的淺見

    我的部落格
    基本上放的都是我團隊的成果
    我目前仍在私立大學擔任小小的助理教教,人微言輕,無足輕重,但至少還算得上是學術人,
    我不太經營產官學界關係
    只相信,錐子夠利就一定會鑽出來,差別只是時間早晚的問題

    技術本位的東西, 本來就該如此

    這些ar的東西....能賺錢嗎?...我一點都不care
    我個人也完全不需要靠這些賺錢

    但就是個人一個興趣
    一個理想
    一個希望

    希望台灣不要再故步自封,
    不要再井底之蛙,
    不要拿低技術的東西充當高技術的成果

    ( 您很內行,很專業,絕對知道我在說甚麼,
    也請不要告訴我說...對於那些公司的那些所謂的"擴增實境",您很服氣 )

    也期待能多與大家交流

  • 李老師您好,有勞您大篇幅的賜教。
    雖然有些論點與看法不盡相同,但似乎對於國內某些公司所謂的擴增實境似乎我兩有相同的看法 :-)

    關於QCAR,我們系上大學部上學期有一些遊戲方面的成果,算是已有許多人在碰這SDK了。希望國內能有闖出國際名聲的應用或是突破。

    對於您提及的Flash是內容提供者的最便利工具,我認為非常對。國內最大宗的無論多媒體設計、數位藝術等領域工具軟體非Flash莫屬。
    但我的看法是,有效的方式應該做到徹底的"專業分工"。意思是,當我們將擴增實境分成"技術"與"內容"兩個層面時,負責設計內容者(內容提供者)不需要去兼顧程式系統如何,所以他能放心的去設計(也不僅限Flash,理應無論是3d model, flash, video clips, plain text, photos and etc)。技術層面則是負責讓整個系統能通吃所有內容,並訂製標記與設計準則,這便是在下其中一篇paper中提倡應該要針對自己的擴增實境系統提出"架構(framework)",以利於推廣與公眾使用。

    歡迎多多交流,感謝賜教

    DK 於 2011/02/07 17:17 回覆

  • lee
  • 呵呵
    您太客氣了
    其實我並不是資訊背景的人
    會切入ar也是因緣際會,在此特別感謝建旭老師和本麟兄喔(俊卿和成瑋,東霖,劍平及我那群寶貝們也都辛苦了)

    非常期待能有更多機會與您交流
    我很多地方需要向您學習(也希望能多向大家學習)

    我常說
    如果,「雲端運算」是電腦的「大腦」
    那麼,「擴增實境」就是電腦的「眼睛」
    (會不會太浪漫了XD)

    擴增實境一定會越來越火紅的!
    值此新春佳節
    祝福 所有做「擴增實境」的大傢伙小傢伙們都能心想事成

    希望有朝一日,大夥山頂一聚,喝杯茶! 呵呵

    也感謝指教
    有空多來我家踩踩
  • 您指得該不會是NCKUID的陳建旭老師吧 @@"

    AR的確很有前景,大家一起努力吧!
    也祝新春佳節快樂,事事如意!

    DK 於 2011/02/07 22:17 回覆

  • 悄悄話
  • 悄悄話
  • 悄悄話
  • 悄悄話
  • 悄悄話
  • 訪客
  • 請問可以使用matlab進行開發嗎?
找更多相關文章與討論