QCCNN量子类神经网路架构

QCCNN量子類神經網路架構蔡賢亮義守大學資訊管理系[e-mail]劉榕軒義守大學資訊管理系[e-mail]摘要到目前為止，已有各式各樣的量子類神經網路模型被提出了。但從研究中，我們發現到多數的模型只是個構想，並沒有提出明確而完整的量子學習法則；只有少數模型有提出量子學習法則，但是我們也發現到這些學習法則是不可行的，因為它們都不能真正的符合量子理論。而從目前已被提出的量子類神經網路的學習法則中，我們發現到DanVentura和TonyMartinez提出的以量子搜尋演算法（quantumsearchalgorithm）為基礎的學習法則是最可行的（在論文中，我們將稱此學習法則為量子搜尋學習法則）；但這個量子學習法則卻仍存在若干個缺陷，使得這個學習演算法仍有改進之處。為了解決量子搜尋學習法則的缺陷，我們提出一個新的量子類神經網路架構，它結合傳統的cascadecorrelation類神經網路（CCNN）的自動建構概念及量子搜尋學習法則，我們稱這個新量子類神經網路架構為量子cascadecorrelation類神經網路（QCCNN:quantumcascadecorrelationneuralnetwork）。這個新的架構不但解決了如何決定量子類神經網路大小的問題，也可以減少量子搜尋學習法則在訓練過程花費的時間及空間。從初步的實驗數據顯示，我們提出的QCCNN及其新學習法則確實更有效率、更可行。關鍵字：cascadecorrelation類神經網路、量子類神經網路、量子搜尋演算法、錯誤嘗試法。壹、引言傳統領域的類神經網路（NN,neuralnetworks）發展也已有一甲子的歲月了，由於它具有若干著越能力，使得類神經網路成為發展最快速的研究領域之一，而且它也已經被大量地應用在相當多的領域上；但就目前的電腦處理架構而言，實際上，我們並未把類神經網路的平行處理特性發揮出來，我們充其量只是在模擬而已，所以目前類神經網路的實際應用結果乃大大地受限於目前電腦技術。而超大型積體電路的發展也接近瓶頸，新的電腦架構（基因電腦、分子電腦及量子電腦等）研發將是勢在必行，而量子電腦（quantumcomputers）便是一個方向。如果量子電腦在未來果真的成為事實，那目前科學界上有若干難解或不可能解的問題都將可能不再是難題了（例如，密碼問題）！另外，量子電腦的量子平行處理能力對於類神經網路也將帶來革命性的突破，因為類神經網路的平行處理特性得以藉由量子平行計算技術而完全發揮。而以量子理論為基礎的類神經網路則稱為量子類神經網路（QNN,quantumneuralnetworks）。到目前為止，已有若干量子類神經網路模型被提出了，但多數模型都沒有提出很明確的方法來訓練它們的量子類神經網路，甚至有些模型根本沒有提及要如何去訓練量子類神經網路。例如，Altaisky在2001年提出的模型中，他曾提到使用類似傳統類神經網路的gradientdescent學習法則來訓練量子類神經網路，然而，這個訓練法則是否符合量子理論呢？我們曉得其答案是否定的。目前已提出的量子類神經網路類似於傳統類神經網路的論述有，其它的模型則與傳統類神經網路差異極大，例如，quantumdot類神經網路。而這些被提出的量子類神經網路模型多數是不實用或跟本無法應用量子技術實做。但對於類神經網路而言，學習法則是它們的主要精髓之一，沒有可行的學習法則，它們便失去學習的能力，所以，量子類神經網路要能實現的話，那量子學習法則也是迫切需要的。而DanVentura和TonyMartinez在2000年首先提出將量子搜尋演算法（quantumsearchalgorithm）應用在量子關連記憶學習上，利用量子搜尋演算法來訓練量子類神經網路。我們發現這是一個確實可行且合乎量子理論的量子學習法則。貳、量子搜尋學習法則傳統類神經網路都是藉由調整權重值來達到學習的目的，但是這種方式似乎是不適用於量子類神經網路；而要訓練量子類神經網路的另一個可行的方法是從所有可能的權重向量集合中，找出一組權重向量能使所有的訓練樣本能被正確地分類。在2000年，DanVentura和TonyMartinez首先提出將量子搜尋演算法（quantumsearchalgorithm）應用在量子關連記憶學習上，利用量子搜尋演算法在量子關連記憶學習上。又在2003年，Ricks和Ventura再次提出利用量子搜尋演算法來訓練量子類神經網路，並且實驗証明其方法的可行性。這也是我們目前發現最可行的量子學習法則。他們利用量子搜尋演算法從所有可能的權重集合中找出一組權重，這組權重需可以成功且正確地分類所有的訓練樣本，而它便是訓練完成後所得到的最後權重。這個作法的基礎想法是利用量子理論的狀態線性疊加（linearsuperposition）的特性，將所有可能的權重向量疊加在一起，然後使用量子搜尋演算法從中尋求得一組權重向量，使得所有的訓練樣本成功地被分類。到目前為止，量子搜尋演算法是少數已被認定為合乎量子計算領域的演算法之一，而以它為基礎的量子搜尋學習法則也完全合乎量子理論，所以，我們認為這個方法是可行的。他們也成功地將量子搜尋學習法則應用在若干的實際問題上，例如，他們已經成功地利用量子搜尋學習法則解決了XOR問題、iris分類問題、lenses分類問題及hayes-roth問題上。而且從實驗的數據上來看，這個學習法則是確實可行的，而且效能也是相當不錯。由這些實驗的數據更證明了量子搜尋學習法則的可行性。一、量子搜尋演算法Grover在1996年提出量子搜尋演算法，它是少數已被認定為合乎量子計算領域的演算法之一。在N個未排序過的資料中搜尋出給定的資料，若以傳統搜尋演算法需要ON次比較，而量子搜尋演算法()ON次比較。Grover的量子搜尋演算法利用一個稱為＂quantumoraclecall＂黑盒子，和一個稱為＂inversionaboutaverage＂量子運算子，來逐步增大給定資料的狀態被測量到的機率。在經過/4N次運算後，具有最高機率的資料便是我們的搜尋目標。二、量子搜尋學習法則的缺點雖然實驗的數據更證明了量子搜尋學習法則的可行性，但是我們仍發現到量子搜尋學習法則有以下的缺陷：第一，如果要符合全部訓練樣本要被成功分類的oraclecall，我們或許可以找到一組合適的權重向量，但這組權重向量很可能並不是我們需要的，因為它可能有過渡訓練（overfitting）了。若訓練樣本集合中含有若干的錯誤樣本，或訓練樣本含有雜訊時，過渡訓練的發生那就勢必會發生，因為我們很可能需要一個較大的量子類神經網路才有機會將這些有問題的訓練樣本百分之百地分類成功，而訓練完的量子類神經網路不僅記憶正確的樣本，同時也將錯誤的樣本留在記憶中，這對分類未知樣本會造成極嚴重的錯誤，所以讓全數的訓練樣本百分之百分類成功的oraclecall是很不恰當的。作者Ricks和Ventura為了解決這個缺陷，他們將量子搜尋演算法中的oraclecall做了些許的修改，將oraclecall改為不再需要全數訓練樣本被正確分類，而將oraclecall設定成訓練樣本正確分類率低於100%（例如，95%）。這個修改確實能解決這個問題，但是我們很難決定oraclecall應該設多少才適當。若oraclecall設太高的話，很可能沒有任何一組權重能通過它，這將造成每一組權重都擁有相同的機率，也就是沒有一組權重會超過0.5，所以，搜尋失敗！另外，這也可能造成overfitting的問題。第二，當量子搜尋學習法則在尋找一組權重向量時，我們所需花費的空間複雜度（spacecomplexity）是指數成長的（例如，若要搜尋n-bits的資料空間，則所需的空間複雜度為2n），這對於較複雜的問題或架構較大的量子類神經網路將會是不可行的。作者也提出了片斷權重學習法則（piecewiseweightlearningrule）來改善此缺陷，它是以隨機選取某個神經元來訓練其權重（其它神經元的權重則凝結不動），所以每個神經元的權重分開獨立訓練，而不在將整個量子類神經網路的所有權重同時訓練。雖然這種方式可以降低空間複雜度的問題，但它卻大大地拉長訓練的時間，因為它必需持續地隨機訓練單一個神經元的權重，直到整個量子類神經網路達到我們的要求為止。第三，不管是傳統或是量子類神經網路，當我們要使用它們來解問題時，我們首先會遇到一個困難，那就是究竟要用多大的類神經網路才合適呢？這個問題其實對於類神經網路的表現是影響重大的，因為太大的架構通常會出現overfitting的現象。另外，對於量子搜尋學習法則來說，大的架構也是需要較多的訓練時間及相當龐大的空間複雜度（如第二點所述），所以，太大的類神經網路架構是不妥當的；然而，太小的架構則會有訓練不足或無法訓練的現象產生，它的訓練過程可能都無法收斂，所以訓練程序是無法結束，只能靠人為中止它，另外，這樣的類神經網路的分類品質必定也不高，所以，小架構的類神經網路也是不妥當的。在他們的實驗中，他們顯示出他們的量子搜尋學習法則的效能，但他們卻沒有告訴我們，實驗中所採用的類神經網路大小是如何制定的。其實，我們可以很容易地猜測到，他們應該是採用傳統類神經網路中的錯誤嘗試法（trial-and-error）來找出一個合適的量子類神經網路，這種作法是不可行的，因為這種做法使得他們將花更多的訓練時間及空間。雖然量子搜尋學習法則仍有上述的缺點存在，不過這個方法還是目前被提出的量子類神經學習法則中是較可行的，其實有些缺點也同樣存在於傳統的類神經網路，而且已經成功地被解決了，例如，類神經網路架構問題就有若干的演算法被提出，而我們也針對這個問題做了不少的研究，提出一系列的方法來讓類神經網路自動建構合適的類神經網路架構，並且獲得相當不錯的成果。所以，我們或許也可以將傳統的解決方法應用到量子類神經網路中，並解決上述的缺點。從這些已被提出的傳統類神經網路演算法中，我們發現傳統的cascadecorrelation類神經網路（CCNN）有很多不錯的特性，它成功的解決了不少傳統類神經網路的問題，而某些相同的問題也同樣困擾著量子類神經網路，而且從它的若干特性中，我們發現這些特性可以應用到量子類神經網路上。參、CascadeCorrelation類神經網路（CCNN）以下我們對cascadecorrelation類神經網路做些簡略的介紹，並說明他的那些特性可以解決那些量子搜尋學習法則存在的缺陷。傳統類神經網路cascadecorrelation類神經網路是自動建構類神經網路架構的演算法之一，也具有令人稱讚的效能，它的效能也遠遠優於傳統的倒傳遞類神經網路（back-propagationneuralnetworks），是一個相當有效率的類神經網路架構。它不像倒傳遞類神經網路是同時訓練整個類神經網路的權重值，它是可以依需求自動地動態建構出多階層（multilayer）的類神經網路，所以它比倒傳遞類神經網路具有快速的學習速率，它可以自己決定自己的網路大小及架構，而且當訓練樣本集合改變時，它不需重新再建構一個全新的網路架構，它可以以先前的網路架構為基礎，再繼續增建已訓練過的類神經網路架構。CCNN類神經網路在尚未訓練時，它只包含輸入層及輸出層，而經由訓練的過程，它會依需要自動地加入新的隱藏神經元，直到訓練樣本的成功分類率達到我們的要求為止。新的隱藏神經元加入的方法是一個一個依序加入的，而且它每次只需訓練要加入的隱藏神經元（hiddenneurons），而其它已存在之神經元及其所屬之權重則被凍結不變，所以CCNN類神經網路是可以解決量子搜尋學習法則的第二及第三個缺點。由於CCNN是一次只訓練一個隱藏神經元的權重，所以，每訓練一個隱藏神經元的所有可能權重集合會遠少於整個量子類神經網路的所有權重集合，所以，我們可以大大減少所需的訓練空間複雜度。而我們只要再對CCNN類神經網路的自動建構演算法做些修改的話，我們也可以將量子搜尋學習法則的第一個缺點也減到最低的程度。CCNN類神經網路的學習法