代理人和环境

大綱•代理人和環境•理性•PEAS（Performancemeasure,Environment,Acturators,Sensors）•環境類別•代理人類別代理人•定義：任何的東西，可以經由感應器感受到環境，經由行動器來對環境做出反應。•人類代理人：眼睛，耳朵，…（其他的器官，可以來作為感應的。）手，腳…（其他的器官，可以來作為行動器官的。）•機器代理人：攝影機，溫度計，…（可以來作為感應的。）機器手臂，輪子（可以來作為行動器官的。）理性代理人代理人的架構•代理人的功能和程式：1.代理人是以代理人功能(agentfunction)為其特徵的,此function將感知轉換為行動2.一個代理人的功能是理性的(rational)3.目標:找出一個方法來將理性代理人的功能正確的實作出來代理人和環境•代理人函數將感知到的歷史對應到行動。F：P*A代理人程式執行在實際的設備中以產生F帶查表代理人•缺點:1.巨大的表格2.建表所要花的時間需要很大3.沒有自動化4.甚至若是需要學習,也要花很多時間來看表格智慧代理人的結構•代理人=硬體結構+程式•代理人程式:將函數:感知行動實做出來.•硬體結構:一個設備能夠執行代理人程式的代理人型態•基本的型態:1.簡單反射的代理人2.模型基礎的反射代理人3.目標基礎的代理人4.效能基礎的代理人5.學習代理人反射代理人•反射代理人:沒有記憶•動作:根據目前的狀態來決定要採取的行動.反射代理人反射代理人反射代理人•例如:1.吸塵器2.自動駕駛計程車•問題:人類的所作的動作是基於學習後的反應或是自然的反射動作?反射代理人•反射代理人的動作雖然很簡單.但是彼此間的互相的反應會造成複雜的模型.•好處:快速.健全•挑戰:夠複雜?智慧?反射代理人•問題:將自動吸塵器的位置感應器移除後.會發生什麼?(在不同的環境中)模型基礎的反射代理人•紀錄一些內部狀態(已過已經發生的.或之前所採取的行動)•需要紀錄兩種的知識在代理人的實作方法:1.在這世界中發生的事.和代理人是有間接相關的2.代理人所採取的行動會對世界造成怎樣的影響.模型基礎的反射代理人模型基礎的反射代理人目標基礎的代理人•代理人需要有一些目標排序的資訊.•例如:自動駕駛計程車(如何使得長期目標能達到.小目標的做法的選擇.)目標基礎的代理人目標基礎的代理人•挑戰:是否夠好了?效能基礎代理人•目標基礎代理人不夠好.因為其無法產生出高品質的行為.•例如:自動駕駛計程車.除了要達到目的地外.還要考慮什麼因素?•目標基礎代理人使用了2分法來作判斷?效能基礎代理人•效能基礎代理人將一個狀態對應到真實的數字.來代表該目標能被滿足的程度.效能基礎代理人學習代理人•四種組成元素:1.評論者2.學習元素3.表現元素4.問題產生器學習代理人行動代理人•行動代理人是一種程式.能從一個機器上移植到另一個機器上.•可以在跨平台的環境上執行.例如:JAVA•需要有代理人能夠執行的環境行動代理人•好處:1.減少溝通的花費2.非同步的計算行動代理人•兩種類型:1.單點行動代理人(從一地移植到另一地)2.多點行動代理人(在網路上的漫遊)行動代理人•應用:1.分散式資料擷取2.Voip行動代理人PEAS•PEAS:Performancemeasure(表現評量),Environment(環境),Actuators(行動器),Sensors(接收器)•例如:考慮taxidriver:•–Performancemeasure––Environment–Actuators–Sensors–PEAS•Consider,e.g.,thetaskofdesigninganautomatedtaxidriver:•–Performancemeasure:Safe,fast,legal,comfortabletrip,maximizeprofits––Environment:Roads,othertraffic,pedestrians,customers––Actuators:Steeringwheel,accelerator,brake,signal,horn––Sensors:Cameras,sonar,speedometer,GPS,odometer,enginesensors,keyboard–PEAS•Agent:Medicaldiagnosissystem•Performancemeasure:Healthypatient,minimizecosts,lawsuits•Environment:Patient,hospital,staff•Actuators:Screendisplay(questions,tests,diagnoses,treatments,referrals)••Sensors:Keyboard(entryofsymptoms,findings,patient'sanswers)PEAS•Agent:Part-pickingrobot•Performancemeasure:Percentageofpartsincorrectbins•Environment:Conveyorbeltwithparts,bins•Actuators:Jointedarmandhand•Sensors:Camera,jointanglesensorsPEAS•Agent:InteractiveEnglishtutor•Performancemeasure:Maximizestudent'sscoreontest•Environment:Setofstudents•Actuators:Screendisplay(exercises,suggestions,corrections)•Sensors:KeyboardEnvironmenttypes•(全域觀察)Fullyobservable(vs.partiallyobservable):一個agent的接收器是否可以一次就可以看完所有的環境狀態•(可決定的)Deterministic(vs.stochastic):環境的下一個狀態完全是根據於目前的狀態以及目前所採取的行動，不會受到其他agent的影響。•(片段的)Episodic(vs.sequential):一個agent的經驗可以被分成多個片段，而agent要做決定時，只需要根據根據這個片裡的感知來做就好了。Environmenttypes•(靜態的)Static(vs.dynamic):當一個agent在思考說下一步要如何做的時候，環境在此時是不會改變的。••(離散的)Discrete(vs.continuous):有限數目的不同，清楚的感知和行動。•(單一代理人)Singleagent(vs.multiagent)EnvironmenttypesChesswithChesswithoutTaxidrivingaclockaclockFullyobservableYesYesNoDeterministicStrategicStrategicNoEpisodicNoNoNoStaticSemiYesNoDiscreteYesYesNoSingleagentNoNoNo•Theenvironmenttypelargelydeterminestheagentdesign••Therealworldis(ofcourse)partiallyobservable,stochastic,sequential,dynamic,continuous,multi-agent•