Kako razvoj robotike krši 1. i 2. zakon iste...
(1 korsinik/a gleda/ju temu) (1) Gost

Kako razvoj robotike krši 1. i 2. zakon iste...


30.12.2018 | 09:09
Sinoć sam pogledao možda zaista i najstrašniji dokumentarac godine, kako ga reklamiraju neki kritičari. HBO-ov Killer Robots opisuje koliko su se roboti razvili od 1990. do danas, i kako pritom sve više krše 1. zakon robotike kojeg je uspostavio Isaac Asimov, kako robot prvo i osnovno ne smije nauditi čovjeku. Krši i drugi, ali o tom potom.
Te priče mediji (barem ovi mainstream) uredno izbjegavaju, jer niti za jednu od njih nisam čuo dok nisam pogledao dokumentarac.
Prvo je ruka robot u tvornici automobila VW u nekom gradiću u Njemačkoj (iako se takva vrsta robota smatra glupim, jer samo radi i vari šasije automobila i s njom ljudska interakcija nije moguća) "zaboravila" reagirati na stop tipku koju je pritisnuo jedan radnik prije nego je u prostoriju gdje je bila postavljena ušao njegov kolega, pa ga je uredno zamijenila za šasiju automobila i - zdrobila ga.
Ovo možda znaju Gjuroo, Bertone i JOHN, ja sam se smrzo. I nije nova vijest, ima godina od toga...
Onda je (isto ima od toga, možda ne godine, ali barem mjeseci) Tesla postao ponosni vlasnik titule proizvođača prvog "pametnog" automobila u povijesti koji je ubio svoga vlasnika. Naime, na "auto" vožnji limuzina nije uspjela registrirati JEBENU KAMION PRIKOLICU koja je skretala ispred automobila pa se u full brzini zabila u nju; nakon takvog udarca i dalje ništa nije registrirala pa je nastavila juriti dalje te prošla kroz još dva ruralna dvorišta (a znamo kolika su takva dvorišta) u nekoj državi Amerike.
I automobil i vlasnik automobila ostali su bez gornjih dijelova, da vas poštedim "sočnih" detalja.
I ono najluđe u cijeloj priči, nitko se ne smatra odgovornim jer se robota zakonski goniti ne može.
Tesla je na cijelu priču odgovorila kako će - updateati auto pilot funkciju.
Nije Tesla ostala sama u ovom dijelu priče, samo prva. Nastavio je auto mod ubijati i u drugim markama pametnih automobila.
Topla preporuka za ovaj film, ima još par primjera čiji je zaključak otprilike isti - napredak robotike u svim industrijama je toliko ogroman da zakonodavci to, sve da i žele, ne stignu popratiti kako spada legislativno.
I onda tvrtke prolaze lišo nakon ovakvih pizdarija koje se dešavaju izrazito zbog želje za JOŠ većim profitom. A da stvar bude najbolja, ne pričamo o tvrtkama kojima ne ide, pričamo o profitabilnim kompanijama (spominje se i Uber) koje jednostavno žele kapitalizirati svaki (dodatni) cent.
Koliko god je Uber razvio uslužnu djelatnost vožnje, sada ju i oni i Tesla doslovce ubijaju.
Uber razvija samovozeći Taxi (da stvar bude ironičnija - to radi na mjestima propalih pogona bivših tvornica koječega), a Tesla samovozeći kamion.
Tako su pogođene i sve ostale djelatnosti, a čovjeku je za rad ostala samo uslužna - koja se još nekako drži, ali i ona je pod opsadom i neće dugo. U Kini već postoje automatizirani dućani u koje ulaziš potpuno sam i nema nikoga osim robota.
Za takvu progresiju u zadnjih par godina, kažu stručnjaci u dokumentarcu, najviše je zaslužan touch screen.
Pitam se što bi Jobs rekao na to i da li je razmišljao o tome?
Naravno da ne krivim dragog nam pokojnika, jer imam dojam da koliko god je gledao daleko, ovo niti on sam nije mogao predvidjeti...
Osobno bih dodao i internet of things kao drugoga krivca, ali kako nisam stručan, ovu rečenicu slobodno možete zanemariti... A i ne morate.
Uglavnom, postavlja se pitanje - a gdje smo u cijeloj toj priči mi?
Što ćemo raditi? S kim ćemo se družiti? Kako ćemo se dalje razvijati?
Pa još luđe pitanje koje se izrađa kada kreneš s propitkivanjem: gdje će završiti čovjek a početi robot? To nam se približava nesmiljenom brzinom, a mi kao da uopće ne razmišljamo o tome. Ispada da smo kako godine prolaze a "alati" su nam sve "pametniji" - mi, ponosni vlasnici istih - smo sve gluplji i nesposobniji, umjesto obrnuto - kako je cijela priča u startu i zamišljena.
No, već smo trebali naučiti da se stvari rijetko kada odviju po planu.
Iako je dokumentarac ozbiljan i zapravo stravičan pa tako nije za praznične dane, po meni je možda i najbolje vrijeme da se to zapitamo - jer i nekada nezamisliva 2018. godina je - gotova.
Vrijeme nas gazi - a mi mu (polu)svjesno u tome pomažemo.
Imam toksični dojam da nikada niti jedna generacija nije bila toliko (auto)destruktivna.
Netko će reći: "nisu imali mogućnosti" i to je ok stav - ali uzeći u obzir Asimov 1. zakon robotike promislite još o ovom:
Vojska (mislim da je US, ali zaista nije bitno jer će se isti raširiti svugdje kako će vrijeme prolaziti) je napravila robota koji skenira lica na daljinu, očitava šarenicu ljudi i u milisekundi je uspoređuje sa svim mogućim bazama podataka. Ukoliko čovjek pripada nekoj terorističkoj organizaciji ili ukoliko je tražena osoba isti čas robot ga - strelja.
I ode Asimov zakon (koji je do tog trena važio kako jako bitna stvar) potpuno svjesno u ropotarnicu povijesti.
Inače, zanimljiv podatak - riječ robot dolazi od češke riječi za radnika i roba. Ipak, ne znam tko kome u ovoj priči robuje...

Guardianov tekst na temu tog dokumentarnog filma.
30.12.2018 | 10:49
Ma lako za ove glupe robote, to su bugovi i to će se počistiti vremenom. Ono što nas treba brinuti je Skynet scenario, a nismo baš daleko od toga uz Google i Boston Dynamics!
30.12.2018 | 11:02
Ma kako god okreneš, previše se i prebrzo navikavamo na stvari koje su (ako ćemo iskreno) u nekoj polubeta fazi. Tip iz Tesla automobila je i sam mogao stisnuti kočnicu da je pogledao naprijed, no on se uljuljkao i na autocesti gledao Harrya Pottera. Svi skupa, i proizvođači i korisnici - ne propitkujemo dovoljno sve ovo jer se stvarno robotika kroz kompjuterizaciju sve brže razvija. Inače, dobio sam odgovor i na pitanje zašto se takvi roboti uvijek prvo i najprije prihvate u Japanu. Zato što oni vjeruju u nešto što zovu šinto - da svaka stvar ima svoju dušu.
Za ovo ne mogu biti siguran, ali neka vlastita logika mi govori da se navjerojatnije kada se to promišljalo razmišljalo o životinjama i biljkama, no danas imamo rezultat da si zbog te filozofije manje privlačni japanski muškarci uredno kupuju robotske družice. I sretni su kraj njih.
Pričaju s njima, gledaju TV s njima, uskoro će se i seksati s njima kako stvari stoje.
Postajemo ozbiljno bolesno društvo, i na to smo slijepi.
30.12.2018 | 12:32
Čim vidiš "HBO", možeš odmah znati da se radi o visokobudžetnom, a opet jeftinom, najjeftinijem senzacionalizmu i populizmu.
U biti, Davor je sve rekao u svom postu, ali da probam biti malo detaljniji...

Prvo je ruka robot u tvornici automobila VW u nekom gradiću u Njemačkoj (iako se takva vrsta robota smatra glupim, jer samo radi i vari šasije automobila i s njom ljudska interakcija nije moguća) "zaboravila" reagirati na stop tipku koju je pritisnuo jedan radnik prije nego je u prostoriju gdje je bila postavljena ušao njegov kolega, pa ga je uredno zamijenila za šasiju automobila i - zdrobila ga.


Robotski manipulator (tako se to zove) je iznimno opasna sprava zbog velike snage i brzine kojom radi. Aktuatori na tom stroju su hidraulički, a to znači - supersnažni i munjeviti. Svatko tko radi u tom pogonu SIGURNO ZNA da se ne smije kretati u zoni manipulacije robotskog manipulatora. Dakle - prvo pitanje je - što je taj mamlaz radio u zoni manipulacije dok je robotski manipulator u radu? Jer - on je zašarafljen za podlogu i ne mrda nikamo odande gdje su ga stavili. Dakle, sigurno nije naganjao čovjeka okolo po tvornici da ga zgnječi, nego je ovaj došao k njemu.
Drugo, zašto nije reagirao na "NOT AUS" (stop tipku, kako ti kažeš)? Može biti 100 razloga, a dva najvjerojatnija su:

1. Na robotskom manipulatoru "NOT AUS" gotovo nikad nije "stani tog časa, točno tu gdje jesi i ne mrdaj više". Razlog je prozaičan - i za takvo nepomično stajanje na mjestu može trebati ogromna količina hidrauličke energije, a ona ne može više biti na raspolaganju ako si okinuo sigurnosni zaštitni krug. Jer temelj sigurnosnog mehanizma na svakom opasnom stroju je - isključenje pogonske energije. Dakle, da ruku zaustaviš baš tamo gdje se zatekla, pa onda isključiš pogonsku energiju, ona može svom svojom težinom - jednostavno pasti. Tres! Pa opet ubije nekog tko je ispod nje. Zato se na robotskom manipulatoru obično odradi pokret u siguran položaj (takav koji je stabilan i bez pogonske energije), tj. ruka se "sklopi" i onda se isključi pogonska energija.

2. Ovo što kaže Davor, radi se o autoindustriji, kod koje ispad jedne radne stanice zapravo znači ispad cijele linije, a upravljanje tom linijom je digitalno integrirano, pa tako i sigurnosni krugovi. Njima više ne upravlja jednostavni elektromehanički uređaj kao što je sigurnosni relej, nego tzv. "safety PLC". Nije nemoguće da je u programu safety PLC-a bio bug koji nije prilikom ispitivanja ustanovljen jer se radilo o nekoj rijetkoj kombinaciji okolnosti kod kojih se on manifestira.

Dakle, nema ni govora o kršenju 1. Aasimovljeva zakona jer on pretpostavlja da se radi o HOTIMIČNOJ akciji, a ne o nesretnom slučaju (za koji je prvenstveno kriv šef te budale koja je nastradala, pa onda on, pa tek onda možda programer safety PLC-a. Dakle, da je robotski manipulator zaista hotimično (sa ili bez predumišljaja) ubio čovjeka (ono, kao - išao mu je na živce što mu se tuda mota, kao kad mi ubijemo muhu), to bi bio "killer robot". Ovo je (tragična, ali ipak) obična industrijska nesreća. Događaju se, nažalost. ŠTOVIŠE, dogodi se godišnje u EU najmanje 100 sličnih nesreća u kojima čovjek-rukovatelj nehotice, zbog nemara ili nepažnje, ubije ili ozlijedi radnog kolegu, bilo građevinskim strojem, bilo poljoprivrednim, bilo industrijskim, a ovakvih gdje se to dogodi u potpuno robotiziranom pogonu je - 100x manje. Isto kao i avionske nesreće. Kad bi sudio po vijestima i filmovima, ljudi u avionima ginu ko snoplje, a vlakovi i autobusi su najsigurniji na svijetu. How yes no. Pogledaj statistike.

Slučaj s Tesla (ili nekim drugim) autonomnim autom je, kako i sam kažeš, opet kombinacija ljudskog nemara i nedovoljno ispitanog softvera koji je kritično važan. I opet nema nikakve indicije, a kamoli dokaza da se radi o hotimičnom ubojstvu provedenom od strane stroja (robota). Tesla se (kao i ostali proizvođači) pravno ogradio od ovakvih incidenata naglašavajući da autonomno upravljanje vozilom ne lišava vozača odgovornosti i potrebe da pazi na događaje na cesti i reagira na njih ako je potrebno. Uostalom, i dan danas ti na svim eskalatorima i putujućim nogostupima (na aerodromima, na primjer) uredno stoji (fine print) upozorenje da ih koristiš na vlastitu odgovornost i da nisi oslobođen dužnosti da paziš. A kad si zadnji put čuo da je netko nastradao na eskalatoru?

Sve je to, dakle, uistinu samo visokobudžetni jeftini senzacionalizam.

Ali prijetnja je stvarna. I vrlo bliska, zapravo, kako reče Davor. Samo što nije dovoljno spektakularna da bi se netko njome medijski zabavio. Jbg, radi se o šahu. Koga briga za šah, kad je de facto 90% svjetske populacije granično nepismeno (sposobni su pročitati samo nešto formata novinskog naslova ili podslova pod slikom). Evo, dakle, pročitaj ovo pa prosudi sam odakle nas vrebaju roboti-ubojice...
www.nytimes.com/2018/12/26/science/chess...ytimes&smtyp=cur

EDIT:
Zaboravio sam naglasiti što je bitno u toj priči. Ne softver koji igra šah bolje od čovjeka. To nije ništa novo. Poanta je u tome da je ovo AI softver koji nije učio igrati šah od čovjeka, nego se naučio sam (nahranili su ga samo osnovnim pravilima i pustili ga da igra sam protiv sebe par sati (sati!!) ). I bolji je šahist od bilo kojeg čovjeka i od bilo kojeg drugog šahovskog softvera na svijetu. Dakle, on nema pojma tko su Kasparov, Fisher, Lasker ili Capablanca, fućka mu se za Sicilijanke, Damin ili Kraljev gambit i sve ostale rezone i strategije koje koriste i priznaju svjetski šahovski velemajstori. On je razvio svoje strategije i svoje šahovske rezone. U par sati. I bolji su od ičeg što su ljudi smislili kroz tisuće godina šahovske igre.
30.12.2018 | 12:39
Smayoo, nisam ti pročitao post do kraja - hoću - ali odmah da ti odgovorim na prvu tezu. Ne stoji ni malo. Pogledaj dokumentarac. I to oni sami kažu, da su to izuzetno snažne mašine u kojima čovjek ne boravi ako rade, no njegov je kolega stisnuo tipku stop na što ovaj nije reagirao. Tako je cijela priča počela. Tko zna, možda je nesreća iz ranih 2000.-ih pojma nemam. Ali kažu i ime grada, i pričaju sa kolegama, šefovima - nije baš tako kako predstavljaš. To im je samo uvod u priču.
EDIT:
Evo pročitao sam.
SVE TI STOJI.
Samo, smatram te izuzetno pametnom osobom - i ne znam bi li imao isti dojam da zaista pogledaš dokumentarni film o kojemu pričamo. Osobno ne volim nešto kritizirati ako ne znam o čemu je riječ. ti znaš samo preko mog posta i svog dosadašnjeg stava o HBO-u. i to je OK. Ali, kao inteligentan čovjek - imam dojam da bi ipak malo promijenio mišljenje da si ga pogledao.
Oni su te priče koje sam spomenuo iskoristili da bi gledaocima dočarali kako sve manje i manje pazimo na to, kako je sve počelo - a kako će (najvjerojatnije) završiti.
30.12.2018 | 12:52
Ima još jedna priča o dokumentarcu za koju sam znao, pretpostavljam da smo svi čuli za nju, ali nisam znao kako je razriješena.
Sjećaš li se onog snajperista što je upucao 11 policajaca, od kojih je šestero ubio? Negdje u USA ove godine ili lani? Ma, mislim da se sjećaš.
Uglavnom, za dokumentarac priča i tip koji je bio šef SWAT ekipe koja je bila zadužena da tipa "onemogući".
Tip priča kako su za to iskoristili robota kojega im je dala "bomb squad", i koji se u originalu koristi za razmontiranje bombi. Nisu imali rješenja, dogovorili su se u "stand offu" sa tipom da će mu dofurati neku klopu ili cugu, tako nešto - ali da će zbog toga što ima snajper i što je pobio već toliko policajaca iskoristiti tog robota da budu sigurni.
Ispod one smeđe "US booze" kesice nije bio sok, već C4. Čim je robot došao u blizinu tipa, detonirali su bombu. Ako se ne varam, to je drugi zakon koji je direktno prekršen, jel tako? Nešto tipa, ne koristi robota da naudiš čovjeku - da ga skratim i stavim mu suštinu u kontekst ove priče.
Uglavnom, tom se SWAT tipu nakon tog incidenta smučio život i otišao je u mirovinu. Sigurno ne samo zbog robota, već i zbog pogibije kolega - no zadržimo se na tim zakonima.
Ne opravdavam ubojicu policajaca, ali na YouTubeu ima mali milijun videa kada oni u SAD-u ubiju crnca s telefonom u ruci. Ovaj je tip bio crnac. I bivši vojnik, ako se ne varam. Grunuo je na sve to...
Tužna situacija - ali ako pričamo o zakonima robotike, pa zar stvarno time nije prekršen taj drugi Asimov zakon?
Uglavnom, dokumentarac vjerojatno i navlači i pretjeruje, ali ima pravo.
Što je najtužnije, ima pravo.
I mislim da je redatelj samo htio dočarati kako smo došli gdje smo došli, ništa više niti manje.
EDIT:
Nisam pročitao tvoj link odakle nam vrebaju roboti ubojice, preletio sam naslov i uhvatio naziv AI.
Pa zar AI nije u ovom robotu što ga je razvila vojska?
Uglavnom, držim da se slažemo - samo ti znaš više a ja manje pa su mene neke stvari više izenadile, da se tako izrazim.
30.12.2018 | 13:01
Ne znam. Zar jest? Ako jest, onda je prekršen prvi, a ne drugi. Ali to ovisi o tome tko je upravljao detonatorom. Ljudi iz daleka ili sam robot. Ako ljudi nisu imali izravnu kontrolu nad detonatorom (preko nekog radio-prijemnika), nego su jedino mogli narediti robotu da aktivira eksploziv, onda je teoretski prekršen 2. zakon, ako se radi o robotu koji je potpuno autonoman (s vlastitim AI softverom koji mu služi za kretanje i donošenje operativnih odluka). Ako se samo radi o samohodnom robotskom vozilu (dronu) kojim upravlja čovjek na daljinu, to niti nije robot. Duh!

* fusnota
Ne "Duh!" kao "sablast", na hrvatskom, nego "Duh!" na engleskom. Fonetski "Daaa?", u smislu "Halo, zar to ne znaš?"
30.12.2018 | 13:05
Pročitao sam ti EDIT, hvala na poanti ne moram čitati (mada hoću) kompletan tekst koji si linkao.
Ma - užas. Ja se fakat toga bojim. ne znam kako to drugačije opisati. Ne osjećam se nimalo ugodno zamišljajući 2070.-u godinu... Eto.
Sretna nova!
30.12.2018 | 13:07
A jbg, mislim da su to ovi "duh" roboti, tip je pričao da su ga oni, znači SWAT tim, poslali tamo i daljinski detonirali eksploziv. Pa to je drugi zakon. Napisao sam. Doduše, dopisao ako ćemo iskreno...
EDIT:
Ne, ne - jedini robot koji zaista direktno krši prvi zakon jest taj predzadnji, prije "družica"...
koji uspoređuje retinu i usporedbom sa bazom podataka zaključuje da li živiš ili umireš. Sve radi sam. A da vidiš kako izgleda, nikada ne bi pomislio da to može. Kao prednji dio nekog tenka za velikim staklenim dijelom, što je zapravo taj skener na daljinu.
30.12.2018 | 13:09
@Kloba, po pročitanom nije prekršen niti jedan zakon robotike jer se ti zakoni odnose na robote koji (bi trebali) imati i koristiti svoju umjetnu inteligenciju za obavljanje nekih radnji i zakoni ih sprečavaju da odluče nešto ne napraviti, ako bi time prekršili zakone robotike... drugim riječima stroj koji vari karoseriju ili policijski robot koji je donio hranu (odnosno eksploziv) nemaju svoju inteligenciju već rade ono što im je u unaprijed zadanom programu ili je njima netko upravljao bez mogućnosti da oni naprave nešto drugo.
30.12.2018 | 13:14
Beronte, vidi iznad edit. Samo sam htio dočarati uvod u priču, a ne zaključiti kako su to sve redom roboti koji su prekršili 1. Asimov zakon.
Prepričao sam događaje slijedom koji su prepričani u dokumentarcu, preskočivši robota za razmontiravanje bombi koji je ubačen kasnije, a u filmu prikazn na nekoj sredini. I opet zaključujem, vojni robot je prekršio 1. zakon - ali je do toga moralo doći. A ja sam samo htio prepričati kako smo prema filmu do toga došli.
30.12.2018 | 14:03
Pa i dalje nije prekršio niti jedan zakon jer nije upoznat sa zakonima robotike već samo radi po unaprijed zadanim parametrima.

Da mu se u softver ubace zakoni i da se napravi algoritam po kojem on prije donošenja odluke o akciji mora provjeriti da li se akcija krši sa nekim od zakona i on ipak odluči nekoga roknuti onda bi se moglo reći da je prekršio 1. zakon... ovako ga je samo kršio iz naše perspektive.

Jedini (vojni) roboti koji koji su kršili unaprijed zadani program/obrazac ponašanja koliko sam prije dosta godina našao na internetu su bili transportni roboti u Iraku koji su iz samo njima znanih razloga odlučili djelovati van zadanih protokola no te informacije su bile jako šture i na granici teorije "zemlja je ravna ploča" (a i kak ose radi o vojnim robotima i nije se baš pisalo nešto puno).
30.12.2018 | 14:11
A Bertone, sada mislim da ga navlačiš.
Pa razvila ga je vojska da ubija ljude uspoređujući zjenicu oka sa zjenicama oka nepoželjnih ljudi. Ako to nije direktno kršenje 1. Asimovog zakona, onda stvarno ne znam što jest.
Nisam vojni stručnjak kao moj ujak (Fran Višnar), ali ne mogu se oteti dojmu da se vojsci živo fućka za zakone robotike...
EDIT:
Uzmimo samo u obzir kada je Asimov živio i kada si ti zakoni napisani, pa mi reci - bi li on ovog robota smatrao kršiteljem svoga prvog zakona?
Ti živiš u modernom svijetu, inteligenta si osoba koja se brzo adaptira na stvari koje te zanimaju i - u nedostatku bolje riječi - držim da si ogluglao na sve to već.
Ne mogu sada naći primjereniju izjavu.
Svjestan si svega. Pametan jesi.
Ali zbog tolikog napretka svega oko nas paraleno napreduje i tvoje shvaćanje zakona robotike, koje je zapravo sve "slobodnije" - ako me razumiješ što hoću reći.
A zapravo ne bi tako trebalo biti, što je naravno moje mišljenje, nikako stav neke struke.
30.12.2018 | 14:29
Ali ti navlačiš teoriju da roboti krše zakone robotike, a oni ih ne krše kad ih nisu svjesni niti znaju da oni postoje.

Da, vojska je napravila robota koji čita biometrijske podatke i temeljem dobivenog rezultata odlučuje što će napraviti, ali ne radi to taj robot već netko u vojsci koji mu je dao takav program i taj netko krši zakone robotike, ne robot.

Čovjek je odgovoran za svoje postupke i može prekršiti neki zakon iako ne mora ni znati da taj zakon postoji, odnosno da je neka njegova radnja protupravna jer ima inteligenciju i ima mogućnost da dođe do informacije da li je nešto protupravno ili ne.

Robot nema inteligenciju i nema mogućnost samostalno doći do informacije dali je neka njegova radnja protupravna ili ne.

... i da, mislim da bi se Asimov složio sa mojim razmišljanjem
30.12.2018 | 14:32
Obrisao ujca jer nije potreban i samo smeta.
OK, ti imaš to mišljenje. Moje je ovo koje sam napisao.
Ali, razmisli još jednom, ako taj robot postoji danas i zakoni robotike se na njega nisu (a po meni su trebali) primjenili, u budućnosti će se osmisliti neki još luđi robot koji će raditi upravo ovo što ti pišeš. Treba doći od točke A do točke B. U svemu. Zar ne?
EDIT:
Jer druga strana priče, koju ti zagovaraš - će uvijek imati neku ispriku. Uvijek.
Zapamti ovu rečenicu i kladimo se u što hoćeš da ćeš je se u nekoj budućnosti sjetiti, kada ćeš čuti da se desilo nešto što smatraš kršenjem prvog zakona robotike. A desit će se.
EDIT 1:
I izjava da čovjek rođen 1920., koji je umro ranih devedesetih dok je "ruka" valjda bila futurizam - ovo ne bi smatrao kršenjem svojih zakona je - u najmanju ruku - jako smjela.
To je, po meni, kao da si rekao da bi se bavio influenciranjem na netu da je još živ.
Ono, bio bi kod Ace gost sa Klincima s Ribnjaka
Šala, ali shvatio si što hoću reći. Čovjek se bavio futurizmom, ali nije mogao zamisliti sve ovo. I zgranuo bi se na stvari koje danas prolaze, u najmanju ruku. Budimo realni.
EDIT 3:
I sam spominješ da si već naletio (prije dosta godina, sam si dodao) na nešto što ti smatraš kršenjem 1. zakona. Ali Asimov bi sve ovo smatrao - OK. Halo? Pa ne pričam sada o dokumentarnom filmu, nego o cijeloj našoj sadašnjosti i kako su stvari postavljene. Stavi ovog Smayiinog robota na prvu crtu bojišnice, opremi ga municijom i cijevi, pa poklat će sve živo u krugu u kojem može. Ili se varam?
30.12.2018 | 14:46
A u cijeloj priči svi ste fulali bit. Kako će nam roboti oduzeti radna mjesta, s time polako ali sigurno i sam smisao života...
EDIT:
I ne navlačim teoriju da roboti krše zakone robotike, već ljudi koji ih proizvode. Nisam znao da moram biti toliko detaljan u ovakvom društvu. Nismo djeca. Ponavljam - točka A i točka B. Početak i kraj.
Priča je morala nekako početi, i morat će nekako završiti.
Ljudi su ti koji svjesno sami sebe stavljaju u podređeni položaj.
Nadam se da sam sada bio dovoljno jasan. Pod ljudi mislim na interesne skupine, čelnike i vodeće ljude kojekakvih industrija.
Pa ne moram crtati sve valjda...
30.12.2018 | 14:48
Slažem sa ja s tobom da roboti već danas (ne danas, još prekjučer) ne bi smjeli naštetiti živom biću no za to se ljudi trebaju dogovoriti da tako bude i da se u njih ugrade algoritmi koji će na nultom nivou raditi pravo po zakonima robotike, a onda po svojoj osnovnoj namijeni no jedino što za trenutno stanje mogu za nepoštivanje zakona kriviti ljude, ne robote.

Da se vratim na one vojne (pokvarene) transportne robote. Ti roboti su im služili za prenošenje opreme od točke A do točke B ili su išli uz vojnike u piješaćkim ophodnjama i nosili im opremu. Ti roboti su se kretali uz pomoć GPS-a, senzora, softvera koji im je rekao da prate vođu ili jedan drugoga i sl.
E jedan dio robota (po pročitanom) je nakon nekog vremena počeo hodati pored ceste/staze (znači van zadane rute), neki su stali i samostalno odbili ići dalje (navodno su ostali roboti koji nisu bili "pokvareni" nakon toga ušli u minsko polje), neki roboti nisu htjeli prenijeti opremu preko brisanog prostora koji je bio pod neprijateljskom vatrom iako su to trebali napraviti... e ako je to istina, onda su ti "pokvareni" roboti počeli učiti i donositi samostalne odluke što je razvoj inteligencije i takvi "pokvareni" roboti su problem u budućnosti.
30.12.2018 | 14:53
Eto, vidiš da se slažemo.
Bertone, i sam znaš da sto puta dopisujem tekst i 99 puta se netočno ili nepotpuno izrazim. Moja greška ako sam trebao toliko pisati (a izgleda da svaki put trebam) da me čitaoc razumije. Isprika...
Ali zaista - da zaključim moju stranu priče - moje je mišljenje da će nam roboti najviše nauditi oduzimajući nam radna mjesta. Ima u dokumentarcu i neki poštanski ured u Kini. Zapošljavao je 3000 ljudi, danas 800. Tih 800 samo ubacuje pakete na malene žute automobiliće koji kao osice razvoze poštu oko njih.
Tužno...
30.12.2018 | 15:10
Kloba kaže:
A Bertone, sada mislim da ga navlačiš.
Pa razvila ga je vojska da ubija ljude uspoređujući zjenicu oka sa zjenicama oka nepoželjnih ljudi. Ako to nije direktno kršenje 1. Asimovog zakona, onda stvarno ne znam što jest.


Poanta je da se zakoni robotike ne odnose na jednostavne ON/OFF automatizirane uređaje već na donekle razvijene strojeve koji imaju vlastitu AI i "svoju volju" koju su razvili kroz taj AI.
Mali robot bomb squada nema svoj AI i nije ubio terorista "svojom voljom" već po "naredbi" čovjeka. Isto tako, taj robot nije i ne može "naučiti" u budućnosti prepoznavati teroriste i rokati ih po vlastitom nahođenju.

Za objašnjenje zakona robotike ću čak iskoristiti nešto što nema baš veze s robotima, a to je - golem.
Dakle, kad čarobnjak radi svog golema npr. od zemlje, on ga smije naučiti da mu kuha, posprema po kući, donosi drva, pa čak i da mu čuva kuću od uljeza. Međutim, ako se dogodi da neki uljez pokuša ući u kuću, golem ga ne bi smio ubiti već samo onesposobiti.
Dakako, uvijek postoje i zli čarobnjaci kojima se fućka za te zakone.

Zakone robotike možeš primijeniti u slučaju kad čovjek obučava neku "mašinu" koja ima vlastiti IQ ili AI. Mislim, to je kao kad dobiješ dijete, pa ga učiš kako se treba ponašati. Ili kad imaš psa, pa ga učiš da ne napada ljude niti druge pse.

Sad, ti zakoni robotike su proizašli is SF-priče i manje-više su i ostali u tom kontekstu. Ovo o čemu mi pričamo nema više veze s SF-om već sa stvarnošću u kojoj takvi zakoni ni nisu legalno usvojeni (ak se ne varam). A, kao što bi se reklo u "Piratima s Kariba", možda te zakone i ne treba doživljavati kao krute zakone već više kao guidelines

Da ne ulazimo sad još i u to da te "zakone" sigurno neće primijeniti osoba koja ima moć da proizvodi robote i želju da uništi cijeli svijet

Na kraju krajeva, i Bog je čovjeku dao zakone (zapovijedi), pa ti meni reci koliko ih se pridržavamo, a kao inteligentna smo bića i sposobna učiti...
30.12.2018 | 15:17
Gjuroo, apsolutno se slažemo. Ne želim opet ponavljati da nisam mislio da je (taj) robot prekršio prvi zakon robotike, s tim je prekršen drugi (ne koristi robota da naudiš živom biću).
Inače, zanimljivo mi je kako si ubacio golema u priču.
Zar nije golem židovska legenda, i služi kao biće koje će te obraniti od zla? Tako nešto?
30.12.2018 | 15:17
Kloba kaže:
Eto, vidiš da se slažemo.
Bertone, i sam znaš da sto puta dopisujem tekst i 99 puta se netočno ili nepotpuno izrazim. Moja greška ako sam trebao toliko pisati (a izgleda da svaki put trebam) da me čitaoc razumije. Isprika...

Možda trebaš početi pisati sa obrnutim pristupom da te razumijemo - kraće


Kloba kaže:
Ali zaista - da zaključim moju stranu priče - moje je mišljenje da će nam roboti najviše nauditi oduzimajući nam radna mjesta. Ima u dokumentarcu i neki poštanski ured u Kini. Zapošljavao je 3000 ljudi, danas 800. Tih 800 samo ubacuje pakete na malene žute automobiliće koji kao osice razvoze poštu oko njih.
Tužno...

Zašto je to tužno? Pa ti žuti robotizirani skateboardi za raznošenje pošte olakšavaju monotoni posao ljudima (a vjerojatno su i precizniji/točniji) čime onih 2200 ljudi u "idealnim uvjetima" može raditi nešto drugo produktivnije i ljepše.
30.12.2018 | 15:20
Dobra Bertone. Razvalili ste me ko Liverpool Arsenal...
Samo za ove osice da dodam: pa zar ne misliš da će za 20 godina postojati i robot profesor, robot kuhar (taj već postoji, prikazan u dokumentarcu - pizza majstor) - i što će nama ostati? Koja zanimanja će ostati ljudima?
Kada su u svakom od postojećih bolji - roboti?
EDIT:
Stvarno, ovo nikoga ne izazivam. Ozbiljno postavljam pitanje zajednici koju smatram iznadprosječno inteligntnom u globalu. Ako su u svemu što ih "naučimo" roboti bolji od nas, što nama preostaje da radimo u budućnosti?
I sada tome dodajmo populaciju koja je bila cca milijardi 1980, cca 2000, i cca danas. Što će sve te milijarde raditi?
Meni jedno zanimanje pada na pamet.
Održavanje robota - ako i to...
EDIT 1:
Uglavnom, cijela priča da su roboti tu da pomognu čovječanstvu se na očigled svih nas polako ali sigurno okreće na glavu. I - barem se tako meni čini - nitko bitan ništa po tom pitanju ne radi.
EDIT 2:
Bertone, ali ne dozvoljavam ti da ispadneš u pravu da bi se Asimov složio s tobom.
Evo, strast su ti automobili - znaš kako je on opisao svoja iskustva u vožnji? Anarhija na kotačima. Bio je obožavatelj malih i skučenih prostora, bojao se letenja i vožnje, no ipak je položio vozački. Mislim, stavimo čovjeka u kontekst vremena u kojem je živio pa ga stvarno zamislimo kako bi prokomentirao današnje stanje u robotici. Nisam baš uvjeren da bi rekao "sve u redu, samo tako dalje".
30.12.2018 | 15:41
Možda je najbolji odgovor na tvoja pitanja i zabrinutost (što bi radili) animirani film Wall-E ( www.imdb.com/title/tt0910970/ )

Moje je mišljenje da ne treba strahovati od robota već od ljudi, zapravo ne treba uopće strahovati od robota već od prijelomna točke kad se počne razvijati samoodrživa i samoučeća umjetna inteligencija... ako u toj prijelomnoj točci na njoj budu radili i sa njom komunicirali ljudi koji su humanisti problema neće biti, ako pak budu komunicirali oni kojima je osobni interes i profit na prvom mjestu onda nam nema spasa jer će nas AI istrijebiti.
30.12.2018 | 15:49
Kloba kaže:
Gjuroo, apsolutno se slažemo. Ne želim opet ponavljati da nisam mislio da je (taj) robot prekršio prvi zakon robotike, s tim je prekršen drugi (ne koristi robota da naudiš živom biću).
Inače, zanimljivo mi je kako si ubacio golema u priču.
Zar nije golem židovska legenda, i služi kao biće koje će te obraniti od zla? Tako nešto?


Pa golem je neka mitološka preteča/analogija današnjim AI robotima, ne? Sad, hoće li te štiti od zla ili će činiti zlo ovisi o "Masteru" koji ga programira.

Što se budućnosti tiče, nikad nisam bio baš neki osobit vizionar, pa ću samo reći - bumo vid'li
30.12.2018 | 16:16
Gledao WALL*E nekih 15 minuta i dojadio mi. Sam robot, smetlište i patetika.
Šala.
Znam da je dobar animirani film, ali nisam odgledao više.
Ono što jesam, shvatio sam ti poantu.
Ovo što dodaješ je samo po sebi jasno.
I stoji, naravno.
Ako držiš da će biti humanisti na pozicijama, bojim se da ne pratimo iste vijesti.
Humanisti su - po meni i na veliku žalost - prošlo svršeno vrijeme.
Danas postoji samo konzumerizam i postkonzumerizam. A kako u toj priči zauzdati ove što hoće izvući svaki cent iz kompanije?
Odgovor: nikako. Nemoguće.
Da sada počnu pisati zakone (u dokumentarcu je jedan Kinez radio u odvjetničkoj tvrtci, pa napisao kod za software koji postane virtualni odvjetnik i u sat vremena obradi slučaj za koji bi timu ljudi odvjetnika trebali mejseci, i to samo da pročitaju sve informacije) ne mogu više stići ono što se napravilo, što se radi, i za što postoje rješenja samo ih treba realizirati...
Ma, ukratko - ne vidim dobro rješenje. Ne vide niti oni koji hoće o tome pričati (Musk), i znaju puno više nego ja - kako bi ga onda ja vidio...
30.12.2018 | 17:10
Šteta, pogledaj film do kraja.

Mislim za sebe da živim sa dosta realnim pogledom na svijet, ali u meni još uvijek tinja nada da će humanizam pobijediti, ako ne prije onda kad dotaknemo dno samouništenja.

Sad ću malo odlutati od glavne teme posta, ali kad si ga već spomenuo... recimo po do sad pročitanom ti si fasciniran (možda nije baš dobar izraz, ali mi trenutno ne pada na pamet bolji/primjereniji) Elonom Muskom i njegovim naporima da učini svijet boljim mjestom.

Iako osobno smatram da Musk nije humanist kakvim se prikazuje dajem mu šansu da griješim i da nije kapitalist kakvim ga smatram

Ako pustimo na stranu poluproizvod od auta koji prodaje, meni je zanimljivije pratiti njegove ostale projekte (koje umotano radi kako bi ostvario svoj svemirski program). Lik je uspio uvaljati i prodati put do Marsa i natrag, uspio je uvjeriti svijet da se Falcon rakete razvija za orbitalna i međuplanetarna putovanja, a zapravo je razvija za rudarenje u svemiru. Ne znam da li pratiš cijene plemenitih metala, ali cijena Paladija (za to su krivi katalizatori u autima) je već par mjeseci veća od cijene zlata i platine, a resursi Zemlje nisu neograničeni i lik danas ulaže u električne aute (primarno razvoj novih oblika i kemije baterija) i svemirski program da bi sutra mogao biti gospodar resursa koji se smiju iskapati svugdje osim na Mjesecu. Ima tu i AI no doći ćemo do toga, uglavnom moje razmišljanje da li je Musk humanist ili ne iz sažetog prikaza njegovih kompanija:

SpaceX - razvoj višekratnih raketa za transport, razvoj samoodrživih baznih postaja
Tesla - treba od nečega danas živjeti, zabaviti javnost i skrenuti pažnju javnosti, a i dobar je teren za isprobati nove tehnologije
SolarCity - eksperiment za buduće samoodržive baze u svemiru (tu imamo i projekt iz 2001 iz SpaceX programa pod imenom Mars Oasis (buš to pogledao ako te zanima ili ako već nisi)
Gigafactory - eksperiment za opskrbu energijom budućih rudarskih kolonija
Hyperloop - eksperiment za transport ljudi i opreme između rudarskih kolonija u svemiru
OpenAI - hmm, tu mi je malo nejasan njegov stav i motiv jer sa jedne strane više nije u odboru OpenAI-a zbog sukoba interesa kao predsjednik Tesle i otvoreno govori o opasnostima AI-a, a sa druge je napravio niz "navodnih gluposti" zbog kojih je suspendiran sa čelnog čovjeka Tesle pa više nije u sukobu interesa sa OpenAI.
Neuralink - još jedan projekt pomoću čijih rezultata (ukoliko uspije) lakše kontrolirati putničko/teretni transport u SpaceX programu.

PS. Počeo sam previše pisati odjednom, pa povremeno misli odu na drugu temu/misao i moram popravljati post
30.12.2018 | 17:32
Ma ne moraš. Ja sam prvak u razbacivanju misli i u tome se snalazim.
I za Muska si u pravu, ali morat ću reći - bio. Doduše, moga doživljaja istoga.
Njega sam spomenuo samo zato što mi je jedini pao na pamet kao osoba koja je javno rekla da AI u vlasništvu Googlea nije dobra ideja, znaš na što mislim - i znaš da nije rekao Google, ali su svi znali da na njih misli.
No, i sam nisam imun na njegove nove ispade, vrijeđanja i spuštanja na nivo Donalda Trumpa (Twitter cimanja).
Tako da mi se lik sve manje sviđa, a za ovo što si napisao stvarno nisam toliko detaljno znao, i nemam puno pametnog za reći nego - jako zanimljiva tema.
Što se mene tiče, ne seli ništa.
Možemo dalje o tome, zašto ne...
EDIT:
Pa na kraju krajeva, roboti će i igrati veliku ulogu u tim putovanjima u svemir. Kada smo kod toga, imam film o Neilu Armstrongu, First Man sa onim donedavnim dječakom, sada "velikim mladim US glumcem" Ryanom Goslingom u glavnoj ulozi. Kao, rađen je po knjizi, traje 2 sata i 20 minuta, no isti slučaj kao i sa WALL*E - imam ga tjednima, a nikako da ga pogledam. Ne privlači me nešto. Možda zato što ni sam ne znam što da mislim o toj priči o odlasku na Mjesec. Nisam nikakav teoretičar zavjere, samo nisam dovoljno "uvjeren" da se to zaista desilo. Znam da ti i svi ovdje jeste, nemojte mi zamjeriti na tome.
Samo objašnjavam mogući razlog zašto me film nije privukao, imam neku fobiju od cijele te teme, kao Smayoo od HBO-a, tako nešto...
30.12.2018 | 17:53
Kloba kaže:
Pa na kraju krajeva, roboti će i igrati veliku ulogu u tim putovanjima u svemir. Kada smo kod toga, imam film o Neilu Armstrongu, First Man sa onim donedavnim dječakom, sada "velikim mladim US glumcem" Ryanom Goslingom u glavnoj ulozi. Kao, rađen je po knjizi, traje 2 sata i 20 minuta, no isti slučaj kao i sa WALL*E - imam ga tjednima, a nikako da ga pogledam. Ne privlači me nešto. Možda zato što ni sam ne znam što da mislim o toj priči o odlasku na Mjesec. Nisam nikakav teoretičar zavjere, samo nisam dovoljno "uvjeren" da se to zaista desilo. Znam da ti i svi ovdje jeste, nemojte mi zamjeriti na tome.
Samo objašnjavam mogući razlog zašto me film nije privukao, imam neku fobiju od cijele te teme, kao Smayoo od HBO-a, tako nešto...


Nisam ni ja još pogledao taj film. Što se tiče temeljenja na povijesnoj i biografskoj priči, nitko ti ne brani da zanemariš taj "stvarni" kontekst i film pogledaš kao fikciju
30.12.2018 | 17:59
Zaboravio si PayPal
30.12.2018 | 18:15
Gjuroo, sve pet - možda ga baš sada okrenem - ali dvojim između Gandija, kojega bi pogledao drugi put i znam da je izvrstan (ovaj oma ocjenu 7.5 po iMDB-u), i Gettysburga kojeg nisam nikada pogledao, a isto je kao izvrstan (također film iz devedesetih). Gleda mi se nešto, ali provjereno dobro. I sada sam ne u dvojbi, već u trojbi.
Ponavajući sebe, završit ću na nečemu desetom kao sinoć tom dokumentarcu...
EDIT:
Inače, kada se nešto predstavlja kao povijesna činjenica, iako je igrani film - imam tu manu da vjerujem u sve prikazano. Lakovjeran sam. To već svi znate. To si objašnjavam tako što danas filmovi koji se (kao) baziraju na povijesnim činjenicama moraju puno više potruditi da sve bude realnije, neke stvari istinitije jer se lako daju provjeriti na netu i tako dalje.
A s druge strane, svjestan sam da sam sebe varam vjerujući svemu i svakome.
Faličan sam, jebiga...
Nisam robot.
Moderatori: Bertone

Vikalica™

Zadnja poruka: pred 2 sati, 19 minuta
  • Zdravac: @ZeljkoB Odličan motor, takvi motori su baš po mom guštu! Lijep i ugodan za voziti.
  • Zdravac: @Riba Pa što čekaš, daj, zamjeni ulje, filtere i svječice, napuni bateriju, i lagano pranje. To će biti dovoljno, siguran sam! :)
  • Zdravac: Ajd, super, nisam jedini! Sad ide sezona, i gušt! Polako plan za moto trip na more...
  • ZeljkoB: Honda NC750X, ali sve manje vremena imam za voznje.....
  • Riba: Imam ja BMW 650CS, mozda ga reaktiviram nakon 10 godina stajanja u garazi. A imam i Vespu iz 1959, ta malo duze stoji. :)
  • Zdravac: Evo, ja ću prvi: YAMAHA XJ900 S Diversion, classic iz 1998., ide ko švicarski sat, čista mehanika, pouzdano do bola! :)
  • Zdravac: Jel imamo ovdje kolega ili kolegica, da voze motor? Ako da, koji?
  • zoranowsky: @air, u biti isti je pricnip, samo si sam sebi target :)
  • Air: Polako, polaku, kuda žurba, daj mi prvo link na to kako pročitati vlastite misli :)
  • smayoo: Za one koji ne znaju čitati misli - [link] :D
  • Borisone: Za one koji ne znaju čitati misli, koja je konfiguracija?
  • VanjusOS: pozdrav, treba li netko Mac mini M2, nekorišteno?
  • kupus: Ima takvih naravno. Iz mog skromnog iskustva takvi su u manjini.
  • smayoo: većina online trgovaca odbija slati na poste restante pa čak i na poštanski pretinac
  • kupus: zasto na osobnu adresu*
  • kupus: Zasto na adresu? Naruci na adresu postanskog ureda, tamo ce te cekat
  • drlovric: Imamo li koga iz Zupanje na forumu da bih mogao naruciti paket na njegovu adresu? :)
  • ecvis17: ok, tnx
  • smayoo: Piši u forum
  • ecvis17: pozdrav svima, imam stari MBP koji maksimalno moze voziti BigSur ... malo nisam vise u toku, gdje se danas mogu pronaci Combo installeri? Tnx
  • cariblanco: Čekao je da Hajduk osvoji prvenstvo i na kraju je odustao ;)
  • Yonkis: Od sada ćemo mjeriti vrijeme pre-JM and post-JM time
  • JOHN: Ako je vjerovao, neka mu dragi Bog pomogne i uzme sebi. Ako nije, opet nema veze……sve u svemu mislim da je živio dobar život!
  • smayoo: Ljudi... ode nam Joža Manolić... Nije šala.
  • accom: ne nadjem...
  • accom: jel postoji tema "must have apps"?
  • Riba: Vjerojtano koliko je Apple mapa detaljna.
  • Yonkis: Ili da otvorim temu u forumu?
  • Yonkis: Jedna osoba dok je bila u Beču, mogao sam vidjeti njenu lokaciju točno na kojem je katu i u kojem dijelu zgrade je bila (iPhone 14 u pitanju). Zna li netko koji su preduvjeti za takvo točno lociranje jer u Hrvatskoj to još nisam nigdje doživio? Vidim lokaciju ali ne u 3D.
  • m@xym: Uostalom, palčevi su na ovom forumu odavno prestali biti relevantni, a nama koji smo redovito ovdje niti ne trebaju da bi smo znali kakav je tko.
  • m@xym: Nerviraj se samo zbog onih koji su ti bitni, a nebitne ignoriraj, inače ćeš ostati bez živaca.
  • Vanjuška: Nema nervoze m@xym, ali da javno prozovem malog žapčića da bog sve vidi i sve zna :D
  • smayoo: Ja nemam.
  • zvone: Servisom naime...
  • zvone: ljudi ima li tko iskustva sa sercisom iklinika?
  • m@xym: Čemu nervoza zbog palčeva?! Evo ti još jedna gore ako te to baš toliko muči.
  • Vanjuška: LOL, puknem post i vidim 1 pozitivan palac gore, a imao sam ih 10 nakon onog Tinovog pushanja. Kaj je Žabac/Jura, opet me imaš na piku? :D
  • Kloba: Predizborna škola Željka Pervana [link]
  • Yonkis: Najljepše je kad ostane u “obitelji” :)
  • imjasminh: Mobitel prodan useru s Jabučnjaka :)
  • Zdravac: :)
  • Zdravac: Jel zna netko bez googlea odakle to?
  • Zdravac: ...Galebi, oj beli tići, poletite dole k jugu, ter moju pozdravite majku...
  • Gjuroo: Moj talent za poeziju nije skriven :)
  • Air: ...možda bi se razvili skriveni talenti za poeziju :)
  • Air: Da uredništvo ima smisla za biznis... brzo bi se reducirao broj vojnih stratega, predsjednika, trenera... :)
  • smayoo: @Air: :D
  • imjasminh: u biti cmd r xD
  • imjasminh: updatane slike mobitela u oglasniku - cmd f5 ako vidite stare slike...
  • imjasminh: Apple iPhone 14, 128GB, Midnight Blue - 89% - Spuštam na 450 EUR - [link]

Za vikanje moraš biti prijavljen.

Prijava

Prisutni jabučari

m@xym, Riba, rusty, Sank, smayoo, ZeljkoB, Anonimci (720)

Novo na Jabučnjaku

Teme

Poruke

Anketa

Kupujete li profesionalni Mac?

Čekam novi modularni Mac Pro - 48.5%
Novac nije problem, kupujem iMac Pro - 0.7%
Kupujem Valjak, baš je lijep i tih! - 0%
Kupujem polovni Mac Pro tower - 11.8%
Nadogradit ću postojeći Mac Pro tower - 2.9%
Običan iMac 27" mi je dovoljan za posao - 5.9%
Skromnih sam potreba, Mac mini je zakon! - 7.4%
Radim na terenu, mora biti MacBook Pro - 3.7%
Ne diram ništa, stari Mac služi me odlično - 10.3%
Kupujem PC kantu i prelazim na Windowse! - 8.8%

Ukupno glasova: 136
Anketa je završena dana: 08 Svi 2018 - 12:17
Page Speed 1.42 Seconds

Provided by iJoomla SEO