Svima veliki pozdrav.
Imam mali problemcic; htio bi iz ovakvog outputa izvuci brojke iza HF=, RMSD= i RMSF= koji se jos ponavljaju u fajlu 4 puta i da mi sa svim tim brojevima napravi jednostavu aritmeticku operaciju tip zbrajanja/oduzimanja; ili da mi to ode u neki fajl koji se moze importati kao tablica u Numbersu. Da li napraviti nekakav grep ili nest slicno i kako za nest sto se ponavlja? Jer u grep naredbi ne vidim svaki put brojku (jer sam mislio to rucno raditi i bacati sve u Numbers). Totalna sam neznalica u programiranju i u terminalu koristim ukupno 6 naredbi, tako da je svaka pomoc dobrodosla! Castim pivom najbolje rijesenje!
HVALA!
1\1\GINC-COMPUTE-6-11\\FTS\\RB3LYP\\6-31+G(d)\\C6H11Cl1N1O1(1-)\\DSAKIC\\15-
Sep-2009\0\\# opt=(calcfc,ts,noeigentest) freq rb3lyp/6-31+g(d)\\Title
Card Required\\-1,1\C,-1.381329385,-1.2621608515,-0.3777392117\C,-0.0
923565888,-1.3827143472,0.4481811945\C,0.0761183876,1.2437257362,0.224
494918\C,-1.3638342442,1.2527928777,-0.3518744167\C,-2.1672044512,-0.0
054233966,-0.0033516976\H,-0.3287768554,-1.8072944127,1.4449275675\H,0
.6017409066,-2.0864327816,-0.0404900366\H,-1.1385809369,-1.2171586922,
-1.4451169778\H,0.1387408824,1.8885519017,1.1173502114\H,0.7556308462,
1.6744607013,-0.5336528277\H,-1.8901696902,2.1152160833,0.0833359394\H
,-2.4294769425,-0.0358303567,1.0681754846\H,-3.0898183119,0.0545495546
,-0.5933752176\N,0.5367826218,-0.0886594843,0.5977599357\Cl,2.19005063
84,-0.1576472067,1.1837885575\H,-1.97389786,-2.1740958876,-0.213309726
2\C,-1.3539605804,1.4925356297,-1.9204562234\H,-0.8424252837,2.5019263
71,-2.0247917462\H,-0.5706971685,0.770375095,-2.3224624224\O,-2.550617
684,1.4019177365,-2.4980861244\\Version=IA32L-G03RevE.01\\State=1-A\\HF=
-825.3894501\/RMSD=2.006e-09\\RMSF=9.135e-06\\Thermal=0.\\Dipole=2.0456459
,-1.6617783,2.8032118\PG=C01 [X(C6H11Cl1N1O1)]\\@

Daj za početak file zip-aj pa priheftaj da budemo načisto kako su prelamani redovi.

Prilozen

File nema homogenu strukturu. U kojem dijelu treba tražiti? Pretpostavljam ovom zadnjem, koji počinje iza



ili?

zapravo svi podaci koji mene zanimaju nalaze se u onom dijelu neposredno prije quote-ova
i u primjeru 2 puta se pojavljuju ovi veliki odsjeci neformatiranog teksta sa puno brojeva sa puno kosih crta koje odjeljuju pojedine zapise.
Nazalost Leave Link nije dobar pokazatelj odkuda treba ici; razlicit je za razlicite vrste racuna.

Moraš biti jasniji. Ti vjerojatno gledaš u ovo svaki dan, ali uzmi u obzir da je meni to samo hrpa brojeva.

Što je to što nazivaš "quote-ovi"?

Ja u primjeru ne vidim da se pojavljuju 2 odsjeka, nego samo jedan. Po čemu se vidi gdje počinje jedan, a završava onaj prethodni?

Nije baš jednostavno pretraživati po nečem što se nalazi odmah ispred nečeg prepoznatljivog. Daj definiciju nečega što označava početak zanimljivog bloka.

I ja sam zbunjen.


Nešto promašujem ili se u fajlu koji si poslao spomenuti keywordi pojavljuju samo jednom? I to baš tamo gdje je smayoo pitao (u nastavku odlomka koji počinje sa "Leave Link").


Možeš biti malo konkretniji (nakon što utvrdimo gdje su zapravo podaci, vezano uz prethodno pitanje)? Ako sam dobro shvatio ovo što quotam, imaš (iako ih ne vidim u poslanom fajlu, dakle - negdje su drugdje) 4 seta od po 3 varijable (HF, RMSD i RMSF). Što točno želiš s njima napraviti ("pronaći prosjek HF-ova" bi bio jasan zadatak)?

Zašto ti je svejedno hoćeš li dobiti samo vrijednosti tih 12 varijabli ili imati podatke u Numbersima? Podatke svakako treba prvo "iščupati", ali nakon toga te samo korak dijeli da automatski odu u Numbers (ako je to svrha). S Numbersima u priči, najelegantnije rješenje je AppleScript. Bez Numbersa je (vjerojatno) rješivo sa grepom, sedom, awkom, cutom...

S obzirom na human-unreadable format regexa (za sva navedena unix rješenja ), ja bih se vjerojatno i ovdje odlučio na AppleScript. Ako su podaci u "Leave Link" bloku, prvo što bih napravio (nakon što nađem blok) je spanjanje svih linija teksta u kontinuirani string, da kod parsanja ne moram voditi računa o line breaku. Parsanje bih radio tražeći keyworde i to, ako idu uvijek istim redom, jednoga za drugim (u protivnom bih svaki put trebao pretraživati cijeli blok). Kad dobiješ tražene stringove, pretvoriš ih u brojke i radiš s njima što si već naumio raditi. I to proslijediš u Numbers, ako tamo moraju završiti u konačnici. Nije baš 5 minuta posla, ali je svakako rješivo.

Ja mislim da čovjeku treba ovo:

1. naći brojeve koji se nalaze iza HF=, itd. Nazovimo te brojeve varijablama istih imena (dakle HF, RMSD, RMSF)

2. Za svaku od gornjih varijabli pročešljati cijeli blok i pobrojati koliko se puta ta vrijednost pojavljuje

2.1. ako se pojavljuje 4 (ili više?) puta pribrojiti (oduzeti) nekoj zajedničkoj sumi

Ali slažem se, projektni zadatak nije baš najjasniji...

Da malo pojasnim sto je zapravo sve ovo: Bavim se kemijom, odnosno kemijskom simulacijom. To radim tako da programskom paketu Gaussian zadam odredjenu geometriju i razinu na kojoj hocu da se nesto napravi i onda on po svojim algoritmima radi i na kraju dobijem ovakav output. U prvom dijelu outputa je zapisano sto sam ja od njega trazio, konvertira to u sebi svojstven format za daljnje obradjivanje i onda krece u stepovima raditi i njih mozete razlikovati po tome sto iza svakog stepa zapisanog u output slijedi tablica Converged. Na kraju kada izoptimizira molekulu on daje sumarni zapis konacne geometrije i konacne energije za tu razinu. I taj dio izgleda kao dio kojeg sam stavio u prvom postu. Poslije njega su jos samo podaci o tome koliko procesora, koliko memorije i koliko vremena je utroseno. Nakon tog prvog dijela program nastavlja output sa izracunom frekvencijai jos drugih energija i onda to zapisuje na slican nacin kao i prvi dio u istom outputu. Do sada sam doslovno sve stvari koje sam trebao 'rucno' trazio uz pomoc less naredbe i trazenje unutar less-a naredbom // (standardna za find), te copy//paste-ao brojeve u Numbers za daljnji pregled.
Ali sada krecem sa novim tipom racuna u kojem su cetiri outputa stisnuta u jedan output i imam 4 varijable koje mi se ponavljaju u outputu koje moram izvuci. A naravno kada se to rucno radi onda dolazi do pogresaka, jer zaboravi se gdje se stalo, da li je vec uneseno i sl. I zato pomislih da bi bilo lijepo naci i izprogramirati neku malu skripticu koja bi mi otvorila moj *.log; potrazio moje HF, RMSD i RMSF i kopirao brojku neposredno iza nje do prve //, te da bi mi to napravio za sve istance koje se nadju u outputu u neki novi text fajl iz kojeg bi te podatke ili direktno bacao u Numbers i tamo preko malo slozenije formule dobio potrebne parametre ili jos napisao jednazbu u samoj skripti koja bi mi izbacila gotove brojeve.

Ispricavam se na nerazumljivosti odpocetka, ali nisam htio toliko zamarati svojim objasnjavanjem...
I skuzio sam da sam vam dao jedan od losijih outputa, ali problem je kada su mi svi po nekoliko mb veliki, pa cak i zipani nisu puno manji...

ali ovaj je reprezentativniji...
HVALA SVIMA


THERE'S NOTHING SO GREAT AS THE GREAT OUTDOORS.

-- ZIGGY

Malo je jasnije.

Pojavljuju li se HF, RMSD i RMSF uvijek u paketu? Ako nije jasno pitanje: da li je moguće da u prvom bloku informacija postoji, primjerice, samo HF i RMSF, a u drugom sve tri varijable?

Naime, ako se pojavljuju UVIJEK sve tri varijable (i još ako su uvijek izlistane istim redom - jesu li?), olakšano je traženje jer se prvo traži HF, potom RMSD i na kraju RMSF. Ponavlja se do kraja datoteke (dakle, može biti N setova) i zna se da je prvi nađeni HF vezan uz prvi nađeni RMSD. U protivnom treba i na to paziti.

Baš ti treba unixoidno rješenje ili ti treba bilo kakvo rješenje, samo da ne moraš pješke to raditi?

Evo polovičnog rješenja (možda nekome pomogne doći do konačnog):



Ovo gore će pretražiti onaj fajl koji si zadnje poslao i vratiti dva broja: 2.060e-05 i 2.061e-05, svakog u svom redu.

Na isti način možeš dobiti HF i RMSD varijable. U konkretnom slučaju, radit će i za HF. Međutim neće raditi za RMSD - vratit će samo drugi broj, prvi će preskočiti, a razlog je taj što se linija u koju je upisana prva RMSD varijabla lomi "tamo gdje ne bi trebala".

Konačno rješenje bi se trebalo pozabaviti i tim problemom. Dalo bi se sa sedom trimati space na početku svakog reda i usput spojiti sve retke u kontinuirani string - to bi riješilo problem loma, ali pojavio bi se novi problem - ovako napisan expression vraća samo zadnji match u liniji. Dakle, kada bi se koristio nakon što je kompletan tekst strpan u jednu liniju, vratio bi samo jednu brojku. Loš plan. Odnosno, OK plan, ali očito treba doraditi expression.

BTW, imaš li ikakav utjecaj na output? Pomoglo bi da ne radi nasilno formatiranje, odnosno da pušta "kobasice" umjesto da ih lomi. Onda bi i ovo gore bilo upotrebljivo (pod uvjetom da svaka "kobasica" sadrži samo jedan identifikator: "HF=" i društvo).

Bilo kakvo rijesenje, samo da nije rucno, je zadovoljavajuce!
Pokusat cu utjecat na output; maju negdje navodno komande koje bi trebale se pozabaviti bas formatom outputa. Sto se tice brojeva u svakom pojedinom paketu, ne pojavljuju se svi svuda; neki parametrise pojavljuju poslije optimizacije, a neki poslije vibracije.
HVALA PUNO!

Probao sam ovu naredbu, ali nista mi nije vratilo
Ima li jos kakva ideja; mozda nekakva applescripta; jer moji jadni pokusaji u automatoru su zbilja vrijedni sazaljenja....

Naisao sam danas na jednu malu perl scriptu (gaussot.sourceforge.net/) kojoj malo fali da bude jos bolja. Ima li netko ideju kako da ju se modificira da trazi ono sto ja trebam i da mi sve to zapise u format kojeg cita Numbers ili Excel za daljnju obradu?
I Djipi i Smayoo javite kada se ide na pivu...

while($line = <STDIN> ) {
if($line =~ /SCF Done/) {
@entries = split(/\\s+/,$line);
$energy = $entries[5];
}
else {
next;
}
}
printf STDOUT "%5.10f\\n ", $energy;

Ups. Sad tek vidim da su "pojedeni" backslash karakteri bez obzira što sam ih ogradio sa code tagom. Mrmlj. Evo, ispravio sam, kopipejstao za probu u terminal i sad radi. Ali i dalje polovično.

Evo i konačnog rješenja, zahvaljujući našem dragom adminu, Hrvoju.

Skripta u attachmentu. Pozovi je s imenom fajla koji treba parsati (npr.: ./script.sh flip_cl.eq.log) i izlistat će sve HF/RMSD/RMSF na koje naiđe. Output za fajl koji si poslao je:

HF:
-711.4790202
-711.4790202

RMSD:
8.977e-09
6.393e-09

RMSF:
2.060e-05
2.061e-05

Sama skripta se svodi na to da tri puta pozove ovakvu kobasicu:

Logika skripte (vjerojatno nikome, osim Hrvoju, nije baš jasna na prvi pogled ) je sljedeća:

1. "cat" sadržaj fajla koji je zadan kao argument skripte isprinta i kroz pipe pošalje naredbi "tr".
2. "tr" poubija sve end-line karaktere i tako svede kompletan fajl na jednu, kontinuiranu, liniju teksta.
3. Rezultat te operacije ide ponovo naredbi "tr", ali ovoga puta "tr" ima zadatak poubijati sve razmake. To riješi problem viška spejsova koji se u originalu nalaze na početku svake linije, ali usput počisti i sve druge potencijalne probleme.
4. "sed" ima jednostavnu zadaću: svaki keyword (ovdje je to "HF=" ) zamijeni sa new-line karakterom. To nam garantira da će se tražena brojka naći na početku svakog novog reda. Prvi red je izuzetak, on sadrži sav potencijalni višak karaktera DO prve brojke i na kraju ćemo ga eliminirati koristeći naredbu "tail".
5. Nakon što "sed" obavi posao, "cut" ima zadatak ukloniti sve karaktere od separatora (backslash) do kraja linije.
6. I, kao što sam već pojasnio, na kraju "tail" eliminira prvu liniju koja sadrži gomilu smeća. Ono što ostane su traženi podaci.

Zamjenom "HF=" sa drugim keywordima ("RMSD=" i "RMSD=" ), bit će vraćeni karakteri omeđeni s tim keywordom (s lijeve strane) i s backslashem (s desne strane - za desni dio se brine "cut" ).

Jedina "kvaka" u gornjem kodu je kako umetnuti new-line karakter u naredbu (ako je tipkamo u terminalu - nisam siguran da li će kopipejst raditi, zato je skripta u attachmentu. *EDIT* Provjerio sam, radi kopipejst, a pomaže i ako "$1" zamijeni s "flip_cl.eq.log" ). Umećemo ga tako da utipkamo prvi red, do backslasha. Potom pritisnemo ENTER i nastavimo (u drugom redu) tipkati drugi red. Na taj način smo umetnuli new-line karakter u naredbu. Trebalo bi raditi sa "\\n", ali ne radi. Whatever.

P.S. AppleScript rješenje bi bilo BITNO duže i beskonačno sporije. Ali ovu skriptu je moguće pozvati iz AppleScripta pa s dobivenim podacima dalje baratati u Numbersima ili gdje već.

Ljudi zakon ste!
Za ovo dobijete i pivu i cevape!
Daj se samo javite na pm. raid daljnjeg dogovora, jelte...

I jos jedno brzopotezno; jel se moze napraviti da umjesto da se brisu space-vi da se od njih rade nove linije opcijom sed, ali da se linije duze od recimo 18 znakova obrisu?
Jer shvatio sam da mnoge druge energije i ostale vazne stvari koje mi se po outputu pojavljuju nisu locirane samo u sumarnom dijelu nego se nalaze po cijelom fajlu.
JOS JEDENOM HVALA PUNO!

Zanemarite proslu poruku; poceo sam se malo igrati sa skriptom i samo sam ubacio izmedju cat $1 i prve tr naredbe grep --after-contex=1 HF= $1 i sve radi kao vurica. To sam napravio zato jer mi u drugim outputima daje uz HF i razlicita druga rijesenja, a u cijoj blizini nije nikakva kosa crta. Tako da mi maksimalno onda moze pokazati dva reda spojen u jedan, a ne kao dosada da mi izlista red dugacak pola stranice (prvi /).
Jos jedna Mac prica sa sretnim zavrsetkom zahvaljujuci najboljoj mac zajednici na svijetu

Sad očekujemo od tebe da otkriješ lijek protiv raka.

Polagano... Sada me pronsaop zezati na jednoj bezveze liniji koda, koji je zapravo copy/paste-an odprije ali tail ne radi kako treba... vrlo intrigantno... i grep ne radi jos skroz onako kako sam htio (gad jedan) jer je output kojeg obradjujem puno kompleksnije strukture. Mentor mi danas rekao da u slijedecem failu moram traziti slijedece: HF=, QCISD(T)=, MP4SDTQ=, MP2
Ali mi javlja neku gresku na 7. redu koju jos ne shvacam i jos bi htio eliminirati ako iza nisu brojevi vec su slova.
Postana je scripta i fail...
Pa pogledajte i kritizirajte moje bijedne pokusaje dorade skripte! Svako pljuvanje je dobrodoslo!

Nisam baš shvatio što želiš napraviti s grepom, ali ako je ovo...

HF:
-825.3581025
-825.3581025
-822.2605176
-822.2810974
-822.2999564
-822.420415

RMSD:
7.137e-09
1.439e-09
3.453e-09
3.736e-09
8.083e-09
6.184e-09

RMSF:
2.518e-05
2.518e-05

QCISD(T):
-823.6725545

MP4SDTQ:
-823.6720611
-823.7222423
-824.0506125

MP2:
-823.5435139
-823.5904747
-823.895627
-824.7572268

...output koji ti treba, onda je rješenje u skripti koju kačim.

Nova skripta radi isto što i jučerašnja, s tom razlikom da keyword nije, primjerice, "HF=" nego "\HF=". Čemu to? U ovom g3b3.log se vidi da imaš stringove tipa "IROHF=". Ako tražimo samo "HF=", nastane kaos jer i "IROHF=" odgovara uvjetu. Sličan problem imaš i sa QCISD(T) - pojavljuje se u sklopu rezultata (što je OK), omeđen s backslashima, ali se pojavljuje i van tog bloka (što ti, pretpostavljam, ne treba). Dakle, rješenje je univerzalno i svodi se na dodavanje jednog backslasha unutar sed-a. Naravno, potrebno ga je escapati, zato su dodana dva (u skripti).

Jbg, Đipi, nema me dva dana i vidi što učini...

Dogan je kriv! Mene i dalje kopka kako riješiti problem koristeći isključivo sed.

Mucilo me to sto nisam skuzio za dva bekslesa...
HVALA PUNO! I ozbiljno mislim na cevape i pivu...

Prvom prilikom kad se sretnemo uživo.