Parašytas naujas tekstukas apie Levenberg-Marquard algoritmą. Šis algoritmas dažniausiai naudojamas daugiasluoksnių perceptronų tipo neuroninių tinklų apmokymui.

Įkeltas naujas tekstas apie pagrindinių komponenčių analizę. Jį paskaityti galima čia

Šiandien atėjo naujas siuntinys - kompozitoriaus David Cope knyga Computer Models of Musical Creativity.
Dar tik permečiau akim - pirmas įspūdis tai netrivialus priėjimas prie problemos. Jeigu šios knygos autorius
nebūtų kompozitorius, kažin ar būčiau ją pirkęs, o dabar tikiuosi sužinoti kažko naujo ir naudingo.

Iš pradžių autorius atkreipia dėmesį į standartinius metodus: Markovo grandinės, genetiniai algoritmai,
neuroniniai tinklai, fuzzy logika ir pan. Likusi knygos dalis skirta įvairių muzikos kūrinio aspektų
algoritminei interpretacijai. Šią knygutę pavartyti turbūt būtų įdomu ir kompozitoriui :-)

Nauji skaitiniai: Apie SOM neuroninius tinklus ir apie PSO algoritmą

Naujoje CALab versijoje galima išsaugoti ir ląstelinių automatų elgesio AVI failus, pvz.

• SOCA(7.6 M)
• Game of Life (2.3 M)

Aptikau tokį įdomų MATLABO toolbox'ą . Jis yra skirtas darbui su MIDI failais. Įdomu kokių statistinių savybių turi Bacho fugos ar Mocarto sonatos ;).

Galima pasilinksmint biškį :). Imam Bacho kanoną iš Fugos meno ir Australijos dolerio kursą (šiokią tokią jo transformaciją, bet čia neesminis dalykas).
Natų trukmės išlieka tokios kaip parašė Bachas, o jų aukščiai - tokie kaip parašė rinka, sąlygojusi AUD vertę - galite pasiklausyti :).Užtenka mokėti viena nata teisingai pratęsti šią muzikėlę ir tamsta milijonierius :). Muzika trumpesnė nei originale, nes mano turima laiko eilutė ne tokia ilga kaip fuga.

http://www.makhfi.com/realworld.htm Daugybėje uždavinių, kuriose tinka Black-box modeliai naudojami neuroniniai tinklai. Kai kurie šių uždavinių turi didelę praktinę reikšmę, o DNT teorijoje ir dabar yra ką veikti, nors šiems modeliams daugiau nei pusė šimtmečio. Aukščiau esančioje nuorodoje aprašyti kai kurie įdomūs DNT taikymai.

Aptikau tokį įdomų dokumentą. Jame galima paskaityti kaip paprastos tiesinės algebros žinios naudojamos sistemoje, kuria naudojamės beveik kasdien :)

Įdėjau naują straipsnį (savo magistro darbą) apie neuroninius tinklus su matriciniais įėjimais. Jame pasiūlytas iš išnagrinėtas vienas daugiasluoksnio perceptrono variantas su matriciniais įėjimais. Kai paslėptas sluoksnis yra vienas, modelio išraišką matote kairėje esančiame paveikslėlyje. Prie straipsnio yra ir MATLAB paketas.


[Neuroninis tinklas su matriciniais įėjimais ]

Information Theory, Inference, and Learning Algorithms, David J.C. MacKay  - puiki knyga. Visko dar neperskaičiau, bet parašyta tikrai aiškiai, yra daug uždavinių, iliustracijų ir pavyzdžių.
Turiu tik pdf failą (berods jau 6 leidimas, tad nudailinta kaip reikiant).

Knygoje aprašyta nemažai visokių triukų apie neuroninius tinklus su orientacija į taikymus finansuose, medžiaga pateikta be įrodymų.Yra nemažai matlab'o kodo pavyzdžių, be to dar galima rasti įdomių konstrukcijų, kurių nėra  Haykino (NN klasika :-) knygoje. Dėstymo stilius aiškus, bet žinoma geriau turėt kažkokį supratimą apie NN prieš pradedant skaityt. Turėtų pasitarnaut mano magistriniam, kuris bus susijęs su šia tematika. Knygą pasiėmiau šiandien, tad daugiau pastabų pastebėt pabandysiu vėliau.

Įkeltas naujas straipsnis Neuronų tinklų panaudojimas bioinformatikoje. Autorius - Matas Vaitkevičius (čia jo bakalauro darbas). 

Paprastas matematinis hackas kaip iš anksto apskaičiuoti pašto serverio disko dydį. Skaityti.
(po biškį pratinuosi rašyt angliškai, tikiuosi lankytojai už tai labai nerūstaus).

Įkeltas naujas straipsnis apie genetinį programavimą (angliškai). Atnaujintas straipsnis apie ląstelinį automatą Įkeltas straipsnis apie naują ląstelinio automato taisyklę.

Atėjo ilgokai laukta siunta iš amazono - Wolfgang Banzhaf, Peter Nordin ir kt. knyga Genetic programming. Medžiaga išdėstyta lengvu stiliumi. Informacijos jos naudojimui pakanka, yra aprašyta nemažai taikymų ir idėjų. Šiek tiek nuvylė matematikos stoka (pvz. tikimybė apibrėžiama kaip statistinių dažnių riba :). Iš dalies matematikos trūkumas privalumas - proga pamąstyti. Turėdamas laiko, pabandysiu surengti varžybas tarp klasikinių neurotinklų ir GP :).
 Trumpai apie knygą: iš pradžių įvado ir visiems žinomų biologinių palyginimų pagalba sugadinama 53 lapai popieriaus. Toliau visokiem mathematical basics and computer science backgound sugadinama dar 49 lapai popieriaus ir prasideda įdomūs dalykai, kurių ir laukė skaitytojas (knyga turi gerus 400 lapų). Knygos gale nemaža bibliografinė rodyklė ir nuorodos į tematiką atitinkantį softą.Tikiuosi vasaros pabaigoje apie GP šį tą išmanyti :).

Keletas įdomių nuorodų svetainės tematika:

http://www.aimlearning.com/ - kaip tvirtina autoriai, efektyviau už daugelį klasifikavimo/numatymo metodų, įskaitant neurotinklus ir support vector machines.
http://alphard.ethz.ch/gerber/approx/default.html - Javinė Koza algoritmo realizacija (iš populiacijos užaugina kreivę). Neskaičiau bet įtariu kaip veikia :-).
http://gplab.sourceforge.net/ - genetinio programavimo toolboxas matlabui.

 

Patobulinta SOM klasė (seniau viską kažkodėl buvau sudėjęs į vector <som_Node> (ai prisiminiau - tai buvo mano pirmas bandymas su stl :) ). Vakar prieš miegą biškį pabandžiau pataikyt savo klasę - daug patogiau SOMą sudėti į 2d masyvą. Ką ir padariau dabar. Taip pat galima vizualizuoti n-mačius somus grafiškai (bet neefektyvus tas metodas, reiks paieškoti kito). Žodiu viską atsisiųsti galite iš sekančio linko: Som klasė (nauja) ir demo.

Patalpintas naujas straipsnis - Avida sistmos populiacijos statistinė analizė

Nusipirkau naują knygą: Cristoph Adami Introduction to artifical life. Bendrai, pirkiniu patenkintas - jeigu neesate giliau domėjasi alife, čia rasite namažai naudingos informacijos: ląsteliniai automatai (tiesa, apžvelgiami gana paviršutiniškai), šiek tiek info apie informacijos teorija ir kodavimą su aliuzija į bioinformatiką, taip pat apie statistinę mechaniką iš gyvybės pusės. Taipogi apie tokias sistemas kaip tiera, avida ir amoeba. Gaila, kad prie laptopo važiuodamas nepasiėmiau cd-rom'o, nes prie knygos yra ir cd :). Maloniausias įspūdis skaitant, kai pažiūri į primištas mokyklines chemijos ir biolgijos žinias pro matematinį žiūroną :).

Įdomus dalykas: Neural gas . Idėja panaši kaip SOM, tik neuronų skaičius nėra fiksuotas, o optimizuojasi mokymo eigoje.

 

 Ir dar ant greitųjų nulipdžiau šiokią tokią SOM (self organizing maps) klasę, bei su bcb padariau nedidelį jos taikymėlį.
 SOM demo (klasė ir demo). Plačiau apie SOM galima paskaityti pvz. čia

 Įdomu kaip atrodytų Lietuvos įmonės SOM žemėlapyje (čia visai įdomu, tik reikia normalių duomenų)?  Arba kaip daugiabučio namo gyventojai (įisivaizduot čia lenga - vaikai vienam kampe, bobutės kitam o kas liko per vidurį :), bet būtų įdomu pamatyt konktrų vaizdą. 

Atsirado laisvo laiko - padariau nedidelę programėlę judesio išskyrimui iš video streamo (reikalinga USB web kamera).
Programėlę atsisiųsti galite iš čia: judesio išskyrimo programa.

Naujienos papildymas: įdėtas MPEG failiukas su judesio detectinimu (dvi WTA eilės: pagal x ir y ašis, skaičiuojam kur daugiausiai pajudėjusių taškų ir brėžiam dvi statmenas tieses)

reikėjo ištrinti porą postų, tai netyčia padariau delete from forum_posts where date > "2005-06-25"  nenurodęs kategorijos .. :).
Sory kieno postus ištryniau, ten ir mano viena poilgė rašliava prasmego..

Šia ir kiti mano puslapiai gyvuos tik porą savaičių - išvažiuoju iš Šiaulių ir pasiimu serverį. Po nedidelės pertraukos puslapių veikla bus atstatyta. Jeigu kas galit pasiųlyti paparkuoti kokiam mėnesiui porą domenų - būsiu dėkingas.

Povilas.

Neblogas resursas šia tema - http://homepages.inf.ed.ac.uk/rbf/BOOKS/VERNON/vernon.htm

Įdedu DSP(daugiasluoksnių perceptronų) klasę (pagrinde ja apgaubtos visos PETRO DSP funkcijos). Šios klasės pagalba galėsite kurti DSP tinklus bei juos naudoti savo programose labai paprastai (žr. test.cpp). Klasę su naudojimo pavyzdžiu galite atsisiūsti čia:
---
2005-06-03 įdėta nauja klasės versija [ DSP klasė ]

 

• Benaršydamas internete vakar aptikau gerą matematinių resursų šaltinį (R.Vilko puslapyje) http://fmf.ktu.lt/vilkas/.
• Kam įdomi tikimybių teorija - galit pabandyti paspręsti uždavinių iš Kolmogorovo studentų olimpiados -http://mech.math.msu.su/probab/olimpia/olimpia.htm (man atrodo, kad tie uždaviniai nėra iš lengviausių, nors ir per daug nesigilinant keletą išspręsti išėjo :-).

Galutinė mano diplominio darbo Klasifikavimo metodų palyginimas versija, kurią rytoj ketinu nešti į katedrą. Jeigu įdomu - prašom žvilgterti.

Penktadienį mano IPT pakeitė IP adresą, tad turėjau didaus malonumo rašinėti laiškus į litentą, perkonfigūruoti DNS serverį, prarasti krūvą laiškų ir kt. Na tikiuosi dažnai tokių fičkių nebus..

Dvi nuorodos Jūsų pamąstymui:
http://bioinfo.mbb.yale.edu/mbb452a/intro/
http://perkunas.vtu.lt/filosofija/zarat/

Nors dabar ir labai užsiėmęs surezgiau šiokį tokį tekstuką apie Hopfildo tinklus.

p.s.
Visi kas man rašėt laiškus ir prašėt vienokio ar kitokio helpo - truputį teks palaukti
(arba pasidaryti/išsiaiškinti patiems).Kai baigsis mokslai - pažiūrėsiu kuo galiu padėti.

Laikas po biškį slenka ir nenumaldomai artėja sesijos džiaugamai. Tad po biškį tenka rašyti savo bandymų rezultatus ;-) į didelį failą.

 (genomo klasifikavimo uždavinio sprendimas. 0.9 beta)
--- [ kol kas šį tekstą ar jo fragmentus publikuoti ar naudoti kitaip negu skaitymui draudžiama ] --

Benaršydamas Internete aptikau įdomią programėlę:
http://www.lbreyer.com/gpl.html
klasifikuojančią tekstą (dirba su Bajeso tinklais). Kiek žiūrejau pavyzdžiais, esančiais prie jos tvarkosi lyg ir neblogai, bet kai daviau genus paklasifikuot (ACGT sekas) tai visąlaik grybą ( )  rodydavo.

Visi kas turi web kamerą gali išbandyti programą, kuri iš paveiksliuko išskiria žmogaus veidą.
3 megabaitų demo versiją galite parsisiųsti čia

Į programų skyrelį įdėta C++ klasė skirta darbui su diskrečiaisiais Hopfildo neuronų tinklais.
Prie klasės yra nedidelis naudojimo pavyzdėlis.

• Į svetainę integruotas AIML botas. Nors jo duombazė labai maža (keletas megabaitų AIML kodo), bet keletu žodelių persimesti turbūt vistiek verta :).
• Boto duombazė atnaujinta (~papildyta beveik dvigubai, nors, aišku, yra dar labai maža). 

Bakterijų DNR analizė neuroniniais tinklais Šis straipsnelis apie DSP (daugiasluoksnio perceptrono) panaudojimą genomo analizei. Nagrinėjami du genomai: Bordetella bronchiseptica ir Streptococcus pyogenes SSI-1.

Jeigu rimčiau domintės dirbtinių neuronų tinklų teorija ar dirbtiniu intelektu - rekomenduoju ] Simon Haykin   Neural Networks. Comprehensive foundation  

Šioje knygoje rasite: 1. Vienasluoksniai ir daugiasluoksniai perceptronai su ilgais ir visai nenuobodžiais išvedžiojimais. 2. Radialinių bazių funkcijos. 3. Suport vector machines. 4. SOM'ai. 5. Neurotinklo evoliucija statistiniu požiūriu. 6. Hopfildo tinklai ir dar daug ko.. Amazone knyga kainuoja 117 $, bet geriau paieškojus turbūt galima gauti pigiau.

Amerikiečiai ketina siūsti į Iraką robotus
Neuronų tinklai padeda medikams
Genetiniai algoritmai su Java apletų iliustracijomis

Sukėliau daugumą senų savo straipsnių iš http://ik.su.lt/~pdaniusis/ai. Planuojami dar du straipsniai: apie daugiasluoksniį perceptroną ir apie jo taikymą bakterijų genomo analizei. Jeigu turite ką nors parašę ar norite parašyti ir patalpinti čia - drąsiai siųskite. Su malonumu įdėsiu. Povilas.