BC HAJDU Systém pre spracovanie obrazu pre antikolízne systémy na báze knižnice OpenCV a mikropočítača Raspberry Pi
- BC HAJDU 7. konzultacia utorok 29.12.2020 18.00-19.00
ULOHY:AGENDA:
1. Stefan zaslal pracu k BCP1 [1] a clanok [2][1] c:\Users\Juraj\Downloads\201202 AGENDA FIIT Vedenie zaverecnych prac\BC HAJDU\BCP1_Štefan_Hajdú.docx
[2] c:\Users\Juraj\Downloads\201202 AGENDA FIIT Vedenie zaverecnych prac\BC HAJDU\Effective traffic lights recog-.pdfPRACA:
— veduci prace je dr. JELEMENSKA (Doc. RNDr. Pancik je odborny konzultant)
— odkazovanie na zdroje zmenit na ISO690 prvy prvok a datum – na SK vysokych skolach je to povinne
— doplnit do 3.2 a 3.3 co tam bude— podla [1] by tam mala byt kapitola X.ZHODNOTENIE . Tam dat vlastnymi slovami co som doteraz urobil, co by som chcel urobit a co by malo byt mojim prinosom prace. Pokojne sa to moze zopakovat to co je v kap.3 V texte co by som chcel urobit treba prejst zadanie vetu po vete a malo by sa to v tom objavit ? Zadanie prechadzaju vseci.
— Musia tam byt explictne uvedene vybral som metodu, realizoval na PC a portoval na Raspi (musi to byt v uvode, zhodnoteni). Zhodnotenei = odpocet naplnenia zadania – ked sa konci praca alebo pise sa priebezny stav prace. Zadanie Bcp je zmluva o dielo – v zhodnoteni sa urobi odpocet zmluvy o dielo.
— tema je velmi siroka a to, ze sme si vybrali spolu s veducim prace doc. Pancikom – traffic lights zuzuje tuto siroku temu.
BC HAJDU 6. konzultacia piatok 11.12.2020 18.00-19.00
PRACA:
1. Prechadzame zaslanu pracu – musi byt formalna stranka robena hned od zaciatku
2. Presunut podkapitoly 1.1-1.3 do kap.2 (analyza) - plan BC HAJDU 6. konzultacia piatok 11.12.2020 18.00-19.00 BC HAJDU 5. konzultacia piatok 27.11.2020 18.00-19.00
ULOHY:
— odporucam zacat pisat spravu k BcP – cca 10 stran nakolko termin odovzdania je jasny 4.januar
— odporucam vytvorit obsah prace z navrhnutej struktury prace („zmergovat“ moj navrh a navrh Stefana zaslany emailom – vid dole)
— prazdne kapitoly budu obsahovat co tam bude este doplnene a odkazy na zdroje vo Worde
— zamerat sa pri pisani na kapitolu „Analýza problému“ a „Návrh riešenia“ – pozor ! nic sa nemusi urobit
— silno odporucam vytvorit aj zoznam literatury vo Worde zo spomenutych odkazov
— nezabudnut, ze:
— obsah podla [https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp.html?page_id=1862]
— forma poda [https://www.fiit.stuba.sk/buxus/docs/organizacia_studia/pokyny/ZP-clenenie-pokyny.pdf]
— to co ma byt v Bakalarsky projekt I [https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp1.html?page_id=1863] q
— hodnotenie toho co napiste v Bakalarsky projekt I bude podla v Bakalarsky projekt II [https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp2.html?page_id=3016 ]AGENDA:
— prikladam 201127 BC HAJDU Navrh obsahu a rozsahu.docx a prikladam do emailu aj vzorovu BcP kde sa WORD vyucil na tvorbu obsahu, odkazy na literaturne zdroje a praca so zoznamom zdrojov vo Worde (BP_Danica_Polakova_05.docx)
PRACA:
— urobili sme navrh obsahu a rozsahu – posielam ho emailom
— Mozne metody spracovania obrazu:
— 1. METODA: je tu potreba vyuzitia machine learning (ML) a klasifikatora pre rozpoznanie semaforov v OpenCV (je to sucast zadania BcP) –> zaberie to cas (t.j.sada fotiek)
— 2. METODA: dalej je tu moznost pouzitia template matchingu (TM) v OpenCV (netreba mat natrenovanu mnozinu)
— 3. METODA: spracovanie farieb
— OpenCV je perfektne na toto –> odporucam v analytickej casti popisat vsetky metody a potom si vybrat jednu a odskusat ju na PC a potom na Raspi3 s kamerou. Nasledne v diskusii uviest, ze v dalsom by sa dalo pokracovat
— existuju testovacie sady fotiek semaforov (10GB) urcene pre testovanie kameroveho systemu- BOSCH a HUNDAY –> treba sa pokusit ist metodou ML. Aj otestovanie testovacej sady by bolo prinosom prace.
— STEFAN poslal navrh obsahu:
KAPITOLA 1:
++ Úvod
++ Opísať všeobecne Opencv
++ Opísať všeobecne Computer Vision
++ Opísať využitie CV v driver assistant systems(DAS) a jeho prínosu pre vodičov
KAPITOLA 2:
++ opísať výzvy aký treba čeliť pri rozpoznávaní semafórov(TLR) v dôrazom na CV
++ opísať aktuálne používané metódy na TLR, metódy založené na machine learningu, model matchingu
++ opísať zvolený algoritmus pre zadanie BC, ako sa bude riešiť detekcia a ako rozoznanie farby
++ podrobnejšie opísať proces detekcie s opisom použitých funkcií z opencv
++ podrobnejšie opísať proces rozpoznania farby s opisom vhodných funkcií z opencv
++ opísať metódu overenia
— hodnotenie je v Bakalarsky projekt II [https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp2.html?page_id=3016 ]
Analýza problému 20 % Sú informácie v analýze vecné, presné a úplné? Je problém správne zaradený do kontextu súčasného stavu poznania (podľa typu projektu)?
Návrh riešenia 30 % Aká je miera tvorivosti preukázanej študentom v návrhu riešenia? Je navrhnuté riešenie v súlade so známymi prístupmi a metódami v príslušnej oblasti? Má prijateľnú úrovne abstrakcie v rámci návrhu riešenia? Sú použité známe techniky pri dokumentovaní návrhu riešenia? Zhodujú sa uvádzané údaje so skutočnosťou (napr. vzhľadom na vytvorený realizačný výstup, ak to zadanie požaduje)? - BC HAJDU 4. konzultacia piatok 13.11.2020 18.00-19.00
AGENDA:
— termin odovzdania BcP.1 je 4.januar 2020
— formalne clenenie BcP1 [https://www.fiit.stuba.sk/buxus/docs/organizacia_studia/pokyny/ZP-clenenie-pokyny.pdf]PROJEKT:
— presli sme si email komunikaciu – vid.www stranka kde sa formuluje zadanie na algoritmus LITRAC [PRILOHA]
— navrhujem dvojake overenie algoritmu LITRAC (OpenCV na PC/RAspi3 )– ako napisat sprievodnu spravu k BcP.1. – musi byt forma Bc. Prace
— obsah podla [https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp.html?page_id=1862]
— forma poda [https://www.fiit.stuba.sk/buxus/docs/organizacia_studia/pokyny/ZP-clenenie-pokyny.pdf]by malo ist o tieto kapitoly
— navrh obsahu sprievodnu spravu k BcP.1.:
— 1. kap. : Uvod (co predmetom prace, co je cielom a potom popisat jednotlive kapitoly spravy)
— 2. kap. : teoria co tam ma byt „Analýza problému Táto časť bakalárskeho projektu má:
— poskytovať obraz o stave riešenia daného problému známeho z preštudovanej literatúry (nielen informácie z prednášok, prípadne skrípt a katalógov),
— porovnanie podobných riešení, ich kategorizáciu s uvedením charakteristických atribútov atď., podľa charakteru bakalárskeho projektu
— zdôvodnenie voľby spôsobu riešenia a stručný opis celkového spôsobu riešenia (napr. v opise sa treba sústrediť na prípadné modifikácie použitých štandardných metodík a ich zdôvodnenie z hľadiska splnenia cieľov projektu)“
— NAS NAVRH 2. KAPITOLY :
— 2.1 Fyzika farieb Teoreticke vymedzenie pojmov z oblasti optiky, snimania a rozpoznavania farieb
— svetelne spektrum, co je farba, kvantifikacia farieb v technike — nadviazat tuto teoriu na pojmy v OpenCV – vydedukovat co by tam malo byt z hladiska fyziky farieb
— metody snimania a reprodukcie farieb, ako funguje farebna kamera a ako farby reprodukuju a ako sa meraju farby
— 2.2 Interpretacie a spracovanie informacii o farbe v OpenCV
— popisat funkcie v OpenCV urcene na spracovanie farieb
— popisat funkcie na snimanie obrazu
— 2.3 Opis snimacieho systemu na detekciu a rozpoznavanie farieb
— opisat Raspi3 a kamery a snimacieho cipu CCD kde je popis snimania farieb
— 2.4 Stav riešenia algoritmov detekcie a rozpoznavania farieb v obraze
— popisat algoritmy rozpoznavania farieb na zaklade popisu konkretnych pripadov pouzitia (napr. detekcia zrelosti ovocia )
— spomenut na com bezalo – resp. spomenut napr. to co robi OpenCV, alebo ine vypoctove platformy
— nezabudnut dopravne aplikacie na detekciu a rozpoznanie farieb semaforov [1][2] –> TO NAS VZOR
— 3. kap.: Navrh systemu na rozpoznanie farieb na semaforoch v realnej doprave
— Popis a navrh spôsobu riešenia a stručný opis celkového spôsobu riešenia
— popise sa system na objektivnu kontrolu vodicov v MHD v zmysle rozpoznavania farieb na smaforoch
— kreslit blokove schemy a vyvojove diagramy– 3.1. Popis systemu na rozpoznanie farieb na semaforoch v realnej doprave
— ucel systemu – objektivna kontrola vodicov MHD
— navrh systemu na zaklade napr. [1][2]— 3.2 Navrh riesenia systemu
— sw modul detekcia a rozpoznavanie semaforov v obraze
— detekcia a rozpoznavanie farieb na semafore
— detekcia: deteguje demafor v oraze
— rozpoznanie: rozpozna semafor v obraze
— modul vyhodnotenia – ten zastavi elektricku— 3.3 Navrh riesenia sw modulu detekcia a rozpoznavanie farieb na semafore
— popis NAVRHU samotneho algoritmu LITRAC— 3.4 Navrh sposobu overenia
3.4.1 Overenie mna platforme PC
— Overenie algoritmu LITRAC by sa urobilo na PC v OpenCV na statickej scene (mimo auta), v sw pouzivatel zada mysou obrysy semaforu a LITRAC zobrazi vedla semaforu rozpoznanu hodnotu.
— 3.4.2 Overenie na platforme Raspi3
Obdobne by sa overovalo na Raspi OpenCV – to uz nejak vymyslime ako.- asi snomanie fixneho modelu semaforu— kap.4. ZHODNOTENIE
— par riadkov …— LITERATURA
— neskor BcP. 2 :“ Opis riešenia Táto časť bakalárskeho projektu obsahuje opis výsledkov riešenia jednotlivých etáp projektu. V prípade, že záverečný projekt nerieši všetky etapy, malo by byť v príslušnej časti uvedené kto, resp. kde sa príslušná etapa rieši/riešila/bude riešiť.
Typické etapy riešenia pri tvorbe softvérového systému:
— špecifikácia požiadaviek
— návrh
— implementácia (ak to zadanie požaduje)
— overenie riešenia“FOLLOW UP 9.11.2020 Namet na konkretnu algoritmicku ulohu a navrh jej riesenia – email konzulatcia
- FOLLOW UP 5.11.2020 Namet na konkretnu algoritmicku ulohu a navrh jej riesenia
- — je to namet zapadajuci do zadania BcP a aj jeho riesenie je v kontexte vyucby
- — islo by o ulohu objektivnej kontroly vodicov (napr. hromadnej dopravy) a to v oblasti vizualnej rozpoznania stavu semafora
- — vyvoj a overenie algoritmov rozpoznávania semaforu vo videu by sa robilo na platforme MATLAB-u & Raspi3 & Kamera (MATLAB velmi dobre podporuje HW Raspi a kameru)
- — po overeni algoritmov v MATLAB-e by sa overili vybrane casti retazca spracovania (obrazu) v OpenCV na PC resp OpenCV na Raspi3
- — vyhodou tohto riesenia je rychlejsie napredovanie a dosiahnutie ciela
- — s MATLAB-om sa robi dobre lebo obsahuje mnozstvo knzinic a ma vyboru podporu, je to uznavana platforma aj v priemysle a naucit sa robit s nim je dobry „skill“ a referencia
- BC HAJDU 3. konzultacia piatok 30.10.2020 18.00-19.00
DISKUSIA:
— Stefan pracuje OpenCV v Pythone na PC platforme v ASW farebnom priestore
— planuje sa venovat farebnym histogramom
— odporucam experimenty s PC kamerkou – bude but zabudovana alebo externa
— namet: BOSCH pouziva na orientaciu robotov vo vyrobe v zltom svetle , preskumat ci niekto nevyuziva znacky nalepene na scene a specialne prisvetlenie (je tu moznost kontextovej orientacie – pre kazdu situaciu sa zvoli specialna farba prisvetlenia — ide specificke vyuzitie pri kontrole farieb
— namet na studium projekt s Raspi a kamerkou – mali by tam byt aj informacie o geometrickych uvahach pri pouziti kamery: https://wiki.stereopi.com/index.php?title=Main_Page - — diskutujeme co je Lidar v systeme ADAS : JuPa vysvetluje preco musi byt pouzite intenzivne svetlo lasera, rozmietane laseroveho luca po scene skenerom (na objektive kamery je potom uzkopasmovy farebny filter)
- — diskutujeme o inteligentnej kamere, ktora sluzila na objektivnu kontrolu vodicov v doprave. Napriklad: elektricky v mestach prechadzaju na cervenu a tento system im mal v tom zabranit. –> NEW: nametom sw BcP projektu by mohol byt aj toto – t.j. system Raspi s OpenCV najde semafor a rozpozna farbu. Nas projekt teda nebude len o farbach, ale aj o rozpoznani semaforu na scene….
- ULOHY:
1.ULOHA – ongoing: overit verziu Raspi3 a najst vhodnu verziu OpenCV
2.ULOHA – ongoing: preskumat dostupnosti a nakupu vhodneho zdroja LED svetla s moznostou menit farbu
3.ULOHA – studium OpenCV s cielom spracovanie farieb konkretnych snimkov a videi
4.ULOHA – hladanie nametov pre BcP na Internete na aplikacie spracovania farieb v doprave a pripadne v antikoliznych systemoch — jednym z nametov pre projekt BcP by mohla byt aj spominana objektivna kontrola farieb semaforu
5.ULOHA – JuPa: Metodika popisu vystupov SW projektu pre BcP (napr. plan projektu, specifikacia poziadaviek, metodika overenia … vid. popis Bcp )BC HAJDU 2. konzultacia piatok 16.10.2020 18.00-19.00
AGENDA:
— prechadzame charakter a povinne zlozky bc prace [1].
— Bc praca je vlastne sprievodna sprava k vytvorenemu sw –> vychadza sa z „V“ modelu
— dava na zvazenie napisat a objait pracu v anglictine
— v pojmoch a postupu vyjdeme z „V“ modelu standardu ASPICE, casovy plan projektu urobime pomocou Gantovho diagramu
ULOHA JuPa: vytvorit hruby nacrt obsahu do 2.urovne na zaklade [1], detailnejsi obsah sa vytvori po ustaleni zadania softveru
— prosim komunikovat len cez gmail kde som online – nie odkazy na SKYPE (juPa tam nechodi)
— odporucam pisat bcp v AJ
[1]https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp.html?page_id=1862PROJEKT:
— najdolezitejsie v image processingu nasnimanych scen je nakoniec svetlo (biele alebo farebne, intenzita, …)
— APLIKACIA: hovorime o vyzname kontroly farby pri kvalite vyrobkov
— TEORIA: diskutujeme o sposobe overenia algoritmov,
— TEORIA: bavime o farebnej teplote zdroja,
— Stefan referuje o postupe studia: chodi mu OpenCV na PC a planuje prejst na Raspi3 (ULOHA: overit verziu Raspi3 a vhodnu verziu OpenCV)
— ULOHA: preskumat dostupnosti a nakupu vhodneho zdroja LED svetla s moznostou menit farbu
— praktice pouzitie: na baze aktivnej zmeny farby svetla je mozne vytvorit specialne znacky pre antikolizne systemy (umele sceny s umelym osvetlenim).
— nahrada farebneho filtra v objektive kamery pomocou privetlenia sceny s vybranou vlnovou dlzkou.
— efekt aktivnej zmeny farby svetla pre algoritmus: rychlejsi algoritmu nakolko sa bude vyhodnocovat len jas sceny
— OVERENIE ALGORITMOV v BcP:
— kyvadlo, ktore bude sluzit pre vytvorenie prekazok – pohybujuci sa objekte na baze kyvadla
— tociace sa kolesa s farebnymi vysecamiULOHA DO BUDUCEJ KONZULATCIE:
— JuPa vysvetlit : ako snima kamera v Raspi3 – geometricke uvahy, SH studium OpenCV pre PC a RASPI3 - plan BC HAJDU 2. konzultacia piatok 16.10.2020 18.00-19.00
- BC HAJDU 1. konzultacia piatok 2.10.2020 18.00-19.00
AGENDA:
— formalna stranka prace vyjde zo smernice FIIT ako pisat zav. prace – ULOHA SH: najst smernicu
— ULOHA SH: zohnat template Bc prace – aky je minimalne potrebny pocet stran BcP ? UNIZA ma do 40 stran
— pohladat vzory BcP zameranych na spracovanie obrazu, OpenCV a Raspi3 – ULOHA J.P.: pozriet sa po adrese centralneho registra zaverecnych prac ODPOVED: https://crzp.cvtisr.sk/
— obsah a rozsah prace:
— teoreticka cast okolo antikoliznych systemov ta by mohla mat 25 stran, vymedzenie zakladnych pojmov z nazvu „Systém pre spracovanie obrazu pre antikolízne systémy na báze knižnice OpenCV a mikropočítača Raspberry Pi“
— teoreticka cast by mohla byt napisana do konca januara – optimalne do Vianoc
— pisanie prace pojde sekvencnym sposobom
— ULOHA JP : Navrh – nacrt – obsahu prace do prvej urovne
— Plan: bolo by dobre do Vianoc zvladnut Raspi a OpenCV s Pythonom a napisat cast teorie - Diskusia:
- — Stefan uvazuje o vyuziti detekcie farieb pre pouzitie v antikoliznom systeme, vid. https://www.cs.cmu.edu/~illah/PAPERS/abod.pdf
- Zadanie BC projektu:
[adresar iMac …\200806 AGENDA FIIT Navrh tem bakalarskych projektov\200809_navrh_BP_PANCIK_3.docx] - Bakalársky projekt
1 Typ Bakalársky projekt - 2 Rok 2020/2021
- 3 Vedúci projektu doc. RNDr. Juraj Pančík, PhD.
- 4 Názov projektu v SJ Systém pre spracovanie obrazu pre antikolízne systémy na báze knižnice OpenCV a mikropočítača Raspberry Pi
- 5 Študijný programInformatika
- 6 Plánovaný počet 2 študenti
- 7 Text zadania
- Predmet bakalárskej práce – motivácia :
Predmetom bakalárskej práce je realizácia algoritmov spracovania obrazu implementovaných v knižnici OpenCV. Algoritmy budú pracovať v reálnom čase vo vnorenom zariadení na báze populárneho mikropočítača Raspberry Pi. Práca sa bude venovať spracovávaním obrazu z kamery za účelom detekcie a vyhnutiu sa prekážkam. Knižnica OpenCV je v súčasnosti priemyselný štandard a má široké využitie. - Analýza : Analyzujte vybrané algoritmy pre detekciu prekážok v doprave. Pokiaľ to bude účelné použite aj výpočtové prostredie MATLAB.
- Návrh a implementácia:Navrhnite a realizujte vybrané algoritmy na báze jazyka Python a knižnice OpenCV a to na PC platforme a aj na platforme Raspberry Pi.
- Spôsob overenia riešenia: Overte riešenie v reálnom čase s kamerou a/alebo s nasnímanými reálnymi videami z dopravy
- 8 Poznámka pre študenta
Študenti postavia experimenty na hotových hardvérových a softvérových prvkoch. Vyžaduje sa absolvovanie základného kurzu jazyka C/C++ a dobre by bolo mať skúsenosti s platformou Raspberry PI (nie je to však nutné). Hardvér je k dispozícii a vedúci projektu má praktické skúsenosti so všetkými uvedenými technológiami – študentov uvedie a zaučí do nich. K dispozícii sú výborné informačné zdroje.