BC SETNICKY Systém pre spracovanie obrazu pre antikolízne systémy na báze knižnice OpenCV a mikropočítača Raspberry Pi
plan BC SETNICKY 5.konzultacia sobota 28.11.2020 19,00-20,00(1h)
BC SETNICKY 4.konzultacia sobota 14.11.2020 19,00-20,00(1h)
AGENDA:
— termin odovzdania BcP.1 je 4.januar 2020
— formalne clenenie BcP1 [https://www.fiit.stuba.sk/buxus/docs/organizacia_studia/pokyny/ZP-clenenie-pokyny.pdf]
PROJEKT:
— ako napisat sprievodnu spravu k BcP.1. – musi byt forma Bc. Prace
— obsah podla [https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp.html?page_id=1862]
— forma poda [https://www.fiit.stuba.sk/buxus/docs/organizacia_studia/pokyny/ZP-clenenie-pokyny.pdf]by malo ist o tieto kapitoly
— navrh obsahu sprievodnu spravu k BcP.1.:
— 1. kap. : Uvod (co predmetom prace, co je cielom a potom popisat jednotlive kapitoly spravy)
— 2. kap. : teoria co tam ma byt „Analýza problému Táto časť bakalárskeho projektu má:
— poskytovať obraz o stave riešenia daného problému známeho z preštudovanej literatúry (nielen informácie z prednášok, prípadne skrípt a katalógov),
— porovnanie podobných riešení, ich kategorizáciu s uvedením charakteristických atribútov atď., podľa charakteru bakalárskeho projektu
— zdôvodnenie voľby spôsobu riešenia a stručný opis celkového spôsobu riešenia (napr. v opise sa treba sústrediť na prípadné modifikácie použitých štandardných metodík a ich zdôvodnenie z hľadiska splnenia cieľov projektu)“
— NAS NAVRH 2. KAPITOLY :
— 2.1 Principy stereovidenia – Teoreticke vymedzenie pojmov z predmetnej
— nadviazat tuto teoriu na pojmy v OpenCV – vydedukovat co by tam malo byt z hladiska popisu principov
— metody stereo snimania , ako funguje stereo kamera
— 2.2 Stereovidenie v OpenCV – interpretacie a spracovanie informacii
— popisat funkcie v OpenCV pouzitelne na stereovidenie
— popisat funkcie na snimanie obrazu …. nejake dalsie uzitocne funkcie
— 2.3 Stav riešenia algoritmov streovidenia
— popisat algoritmy na popise konkretnych pripadov pouzitia
— spomenut na com bezalo – resp. spomenut napr. to co robi OpenCV, alebo ine vypoctove platformy
— nezabudnut dopravne aplikacie – to sme nasli v resersi
— 2.4 Opis snimacieho systemu pre stereovidenie na baze Raspi3
— opisat Raspi3 a kamery a snimacieho cipu CCD kde je popis snimania farieb
— 3. kap.: Navrh snimacieho systemu pre sterovidenie v realnej doprave
— Popis a navrh spôsobu riešenia a stručný opis celkového spôsobu riešenia
— popise sa system ktory by sa dal na celne sklo – vid vzor
— kreslit blokove schemy a vyvojove diagramy
— 3.1. Popis systemu a navrh poziadaviek na system
— navrh systemu na zaklade vzoru napr.
— 3.2 Navrh riesenia systemu na baze Raspi3
—
— 3.3 Navrh algorimov v prostredi MATLAB
— keby sa robilo tak sa to zacne v MATLABE
— 3.4 Navrh sposobu overenia
— kap.4. ZHODNOTENIE
— par riadkov …
— LITERATURA
BC SETNICKY 3.konzultacia streda 4.11.2020 19,00-20,00(1h)
AGENDA:
— zapocet za zimu by mohol byt za navrh obsahu a rozsahu Bc prace (projektu)
PROJEKT:
— Jakub si nainstaloval OpenCV na PC a v Raspi3 overil snimanie
— hovorime o resersi a jednom zdroji v nej [1] a tam je odkaz na algoritmus a OpenCV [2]
— [3] hovori o presnosti do 100m
— Jakub hovori o moznosti urobit vlastnu mechaniku na baze Al s moznostami nastavit kameru pocas jej kalibracie
— JuPa navrhuje realizovat vyvoj algoritmov na baze MATLAB-u s tym, ze sa kamery a Raspi3 pouziju „len“ ako zdroje RAW snimkov pre ich dalsie spracovanie v MATLAB-e. V MATLAB-e by sa overili algoritmov urcene pre sterovidenie a niekore by sa potom mohli preportovat do OpenCV resp. navrhla by sa ich portacia (vymedzili by sa funkcie z OpenCV).
— Portacia vybranych algoritmov MATLAB –> OpenCV bude druhy krok
— Prinosom prace moze byt aj to ako nahradit MATLAB v konkretnej aplikacii
— MATLAB zdroje napr.[4][5][6]
— nova kamerka Raspi HQ [7]
— Stefan mi poslal nim najdene clanky okolo stereovision [8][9]
ULOHA:
— Rozchodit MATLAB & Raspi3 & kamerka
[1] https://www.zmp.co.jp/en/products/sensor/robovision/robovision2s
[2] https://www.zmp.co.jp/en/knowledge/adas_dev/adas_sensor/adas_camera/adas_stereo
[3] https://www.vision-systems.com/unmanned/article/16748283/cornell-university-study-suggests-stereo-camera-systems-could-replace-lidar
[4] https://www.mathworks.com/help/supportpkg/raspberrypiio/examples/working-with-raspberry-pi-camera-board.html
[5] https://www.mathworks.com/help/vision/ug/depth-estimation-from-stereo-video.html
[6] https://iopscience.iop.org/article/10.1088/1755-1315/252/5/052051/pdf
[7] https://www.raspberrypi.org/documentation/hardware/camera/
[8] c:\Users\Juraj\Downloads\201019 BC SETNICKY\STEREO_VISION_APPLYING_OPENCV_AND_RASPBERRY_PI.pdf
[9] c:\Users\Juraj\Downloads\201019 BC SETNICKY\ScienceDirect_articles_02Nov2020_13-25-20.397.zip
Follow up STUDIUM
- (13) (PDF) STEREO VISION APPLYING OPENCV AND RASPBERRY PIStereoPi | StereoPi – DIY stereoscopic camera based on Raspberry Pi
- StereoPi WikiCornell University study suggests stereo camera systems could replace LiDAR |
- Vision Systems Design
- Stereo camera use case for automotive with „Stereo Vision IP Suite.“ – FSI Embedded (English)
- Correcting Decalibration of Stereo Cameras in Self-Driving Vehicles[2001.05267]
- Hitachi Automotive Systems stereo camera adopted in Suzuki’s EVERY light commercial vehicle and EVERY WAGON light passenger vehicle
- Hitachi Automotive Systems Develops Stereo Camera Enabling Automatic Emergency Braking at Intersections
- Ultra-high sensitivity stereo camera system RoboVision2sCorrecting Decalibration of Stereo Cameras in Self-Driving Vehicles
- TransportEye – Corephotonics
BC SETNICKY 2.konzultacia 19.10.2020 19,00-20,00(1h)
AGENDA:
— prechadzame charakter a povinne zlozky bc prace [1].
— Bc praca je vlastne sprievodna sprava k vytvorenemu sw –> vychadza sa z „V“ modelu
— na zvazenie napisat a obhajit pracu v anglictine — ODPOVED: ANO
— v pojmoch a postupu vyjdeme z „V“ modelu standardu Automotive SPICE, casovy plan projektu urobime pomocou Gantovho diagramu — ODPOVED: ANO
ULOHA JuPa: vytvorit hruby nacrt obsahu do 2.urovne na zaklade [1], detailnejsi obsah sa vytvori po ustaleni zadania softveru
[1]https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp.html?page_id=1862
PROJEKT:
— Posielam informacie o vzorovom projekte [1], v [1] je spominana stranka projektu [2].
— Priklaname sa k tomu aby sme sli tiez touto cestou architektura systemu – raspi3 + kamera spracuje obraz a vypocet urobi NTBK
ULOHA:
— Analyza vzoroveho projektu — vztahovat to na antikolizny system – zistit v akom rozsahu vzdialenosti je mozne stereovidenie
— resers antikoliznych systemov pre auta (https://en.wikipedia.org/wiki/Collision_avoidance_system) a to aj z pohladu stereovidenia
[1] https://www.researchgate.net/publication/337644693_STEREO_VISION_APPLYING_OPENCV_AND_RASPBERRY_PI
[2] https://wiki.stereopi.com/index.php?title=Main_Page
BC SETNICKY 1.konzultacia 5.10.2020 19,00-20,00(1h)
AGENDA:
— formalna stranka prace vyjde zo smernice FIIT ako pisat zav. prace – ULOHA: najst smernicu
ODPOVED:
https://www.fiit.stuba.sk/buxus/docs/organizacia_studia/pokyny/ZP-clenenie-pokyny.pdf
https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp.html?page_id=1862
— zohnat template Bc prace – aky je minimalne potrebny pocet stran BcP ? UNIZA ma do 40 stran
— pohladat vzory BcP zameranych na spracovanie obrazu, najlepsie na FIIT, OpenCV a Raspi3 – ULOHA J.P.: pozriet sa po adrese centralne registra ODPOVED: https://crzp.cvtisr.sk/
— obsah a rozsah prace:
— teoreticka cast okolo antikoliznych systemov ta by mohla mat 25 stran, vymedzenie zakladnych pojmov z nazvu „Systém pre spracovanie obrazu pre antikolízne systémy na báze knižnice OpenCV a mikropočítača Raspberry Pi“
— teoreticka cast by mohla byt napisana do konca januara – optimalne do Vianoc
— pisanie sekvencnym sposobom
— ULOHA J.P.: Navrh – nacrt – obsahu prace do prvej urovne
— ULOHA J.P.: Poslat 2.Raspi
— bolo by dobre zvladnut Raspi a OpenCV s Pythonom
DOSKUSIA :
— zamerat sa na stereovidenie pre potreby antikoliznych systemov
— knihy okolo OpenCV ULOHA JuPa upresnit o ktoru ide
— pozriet sa po materialoch pre OPROX Brno a dialkomer
— najblizssia uloha je rozchodit raspi a OpenCV na PC a na Raspi
— experiment moze byt postaveny na kyvadlach
— mozu sa nahrat videa z realneho auta 2 kamerami a to sa moze vyhodnotit
— postovne balicka bolo 6.90 Euro
— bavime sa synchronizacii kamier pomocou HW signalu
Zadanie BC projektu:
[iMac …\200806 AGENDA FIIT Navrh tem bakalarskych projektov\200809_navrh_BP_PANCIK_3.docx]
Bakalársky projekt
1 Typ Bakalársky projekt
2 Rok 2020/2021
3 Vedúci projektu doc. RNDr. Juraj Pančík, PhD.
4 Názov projektu v SJ Systém pre spracovanie obrazu pre antikolízne systémy na báze knižnice OpenCV a mikropočítača Raspberry Pi
5 Študijný program Informatika
6 Plánovaný počet 2 študenti
7 Text zadania
Predmet bakalárskej práce – motivácia :
Predmetom bakalárskej práce je realizácia algoritmov spracovania obrazu implementovaných v knižnici OpenCV. Algoritmy budú pracovať v reálnom čase vo vnorenom zariadení na báze populárneho mikropočítača Raspberry Pi. Práca sa bude venovať spracovávaním obrazu z kamery za účelom detekcie a vyhnutiu sa prekážkam. Knižnica OpenCV je v súčasnosti priemyselný štandard a má široké využitie.
Analýza
Analyzujte vybrané algoritmy pre detekciu prekážok v doprave. Pokiaľ to bude účelné použite aj výpočtové prostredie MATLAB.
Návrh a implementácia
Navrhnite a realizujte vybrané algoritmy na báze jazyka Python a knižnice OpenCV a to na PC platforme a aj na platforme Raspberry Pi.
Spôsob overenia riešenia
Overte riešenie v reálnom čase s kamerou a/alebo s nasnímanými reálnymi videami z dopravy
8 Poznámka pre študenta
Študenti postavia experimenty na hotových hardvérových a softvérových prvkoch. Vyžaduje sa absolvovanie základného kurzu jazyka C/C++ a dobre by bolo mať skúsenosti s platformou Raspberry PI (nie je to však nutné). Hardvér je k dispozícii a vedúci projektu má praktické skúsenosti so všetkými uvedenými technológiami – študentov uvedie a zaučí do nich. K dispozícii sú výborné informačné zdroje.