Pod sémantickou segmentáciou myslíme [1] segmentáciu pomocou hlbokých neurónových sietí (DNN - Deep Neural Networks). Niekedy sa zvykna aj označovať ako segmentácia pomocou AI (Artificiall Intelligence). Snaží sa o rozdelenie obrazu na triedy so sémantickým významom. T.j. na rozdiel od superpixelov sa nemusí jednať o oblasť bodov s podobnými vlastnosťami (napr. prvok z triedy človek môže byť zakaždým v inom oblečení, či byť oblečený rôznofarebne).

Na tomto mieste je dôležité vyjasniť vzťah medzi detekciou objektov a segmentáciou. Algoritmy detekcie objektov často vedia iba povedať či na obrázku sa objekt nachádza, či nenachádza. Niekedy vedia povedať aj koľko daných objektov sa tam nachádza, niekedy vedia aj súradnice a ohraničujúci obdĺžnik. T.j. priorita je identifikácia a až potom lokalizácia.  Segmentácia sa naproti tomu vyjadruje k príslušnosti k objektu na úrovni bodov obrazu. T.j primárne sa vyjadruje k lokalizácii a následne k interpretácii.

Schematické znázornenie štruktúry DNN pre sémantickú segmentáciu je zobrazené na Obr. 1.  V prostredí MATLAB je uvedených [1] [2] [3] viacero príkladov ako natrénovať a použiť DNN na sémantickú segmentáciu obrazu. Na Obr. 2 vidíme príklad sémantickej  segmentácie obrazu s dopravnou tématikou. Vidíme označené jednotlivé triedy. 

Pri sémantickej segmentácii je dôležitá aj oblasť vysvetliteľnosti (explainability), t.j. zdôvodnenie na základe čoho si DNN myslí že daná časť obrazu sú body objektu danej triedy.  Príklad takejto analýzy pomocou Grad-CAM je uvedený na Obr. 3. Pomocou heatmáp je znázornená dôležitosť (ako prispeli k rozhodnutiu) jednotlivých bodov obrazu pri segmentácii.


Obr. 1 Schematické znázornenie štruktúry DNN pre sémantickú segmentáciu [1]


Obr. 2 Príklad sémantickej segmentácie obrazu s dopravnou tématikou [4]


Obr. 3 Príklad analýzy vysvetliteľnosti pomocou metódy Grad-CAM [4]

Referencie

[1] Mathworks, Getting Started with Semantic Segmentation Using Deep Learning, online: https://www.mathworks.com/help/vision/ug/getting-started-with-semantic-segmentation-using-deep-learning.html

[2] Mathworks, Example: Semantic Segmentation Using Deep Learning,  online: https://www.mathworks.com/help/vision/ug/semantic-segmentation-using-deep-learning.html

[3] Mathworks, Example: Semantic Segmentation Using Dilated Convolutions,  https://www.mathworks.com/help/vision/ug/semantic-segmentation-using-dilated-convolutions.html

[4] Mathworks, Explore Semantic Segmentation Network Using Grad-CAM, online: https://www.mathworks.com/help/vision/ug/explore-semantic-segmentation-network-using-grad-cam.html


PDF verzia tejto stránky je dostupná tu: segmentation_semantic_sk.pdf