Трекінг для однієї камери
Найчастіше робота модулів трекінгу нерозривно пов’язана з роботою детектора руху. Для побудови траєкторій переміщення ведеться послідовний аналіз кожного кадру, на якому присутні рухомі об’єкти. У загальному випадку в одному кадрі може бути присутнім кілька рухомих об’єктів, тому програму необхідно не тільки побудувати траєкторії, але і розрізнити об’єкти і їх переміщення.
Трекінг по двом кадрам
Найбільш проста реалізація трекінгу розглядає два кадри і будує траєкторії по ним. Спочатку відзначаються переміщення на поточному та попередньому кадрі, далі, аналізуючи швидкість, напрямки руху об’єктів, а також їх розміри, обчислюються ймовірності переходу об’єктів з однієї точки траєкторії попереднього кадру в іншу точку поточного. Найбільш ймовірні переміщення присвоюються кожному об’єкту і складаються в траєкторію.
Трекінг по декільком кадрам
Об’єкти в кадрі можуть переміщатися по-різному: їх траєкторії можуть перетинатися, вони можуть зникати і виникати знову (наприклад, якщо камера стежить за автомагістраллю, то автомобіль в кадрі може перекриватися іншим, а потім знову виїжджати через нього), кілька об’єктів можуть об’єднуватися або різко змінювати напрямок руху. У цих випадках завдання побудови точної траєкторії ускладнюється. Для аналізу подібних складних переміщень метод побудови траєкторії за двома кадрам не підходить, він дає високу похибку. Для підвищення точності трекінгу частина виробників використовують технологію аналізу послідовності кадрів і безперервного постобработки отриманих результатів.
Програма будує графи — аналізує переходи об’єктів з одного стану в інший. Щоб зрозуміти, якого об’єкту яке переміщення відповідає, також аналізуються швидкості і напряму руху, положення, колірні характеристики. Як результат видається набір найбільш ймовірних рухів об’єктів, який утворює траєкторію. Різниця методів полягає в тому, що при обробці послідовності кадрів враховується як поточний стан об’єкта, так і історія його переходів, що дозволяє підвищити точність в складних ситуаціях перетину руху, зникнень і виникнень об’єкта.
Розглянуті алгоритми добре працюють зі сценами, в яких об’єкти рухаються окремо один від одного, але для руху в скупченнях вони неспроможні.
Кореляційні методи
Для аналізу масових переміщень використовуються кореляційні методи: оператору необхідно задати область кадру, переміщення якої буде будуватися, потім програма почне пошук цієї області на наступних кадрах, після чого видасть траєкторію.
Як пошукова області також може виступати будь-який рухомий об’єкт, на який зреагував детектор руху, або об’єкт певного типу, який виявив класифікатор ПО. Програма складає гистограмму квітів виділеної області, зазначає особливі точки (характерні кути, відстані), потім відбувається їх пошук на наступних кадрах.
Головний недолік кореляційного методу — його висока ресурсомісткість, так як на первинний аналіз пошукового зразка (виділення квітів, побудова гістограми, визначення особливих точок) потрібно в десятки, а іноді в сотні разів більше обчислювальних потужностей, ніж вимагає метод, заснований на детекторі руху. Крім того, кореляційний метод будує траєкторії тільки заданих для пошуку об’єктів. Методи трекінгу за двома або кількома кадрам будують траєкторії всіх рухомих об’єктів, надаючи інструмент пошуку траєкторії по об’єкту або об’єкта по його траєкторії. Кореляційний метод не застосуємо для сцен з високою інтенсивністю руху.
Межкамерний трекінг
Перший спосіб
Передбачає установку синхронізованих відеокамер, які спостерігають за пов’язаними областями. Об’єкт просто переходить з поля зору однієї камери в поле зору іншого, програма фіксує цей перехід і як би «підхоплює» об’єкт і видає траєкторію. Дуже важливо для точної відпрацювання цього методу провести калібрування камер системи, підібрати обладнання зі схожими характеристиками, адже об’єкт повинен бути ідентичний при переході від однієї сцени спостереження до іншої. Чим довше перехід об’єкта, чим більше рухомих об’єктів в кадрі, чим більше кількість камер, між якими він переміщається, тим вище ймовірність помилки в результатах межкамерного трекінгу.
Другий спосіб
Заснований на роботі інтерактивного пошуку за прикметами і не вимагає установки спеціального обладнання. Оператору необхідно позначити існуючі камери на плані в програмі, задати середній час переходу від однієї камери до іншої, вибрати з архіву зразок об’єкта, траєкторію якого буде будувати система, або створити його самостійно — задати пропорції, розмір, вказати колірні характеристики. Програма видасть всі об’єкти, схожі на пошуковий запит, — оператору необхідно вибрати потрібний. Далі здійснюється пошук даного зразка на сусідніх камерах системи, програма аналізує план території, визначає, коли обраний об’єкт міг досягти тієї чи іншої камери, і видає відповідні результати у вигляді набору треків — згрупованих кадрів об’єкта з однієї IP-каналу. Угруповання зображень відбувається на підставі нерозривного руху об’єкта в поле зору камери. Оператор вибирає з поданих наборів результат, відповідний шуканого об’єкту, запускає подальший пошук. Таким чином, пошук відбувається покроково, і його можна продовжувати до тих пір, поки об’єкт не зникне з поля зору всіх камер системи або поки оператор не отримає достатні дані. Побудова траєкторії можна зупинити на будь-якому етапі.
Цей спосіб вимагає набагато більше часу оператора і набагато більше уваги, але і точність отриманих результатів дуже висока. До переваг методу також можна віднести той факт, що камери в системі не повинні бути пов’язані і строго відкалібровані — покрокове побудова траєкторії і алгоритми пошуку за прикметами роблять пошук незалежним.
Перенесення траєкторії з відео на план
Тема багатокамерного відеоаналізу дуже цікава для розробників, потенціал для вдосконалення технологій ще дуже великий. Наприклад, сучасні технології межкамерного стеження дозволяють відзначати на планах траєкторії переходів від однієї камери до іншої, а також будувати шляхи переміщення об’єктів на плані в рамках однієї камери — переносити переміщення об’єкта з відео на план.
У загальному випадку такий відеоаналіз може проводитися не тільки для відстеження переміщень, а й для побудови на плані теплових карт інтенсивності руху, підрахунку відвідувачів, контролю входу в зону і тривалого перебування в ній.
Завдання перенесення траєкторії з відео на план складна по ряду причин.
1. Необхідність зв’язати площині спостереження камери і плану — головна складність.
2. Спотворення.
3. Прив’язка поля зору камери до області на плані.
4. Відділення об’єктів один від одного.