Поиск прямоугольника на изображении

Как только речь заходит о применении размытия с большим размером ядра, то, к сожалению, получается необратимая деформация объекта интереса. Объект контурами вроде и выделен, но при этом по своим размерам, форме (а подчас и положению) может иметь значительное расхождение с оригиналом. Стоит ли говорить, что морфологические операции (эрозия, дилатация), наложенные поверх, лишь усугубляют проблему.

В ситуации с представленными изображениями сложность возникает ещё и от того, что лента конвейера имеет весьма различимые следы производственного пользования. Это царапины, пятна и прочие элементы подобного рода, которые на фоновом изображении и изображении с объектом интереса имеют разное положение, да и вообще в деталях различаются значительно. Этот момент становится принципиальным, когда производится попиксельное вычитание одного изображения из другого.

В целом задача сводится к тому, чтобы не повредив сам объект, попытаться выделить его на общем фоне. Попробуем пойти от обратного и вместо того, чтобы применять размытие повысим резкость краёв.

void subtractPyr(const cv::Mat &src_mat, cv::Mat &dst_mat, int iterations) {n    std::vector<cv::Size> sizes(iterations);n    cv::Mat mat = src_mat.clone();n    for(int i = 0; i < iterations; ++i) {n        sizes[iterations-(i+1)] = mat.size();n        cv::pyrDown(mat, mat);n    }n    for(int i = 0; i < iterations; ++i)n        cv::pyrUp(mat, mat, sizes.at(i));n    cv::subtract(mat, src_mat, dst_mat);n}ncv::Mat src1_mat = cv::imread(""foreground.jpg"");ncv::Mat src2_mat = cv::imread(""background.jpg"");ncv::Mat gry1_mat, gry2_mat;ncv::cvtColor(src1_mat, gry1_mat, cv::COLOR_BGR2GRAY);ncv::cvtColor(src2_mat, gry2_mat, cv::COLOR_BGR2GRAY);nsubtractPyr(gry1_mat, gry1_mat, 5);nsubtractPyr(gry2_mat, gry2_mat, 5);n

Несмотря на то, что фоновое изображение имеет свой набор шумов, тем не менее оно содержит и те детали, которые полезно вычесть из изображения с объектом интереса. После этого можно выполнить бинаризацию.

cv::Mat gry_mat = gry1_mat - gry2_mat;ncv::Mat bin_mat;ncv::threshold(gry_mat, bin_mat, 1, 255, cv::THRESH_BINARY | cv::THRESH_OTSU);n

Получим следующую маску:

Здесь хорошо заметна одна из проблем, связанная с неверно подобранным освещением. Левый верхний угол объекта интереса частично растворён, что не позволяет произвести поиск контура, опоясывающего объект, с корректным результатом.

Так или иначе продолжим именно через поиск контуров и отсеивание их по площади с эмпирически подобранным размером. Их иерархия больше не потребуется, а значит объединим все точки в один единственный большой контур.

std::vector<std::vector<cv::Point> > contours;ncv::findContours(bin_mat.clone(), contoursn    , cv::RETR_EXTEAL, cv::CHAIN_APPROX_SIMPLE);nstd::vector<cv::Point> big_contour;nfor(auto itr = contours.begin(); itr != contours.end(); ++itr) {n    if(cv::contourArea(*itr) > 300.) {n        const std::vector<cv::Point> &contour = *itr;n        for(auto itr2 = contour.begin(); itr2 != contour.end(); ++itr2) {n            big_contour.push_back(*itr2);n        }n    }n}n

Если нарисовать большой контур, то можно увидеть, что лишние детали на изображении более не захватываются, а сам он в целом лежит внутри границ объекта интереса.

Остаётся получить опоясывающий объект интереса прямоугольник.

cv::RotatedRect rc = cv::minAreaRect(big_contour);ncv::Point2f points[4];nrc.points(points);n// Нарисуем его.nfor(int i = 0; i < 4; ++i)n    cv::line(dst_mat, points[i], points[(i+1)%4], cv::Scalar(0,0,255));n

Как хорошо видно на следующем изображении полученный прямоугольник совершенно не идеально описывает объект интереса. Эта проблема связана с оптической деформацией этого самого объекта, а также с наличием довольно широкой тени, присутствующей с левой его стороны. К сожалению, эти проблемы нельзя устранить иначе, кроме как подстройкой объектива камеры и освещения.