описывают саму камеру, внешние — где она стоит и куда смотрит. Без них пиксель невозможно превратить в луч, а луч — в точку сцены.
- сила регуляризации: штраф за сложность модели
- объект: вектор признаков
Ключевые тезисы
- K: фокусные расстояния в пикселях, главная точка, перекос.
- — поворот R и сдвиг t: переход из мировой системы в систему камеры.
- по шахматной доске восстанавливает K и коэффициенты по набору снимков известного объекта.
Какую задачу решает
Модель камеры говорит, что проекция линейна в однородных координатах. отвечает на вопрос, какими именно числами эта линейность задана: сколько пикселей приходится на единицу фокусного расстояния, где на стоит главная точка, насколько объектив гнёт прямые.
Параметры делятся надвое, и это разделение принципиально. Внутренние описывают саму камеру и не меняются, пока не тронули объектив: их определяют один раз. Внешние описывают, где камера стоит и куда смотрит: они свои у каждого кадра, и именно их ищет реконструкция.
Без трёхмерное зрение вырождается. Некалиброванные снимки позволяют восстановить сцену только с точностью до проективного преобразования: углы и параллельность не сохраняются. Знание K поднимает результат до метрического, где остаётся неизвестным один масштаб.
Снимите шахматную доску с одного ракурса и попробуйте откалибровать камеру — оценка окажется неустойчивой. Причина в том, что фокусное расстояние и расстояние до доски входят в проекцию почти одинаково: доска вдвое дальше при вдвое большем фокусе даёт ту же картинку. Разорвать эту связь помогают наклонные ракурсы: при наклоне доска проецируется в трапецию, и форма трапеции зависит от фокуса, а не от дистанции. Отсюда практическое правило: пятнадцать — двадцать кадров, доска в разных углах кадра и под разными наклонами.
Подробный разбор
- истинное значение целевой переменной
- объект: вектор признаков
- — фокусное расстояние в пикселях по горизонтали и вертикали. Различаются, если пиксель не квадратный.
- — главная точка: где оптическая ось протыкает .
- — перекос осей сенсора. У современных камер практически ноль, и его часто фиксируют.
переводит нормализованные координаты луча в пиксели. Обратная операция — умножение на — превращает пиксель в направление в системе координат камеры. Это и есть смысл слова «калиброванная»: у такой камеры пиксель однозначно соответствует лучу.
Здесь — положение центра камеры в мировых координатах, — поворот. Обратите : в проекционной стоит , а не , и путать их — классическая ошибка. Чтобы получить положение камеры из готовой , нужно вычислить .
Полная проекция собирается из двух частей: сначала переводят точку в систему камеры, потом внутренние — в пиксели.
- сила регуляризации: штраф за сложность модели
- объект: вектор признаков
одни на всю съёмку, внешние свои у каждого кадра. Именно поэтому делают один раз, а позы ищут для каждого снимка отдельно.
- Печатают доску известного шага и клеят на жёсткое основание — бумага на весу гнётся и портит всё.
- Снимают 15–25 кадров: доска в разных углах кадра, под разными наклонами, на разных дистанциях.
- Детектор находит углы клеток с субпиксельной точностью.
- Оптимизация подбирает , коэффициенты и позу доски на каждом кадре, минимизируя ошибку репроекции.
Наклон принципиален. При фронтальной съёмке фокусное расстояние и дистанция до доски входят в проекцию почти неразличимо — оценка становится вырожденной. Наклон проецирует доску в трапецию, форма которой зависит от фокуса, и связь разрывается.
Заполняйте углы кадра. там самая сильная, и если доска везде была в центре, коэффициенты окажутся оценены по данным, где эффекта почти нет.
Стандартная мера — средняя : на сколько пикселей предсказанное место угла расходится с найденным. Для приличной это 0,1–0,5 пикселя.
| Симптом | Вероятная причина |
|---|---|
| ошибка > 1 px | смазанные кадры, гнущаяся доска, неверный шаг |
| ошибка мала, но геометрия врёт | мало ракурсов: под съёмку |
| коэффициенты огромны | доска не доходила до краёв кадра |
| fx и fy сильно различаются | почти всегда ошибка, а не физика |
Низкая средняя ошибка не гарантирует правильности: с достаточным числом параметров можно подогнать что угодно. Честная проверка — отложить несколько кадров, не участвовавших в , и посчитать ошибку на них.
Где применяется
- требует знать обе камеры и их взаимное положение.
- Измерения по снимкуПеревод пикселей в миллиметры невозможен без .
- Дополненная реальностьВиртуальный объект встаёт на место, только если виртуальная камера совпадает с реальной.
- Робот и манипулятор «глаз — рука» связывает систему координат камеры с системой робота.
Плюсы, минусы и альтернативы
Плюсы
- Делается один раз и дальше используется во всех задачах с этой камерой.
- Процедура по шахматной доске хорошо отлажена и есть в любой библиотеке.
- Даёт численную оценку качества — среднюю ошибку репроекции.
Минусы
- Требует физического объекта известной геометрии и аккуратной съёмки.
- Автофокус и зум сбивают : телефон приходится в фиксированном режиме.
- Тепловое расширение и удары постепенно уводят параметры от измеренных.
Брать, если
- Перед любой метрической задачей: измерения, стерео, реконструкция с масштабом.
- Когда камера ваша и её можно взять в руки.
Не брать, если
- Для снимков из интернета с неизвестной камерой — там параметры оценивают из самой реконструкции.
- Задачам классификации и не нужна.
Чем заменяют
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Геометрия камеры
Pinhole Camera Model90%
Модель камеры-обскуры · Трёхмерное зрениеПростейшая модель съёмки: луч из точки сцены проходит через центр проекции и оставляет след на матрице. На ней держится вся геометрия многовидового зрения.
Homogeneous Coordinates90%
Однородные координаты · Трёхмерное зрениеПриём, который делает проекцию линейной: добавляем к вектору лишнюю единицу и получаем право записывать сдвиг, поворот и деление на глубину одной матрицей.
Rotation Representations90%
Представления поворота · Трёхмерное зрениеОдин и тот же поворот записывают матрицей, углами Эйлера, осью с углом или кватернионом. Выбор решает, будет ли оптимизация устойчивой и не потеряется ли степень свободы.
Homography and DLT90%
Гомография и DLT · Трёхмерное зрениеПроективное преобразование плоскости: восемь степеней свободы, которые связывают два вида одной плоской поверхности. Считается линейным методом по четырём соответствиям.
Matrix90%
Матрица · Математический справочникПрямоугольная таблица чисел, задающая линейное преобразование или набор объектов.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Матрица K
: фокусные расстояния в пикселях, главная точка, перекос.
Разбор ниже: Матрица внутренних параметровВнешние параметры
Поворот R и сдвиг t: переход из мировой системы координат в систему камеры.
Разбор ниже: Где стоит камераКоэффициенты дисторсии
Поправка на линзу: радиальная и тангенциальная составляющие.
Разбор ниже: Как проводят калибровкуОшибка репроекции
Расстояние в пикселях между реальным углом доски и его предсказанным местом. Мера качества .
Разбор ниже: Как понять, что калибровка удаласьСпрашивают на собеседовании: 2ГИС — Зрение и данные о городе.
Глава «Трёхмерное зрение» последний раз правилась . Нашли ошибку — напишите.