В тесте Togal лучший из проверенных ИИ общего назначения набрал 34,0 балла из 100. В другом тесте Handoff сообщает о результате 81,6 у своей специализированной системы. Эти цифры нельзя напрямую сравнить: за ними стоят разные задания и правила оценки.
В одном тесте модель обводит контуры и находит объекты на чертеже. В другом система определяет основные материалы и их количество по чертежам жилого здания. Баллы описывают выполнение этих задач. Они не показывают, какой доле позиций в реальной смете подрядчик может доверять. [1] [2]
Togal проверяет геометрию, Handoff — подсчёт материалов
6 октября Togal.AI представила Construction’s Last Exam (CLE). В нём 33 задания по чертежам: обвести площади, определить линии и посчитать объекты. Лучший результат модели общего назначения в опубликованной таблице — 34,0 по сводной шкале. Специализированную программу Togal проверяли с участием человека, поэтому условия её работы отличаются от условий проверки этих моделей. [1] [4]
TAKEOFFBENCH-V1 от Handoff посвящён основным материалам и их количеству по 10 реальным комплектам чертежей жилых зданий. Тест вышел в июле, техническая статья — в августе. Оценка учитывает две вещи: сколько нужных позиций найдено и у какой доли сопоставленных позиций количество отличается от эталона не более чем на 25%. Handoff сообщает о сводном результате 81,6 у системы H1 и 77,6 у независимых профессиональных сметчиков, которых оценили по тем же правилам. [2] [3]
Что измеряет каждый тест
У каждого теста свои задания, формула и условия участия человека
Togal.AI · CLE
34.0 / 100Лучший результат среди проверенных моделей общего назначения; сводная оценка работы с геометрией чертежей.
Набор заданий: 33 задания
Что измеряют: Площади, линии и количество объектов
С чем сравнивают: 97,7 у программы Togal с участием человека
Handoff · H1
81,6 — сводная оценкаСобственная специализированная система Handoff; оценка подсчёта материалов по чертежам.
Набор заданий: 10 комплектов чертежей жилых зданий
Что измеряют: 1 348 позиций основных материалов
С чем сравнивают: 77,6 у сметчиков, оценённых по тем же правилам
Оба теста разработали поставщики программ. В них различаются задачи, формулы оценки, системы и участие человека. Поэтому цифры в двух колонках не являются местами в одном рейтинге.
Тест геометрии и материалов не измеряет точность всей сметы
34,0 из 100 не означает, что модель верно рассчитала 34% сметы подрядчика. CLE усредняет результаты трёх групп заданий по геометрии чертежей. Полный расчёт стоимости строительного проекта этот тест не проверяет. [4]
97,7 и 34,0 — не результаты двух моделей, работавших в одинаковых условиях.
На графике Togal показатель 97,7 обозначен как результат для сравнения, полученный специализированной программой с участием человека. На действия человека отводится не больше 30 секунд. Модели общего назначения проверяли без такого же сочетания программы и помощи человека. [1] [5]
Результат Handoff 81,6 также нельзя читать как «смета точна на 81,6%» для любых задач. Сводная оценка учитывает найденные позиции материалов и долю сопоставленных позиций, количество которых укладывается в допуск. Программа для запуска теста опубликована. Чертежи и эталонные объёмы доступны по запросу; в открытом репозитории их нет. [2] [3]
Оба разработчика тестов продают программы для подсчёта объёмов по чертежам. Публикации описывают результаты отдельных задач и не дают основания для проверенного общего рейтинга строительных ИИ-продуктов. Различия методик также разбирает Construction Industry AI в статье от 19 октября. [5]
Для пробного запуска подойдёт знакомый проект с проверенными объёмами
До покупки системы стоит выбрать конкретную задачу и чертежи, которые команда вправе использовать. Для сравнения понадобится принятая ведомость объёмов: по ней сметчик проверит результат ИИ. Оценивать нужно весь процесс — от первого ответа до материалов, которые проверены и готовы к работе.
Отдельно проверять количество объектов, длины и площади
Программа может хорошо считать оборудование и при этом пропускать осевые линии стен или неверно читать масштаб. Результаты стоит фиксировать по каждой группе задач, чтобы общий балл не скрывал слабые места.
Использовать независимый эталон
Эталоном может служить ведомость объёмов, которую принял проверяющий специалист. Единицы измерения должны совпадать, а каждую позицию должно быть возможно найти в исходном чертеже. В набор проверки стоит включить сложные чертежи и изменения к ним, чтобы оценить работу за пределами демонстрационных примеров.
Измерять время на проверку и исправления
В результатах нужно отмечать пропуски, неверное количество и позиции, которые требуют уточнения. Отдельно измеряют время человека на проверку и исправления до готовности к работе. Только так можно понять, стал ли быстрее весь процесс.
Результат ИИ нужно проверить на чертежах компании и учесть время сметчика.
Модель общего назначения может использоваться внутри специализированной системы. При этом и специализированная программа может ошибаться на ваших чертежах. Для выбора нужно выяснить, какую часть подсчёта она выполняет, что приходится исправлять человеку и сколько времени занимает подготовка результата, который специалист готов утвердить.
Инструкция по теме
Как выбрать задачу для ИИ в строительстве ↗Это независимая практическая заметка Maak.Digital о тестах, опубликованных сторонними компаниями. Она не описывает внедрение и не воспроизводит тесты независимо. Данные о продуктах и результатах получены от разработчиков тестов. Сравнение двух тестов здесь качественное: оно показывает различия задач и методик, но не ранжирует продукты по баллам. Оно не гарантирует результат внедрения, окупаемость или точность сметы. Схема в начале кратко показывает задачи двух тестов; это не чертёж из их наборов.