Перенос и классификация данных со скриншотов с Gemini и Google Sheets

Отзывы, отчёты и заметки часто приходится переносить в таблицу вручную. Например, когда нужные сведения остались в таких источниках:

• скриншоты;
• отзывы клиентов;
• отчёты;
• изображения;
• скопированные сообщения;
• заметки, собранные вручную.

Чтобы сравнить записи и посчитать итоги, их нужно разложить по одинаковым столбцам. Gemini может перенести сведения с изображения в таблицу. Полученные значения нужно сверить с оригиналом: модель может неверно распознать текст или число. Затем функция =AI() в Google Sheets поможет обработать текст в строках: определить тему отзыва, его тональность или кратко пересказать содержание.

Процесс выглядит так:

Метод из учебных материалов Google

В основе статьи — практическое задание из официального курса Google «AI for Data Analysis» на Coursera. В нём показано, как перенести сведения со скриншота в таблицу с помощью Gemini. Затем ИИ заполняет дополнительные столбцы — например, с темами и тональностью отзывов. Разберём этот процесс по шагам. Сначала повторим задание Google, затем добавим правила для проверки рабочих данных.

Шаг 1. Извлеките данные с изображения

Начните с изображения, содержащего информацию, которую обычно пришлось бы копировать вручную.

Например:

• скриншот отзывов клиентов;
• таблица внутри изображения;
• список товаров;
• ответы на опрос;
• оценки;
• информация о мероприятиях.

Загрузите изображение в Gemini. Укажите, какие данные нужны и в каких столбцах их разместить.

Extract the [data you want] from this [source] and turn them into a [data format] with the following columns: [column headers].

Например:

Extract the reviews from this screenshot and turn them into a table with the following columns:

- date
- review text
- number of stars

В запросе названы столбцы, которые нужны в результате. Это позволяет сразу подготовить записи к сортировке, группировке и анализу.

Зачем заранее задавать столбцы

Рассмотрим два возможных результата.

Первый:

John left a five-star review and said the service was excellent.

Mary gave the company three stars and mentioned that delivery was slow.

Такой ответ удобно читать, но сравнивать и подсчитывать записи в нём трудно.

В таблице эти же сведения выглядят так:

Когда дата, текст и оценка находятся в отдельных столбцах, записи можно:

• фильтровать;
• сортировать;
• группировать;
• распределять по категориям;
• подсчитывать и подводить итоги;
• показывать на диаграммах.

Если нужно просто прочитать изображение, достаточно общего вопроса:

Чтобы затем работать с данными в таблице, задайте структуру ответа:

Шаг 2. Перенесите данные в Google Sheets

В задании Google созданная таблица экспортируется в Google Sheets. Каждая запись будет занимать отдельную строку. Рядом можно создать столбец с тональностью отзыва: положительный, отрицательный или нейтральный. Функция AI поможет заполнить этот столбец. Так не придётся вручную назначать категорию каждому отзыву, но ответы модели всё равно нужно проверять.

Шаг 3. Добавьте категории с помощью =AI()

Создайте новый столбец.

Например:

Customer sentiment

Затем введите формулу AI в первую строку данных.

=AI("Analyze the [data to classify] and classify it into [category list]", [cell containing the data])

Для отзывов клиентов это может выглядеть так:

=AI("Analyze the customer feedback and classify it into Positive, Neutral, or Negative", B2)

Здесь:

• в промпте указано, какую категорию нужно определить;
• в ячейке B2 находится отзыв;
• Gemini возвращает подходящую категорию.

Протяните формулу вниз, чтобы применить те же правила к остальным строкам.

По документации Google, функция AI в Sheets умеет создавать текст, кратко пересказывать его, распределять записи по категориям и определять тональность.

Определите тему, проблему и нужное действие

Помимо тональности можно определить и другие признаки. Для каждого вопроса создайте отдельный столбец.

Например, исходный набор отзывов клиентов может содержать:

Дополнительные столбцы можно заполнить с помощью ИИ:

Каждый новый столбец отвечает на один вопрос об исходном отзыве.

Теперь можно, например, отфильтровать отзывы о доставке и подсчитать, сколько клиентов упоминают задержку.

Дополнение M2B2: задайте правила извлечения данных

В рабочем запросе важно задать не только названия столбцов, но и правила переноса. Объясните, что делать, если текст нельзя прочитать или значение отсутствует.

Например:

Extract all customer reviews visible in the attached screenshot.

Return the result as a table with exactly these columns:

- reviewer
- date
- review_text
- star_rating

Rules:

1. Preserve the original wording of each review.
2. Do not summarize or rewrite the review text.
3. Do not invent values that are not visible in the image.
4. If a field cannot be determined, return "Not visible".
5. Keep one review per row.
6. Preserve dates exactly as displayed.
7. Before returning the table, check that every visible review has been included.

Помимо формата таблицы такой промпт определяет:

• какие данные нужно сохранить без изменений;
• что модели запрещено додумывать;
• чем заполнять пропуски;
• как распределять сведения по строкам.

Иначе модель может заполнить пробелы предположениями, а в дальнейший анализ попадут выдуманные сведения.

Оставляйте пропуски там, где нет данных

Представьте, что на скриншоте виден отзыв, но дата обрезана. Выдуманная дата исказит анализ. Пропуск покажет, какие сведения пока неизвестны.

В таблице должно быть видно:

Поэтому в промпте стоит прямо указать, как обозначать отсутствующие значения:

If the information is not visible in the source, return "Not visible". Do not infer it.

Тогда пропуски останутся заметными, и их можно будет проверить.

Дополнение M2B2: задайте единые правила классификации

Для новых столбцов также задайте правила: какие ответы допустимы и в каком виде их возвращать. Простая формула для тональности может выглядеть так:

=AI("Classify this customer review as Positive, Neutral, or Negative", B2)

Чтобы ответы было легче анализировать, ограничьте список допустимых категорий:

=AI("Classify the customer review into exactly one of these categories: Positive, Neutral, Negative, or Mixed. Return only the category name and no explanation.", B2)

В формуле есть инструкция:

Return only the category name

Она ограничивает ответ одним словом, которое удобно использовать как значение в таблице.

Сравните два варианта ответа. Короткий:

Negative

удобнее фильтровать и подсчитывать, чем развёрнутое объяснение:

This review appears to be negative because the customer was dissatisfied with delivery.

Выбирайте формат по задаче: для подсчёта категорий нужны одинаковые короткие ответы, для разбора отдельного случая — объяснение.

Не ограничивайтесь тональностью

Тем же способом можно задать разные вопросы к текстовым данным.

Определить основную тему

=AI("Classify this review into exactly one primary topic: Product Quality, Delivery, Customer Service, Price, Website, or Other. Return only the category.", B2)

Определить, сообщает ли клиент о проблеме

=AI("Does this customer review describe a specific problem? Return only Yes or No.", B2)

Извлечь основную проблему

=AI("If this review describes a problem, identify the main problem in 5 words or fewer. If no problem is described, return None.", B2)

Определить, нужно ли связаться с клиентом

=AI("Based only on this review, classify whether customer follow-up may be needed. Return High, Medium, Low, or None.", B2)

Каждая формула отвечает на свой вопрос об отзыве. По результатам можно найти повторяющиеся темы и проблемы в большом числе записей.

Один вопрос — один столбец

Для работы с ИИ в таблицах удобно придерживаться правила:

У вас уже есть исходные данные:

Customer review

Затем вы формулируете дополнительные вопросы:

What is the sentiment?
What is the main topic?
Is there a problem?
What problem is mentioned?
Does this require follow-up?

Каждый вопрос становится новым столбцом. ИИ выполняет одну небольшую задачу для каждой строки: например, определяет тему отзыва. Отдельный столбец с темами проще проверить, отфильтровать и использовать в расчётах.

Два этапа: извлечение и дополнение данных

Весь процесс можно разделить на два этапа.

Этап 1 — Извлечение

Извлеките нужные сведения и разместите их в строках и столбцах.

Extract [information] from this [source].

Return a table containing:

[column 1]
[column 2]
[column 3]

Rules:

- preserve the source text where appropriate;
- do not invent missing information;
- use one record per row;
- use "Not visible" when a value cannot be determined;
- verify that all visible records have been included.

Этап 2 — Категории и признаки

Попросите ИИ заполнить дополнительные столбцы для каждой записи.

=AI("[classification or extraction instruction]. Return only [required output format].", [source cell])

Этот порядок можно повторять для разных источников:

Где это может пригодиться

Отзывы клиентов — один из примеров применения. Этот же процесс можно адаптировать для:

• ответов на опрос;
• обращений в поддержку;
• заметок о продажах;
• материалов интервью;
• комментариев к товарам;
• заметок по результатам проверок;
• регистраций на мероприятия;
• наблюдений за конкурентами;
• текстовых материалов исследований;
• наблюдений и записей, сделанных вручную.

Для этого нужно заранее определить:

1. какие сведения извлекать;
2. что будет считаться одной записью;
3. какие темы или категории должен определить ИИ;
4. какие категории допустимы в ответе.

Проверьте результат, прежде чем на него полагаться

Аккуратная таблица ещё не означает, что данные перенесены верно. Прежде чем принимать решение на её основе, сверьте записи с исходным изображением или текстом. Отдельно проверьте, правильно ли ИИ назначил темы и категории.

Можно выстроить такую последовательность проверки:

Для решения с серьёзными последствиями выборочной проверки может быть недостаточно: объём проверки должен соответствовать риску ошибки.

Кому доступна функция AI в Google Sheets

Функция =AI() доступна не во всех аккаунтах Google Sheets. По информации Google, нужен подходящий тариф Google Workspace или Google AI. Доступность также зависит от аккаунта, языка и настроек администратора.

Если формула не работает, сначала проверьте доступность функции для вашего аккаунта по актуальной документации Google Workspace.

От изображения к данным для анализа

В этом задании распознавание скриншота — только первый шаг.

Дальше информация проходит несколько преобразований:

Скриншоты трудно использовать в расчётах, абзацы — фильтровать, а сотни отзывов — сравнивать вручную. В таблице каждая запись получает свою строку, а ИИ помогает заполнить столбцы с темой, тональностью и другими характеристиками. По этим столбцам можно сортировать записи, искать повторяющиеся проблемы и считать итоги. Так материалы, которые раньше приходилось читать по одному, становятся доступными для общего анализа. Результат зависит от того, насколько точно заданы столбцы, правила извлечения и допустимые ответы.

Источник

На основе официального курса Google «AI for Data Analysis» на Coursera.