Валидация: что это такое, зачем нужна и как проводить гигиену базы
Email-маркетинг — это не только красивые письма, но и грамотная работа с базой подписчиков. Рассказываем, как работать с «живыми» адресами и получать высокие показатели OR и CTR и зачем вообще проверять имейлы.
Что такое валидация и с чем её едят
Валидация в email-маркетинге — это процесс проверки адресов электронной почты на пригодность для рассылок. Валидными считаются существующие и правильно написанные адреса, не замеченные в подозрительных действиях. То есть те, которые могут получать рассылки.
Невалидные — адреса, которые написаны с ошибками в домене (@mail.ru) или префиксе (name@). Невалидными также называют несуществующие адреса, дубликаты, временные и одноразовые ящики, спам-ловушки.
Условно валидные — существующие хорошие адреса, которые по той или иной причине сейчас не могут получать рассылки. Например, когда ящик получателя переполнен. После того, как адрес снова будет доступен для получения новых рассылок — он снова станет валидным.
Такие адреса в базе могут появиться, если контакты собирались в офлайне — через анкеты, опросы или, например, флаеры. Ещё одна явная причина этому — если в форме регистрации не был настроен Double Opt In (двойное подтверждение подписки).
Невалидной также может оказаться устаревшая база подписчиков: пользователи могли удалить свою почту или вовсе забыть о том, кто вы, и отписаться от рассылки.
Превалидация и стандартизация базы
Чтобы в базу попадали только корректные адреса, можно подключить проверку данных на этапе заполнения формы. Превалидация позволяет снизить количество ошибок при заполнении формы или сразу исправить их.
По сути, это скрипт, который проверяет в режиме реального времени заполнение формы подписки. Он заранее отсеивает «неликвидную» информацию: подставлен ли знак @ (явно обязательная часть имейл-адреса) и правильно ли написан домен (gmail вместо gamil).
Есть ещё такое понятие, как стандартизация базы — отдельная проверка базы на соответствие стандартам и исправление возможных ошибок.
Пример: есть список правильного написания распространённых имён, и если человек ошибся при регистрации и написал «Алксей», скрипт проверит его имя, соотнесёт с базой, исправит на «Алексей» и занесёт его в базу платформы. Это позволит отправлять хорошие письма, даже если человек ошибся при вводе.
Прогрев базы
Прогрев базы — это отправка писем частями с постепенным наращиванием количества единовременных отправок. Важно начинать отправки с активных сегментов базы, которые ранее уже получали и открывали письма. Если таких нет (email-маркетинг на стадии внедрения), то просто отправлять по проверенным адресам.
Пример прогрева базы в 100 000 подписчиков:
5 000 — 10 000 — 15 000 — 30 000 — 50 000 — 80 000 — 100 000
Прогревать базу необходимо не только на старте, но и если по ней давно не запускали рассылок. Первая отправка даст самую большую очистку и может показать высокий процент ошибок на доставки. Это нормально.
Ориентируйтесь на статистику и смотрите за доставляемостью. Если ошибок мало — можно увеличивать количество единовременных отправок. Нормальный показатель ошибок и жалоб при отправке рассылок — до 1%. Значит, проблем с базой нет. Если 2–5%, значит, часть адресов невалидна и необходимо реанимировать базу контактов.
Проверка базы на валидность
Рассылка по ненадёжной базе — это бесполезная трата денег, риск оказаться в чёрных списках почтовиков, блокировка в ESP-платформах и просто испорченная репутация отправителя. Вам же всё это не нужно?
Чтобы проверить список контактов на валидность, используют валидаторы — специальные сервисы (например, mailvalidator.ru). Они проверяют почту в три этапа:
Вот так выглядит полная проверка адреса:
А так — экспресс-проверка базы:
Конечно, проверить базу можно и вручную, но это не самая эффективная история: так вы сможете поправить лишь очевидно плохие имейлы и удалить дубликаты. Поэтому лучше проверять базу автоматически в платформе рассылок или через специальные сервисы.
Сервисы для проверки адресов
Для проверки одного почтового ящика существуют бесплатные сайты. Для массовой проверки используют как отдельные независимые сервисы проверки, так и программное обеспечение для ПК (ePochta Verifier) или инструменты, встроенные прямо в сервис рассылки. Рекомендуем несколько онлайн-валидаторов, которые помогут работать с базой.
Mailvalidator
Онлайн-платформа для контроля качества контактной базы. Список имейлов может загружаться в неё файлом, кроме того, возможно подключение непосредственно к сервису по API. В диагностику входит:
Чем хорош: двумя видами проверки. Экспресс для имейл-адресов с доступной почтовой историей и полная проверка для всех остальных. Визуализированные отчёты в виде графиков, персональные рекомендации по улучшению качества контактной базы, русскоязычный интерфейс.
Mailvalidator как встроенный инструмент используют и сами ESP-платформы. Например, Mailganer.
Цена за одну проверку зависит от количества имейлов. Чем их больше — тем выгоднее.
Zero Bounce
Онлайн-верификатор, который принимает файлы в формате TXT и CSV.
Чем хорош: сервис находит недостающую информацию по имейлам (имя, фамилию, пол, город, страну, IP), круглосуточная поддержка.
Есть бесплатный тариф, если адресов немного. Дальше — уже по подписке + можно настроить кастомно в зависимости от нужд бизнеса (вплоть до Enterprise с безлимитным тестированием за 999$).
Snov.io
Предлагает безопасную очистку списков email-адресов в режиме реального времени и помогает удалить все catch-all и невалидные адреса. Можно загрузить список адресов файлом, воспользоваться веб-приложением или подключить Email Verifier к CRM по API. Помимо этого можно добавлять и верифицировать адреса посредством расширения Email Verifier для Chrome.
Чем хорош: индивидуальная проверка, импорт списков адресов для верификации и экспорт результатов проверки в удобном формате, интеграция через API с CRM-платформами, большой выбор тарифов.
Прайсинг разный: пять тарифов на выбор, а также два месяца бесплатно при оформлении годовой подписки.
Проверяйте базы контактов перед отправкой, и тогда ваши письма попадут только в папку «Входящие». Да, на выходе количество адресов сократится, зато это будут активные подписчики, которые заинтересованы в вашей рассылке.
Вам может быть интересно
Посмотрите вебинар, в котором наш технический директор Александр Каринцев сравнивает между собой ТОП‑5 платформ для рассылок.
ПОЛУЧИЛОСЬ!
Скоро вы начнете получать нашу рассылку
Я знал, как валидировать email-адрес. Пока не прочитал RFC
От переводчика: прочитав статью, начал было отвечать в комментариях, но решил, что текст, на которую я собирался ссылаться, достоин отдельной публикации. Встречайте!
Если вы знаете, как валидировать email-адрес, поднимите руку. Те из вас, кто поднял руку — опустите её немедленно, пока вас кто-нибудь не увидел: это достаточно глупо — сидеть в одиночестве за клавиатурой с поднятой рукой; я говорил в переносном смысле.
До вчерашнего дня я бы тоже поднял руку (в переносном смысле). Мне нужно было проверить валидность email-адреса на сервере. Я это уже делал несколько сот тысяч раз (не шучу — я считал) при помощи классного регулярного выражения из моей личной библиотеки.
В этот раз меня почему-то потянуло ещё раз осмыслить мои предположения. Я никогда не читал (и даже не пролистывал) RFC по email-адресам. Я попросту основывал мою реализацию на основе того, что я подразумевал под корректным email-адресом. Ну, вы в курсе, что обычно говорят о том, кто подразумевает. [прим. перев. Автор имеет в виду игру слов: «when you assume, you make an ass of you and me» — «когда вы (что-то) подразумеваете, вы делаете /./удака из себя и из меня»]
И обнаружил кое-что занимательное: почти все регулярные выражения, представлены в интернете как «проверяющие корректность email-адреса», излишне строги.
Оказывается, что локальная часть email-адреса — то, что перед знаком «@» — допускает гораздо более широкое разнообразие символов, чем вы думаете. Согласно разделу 2.3.10 RFC 2821, который определяет SMTP, часть перед знаком «@» называется локальной частью (часть после знака — это домен получателя) и предназначена для интерпретации исключительно сервером получателя.
Следовательно — и благодаря длинной череде проблем, вызванных промежуточными хостами, пытавшимися оптимизировать передачу путём изменения их [адресов — перев.], локальная часть ДОЛЖНА быть интерпретирована (и ей должен быть назначен семантический смысл) исключительно сервером, указанным в доменной части адреса.
Адресная спецификация представляет собой определённый идентификатор в сети Internet, содержащий локально интерпретируемую строку, за которой следует знак «эт» («@», ASCII-код 64), за которым, в свою очередь, следует домен сети Internet. Локально интерпретируемая строка представляет собой либо обрамлённую кавычками строку, либо точечный атом.
Точечный атом — это набор атомов, разделённых точками. В свою очередь, атом определён в разделе 3.2.4 как набор алфавитно-цифровых символов и может включать в себя любые из нижеследующих символов (знаете, те самые, которыми обычно заменяют мат)…
Более того, вполне допустимо (хотя не рекомендуется и редко где применяется) иметь закавыченные локальные части, в которых допустимы почти любые символы. Закавычивание может производится либо при помощи символа обратной черты, либо путём обрамления локальной части двойными кавычками.
RFC 3696, Application Techniques for Checking and Transformation of Names, был написан автором протокола SMTP (RFC 2821) как человекочитаемое руководство по эксплуатации SMTP. В третьем разделе он приводит примеры корректных email-адресов.
Это таки корректные email-адреса!
Ну-ка, прогоните их через ваш любимый валидатор. Ну как, много прошло?
По приколу я решил попробовать написать регулярное выражение (спасибо, мне уже доложили, теперь у меня две проблемы), через которое они все прошли бы. Вот оно.
Учтите, что это выражение подразумевает, что чувствительность к регистру выключена (RegexOptions.IgnoreCase в .NET). Согласен, весьма уродливое выражение.
Я написал юнит-тест, чтобы продемонстрировать все случаи, которые оно покрывает. Каждая строка содержит email-адрес и флаг — является он корректным или нет.
Прежде, чем вы назовёте меня жутким занудой и педантом (может, вы и правы, но всё равно погодите), я не думаю, что настолько глубокая проверка email-адресов абсолютно необходима. Большинство email-провайдеров имеют более строгие требования к email-адесам. Например, Yahoo требует, чтобы адрес начинался с буквы. Похоже, что имеется стандартизированный более строгий набор правил, которому следует большинство email-провайдеров, но насколько мне известно, он нигде не задокументирован.
Думаю, я создам email-адрес типа phil.h\@\@ck@haacked.com и начну жаловаться в техподдержку на сайтах, которые требуют ввода email-адреса, но не позволяют мне создать учётную запись с этим адресом. Люблю шалить!
Мораль заключается в том, что полезно время от времени бросать вызов предрассудкам и предположениям, а также никогда не подпускать меня к RFC.
Зачем и как валидировать email-адреса
Email-маркетинг –очень популярный канал коммуникации в интернете. Его конверсия – самая высокая в сравнении с другими инструментами интернет-маркетинга. По данным Marketing Insider Group, 59% B2B-маркетологов считают, что email-рассылка – самый эффективный канал повышения доходов. Преимущества email-маркетинга – в прямой быстрой коммуникации с потенциальными клиентами, относительно недорогая стоимость внедрения и проведения, автоматизация, рост целевых действий от подписчиков и растущая лояльность к вашему бренду.
Исследования Experian (США) выяснили:
Мы обсудим детально причину № 1 – некачественная база электронных адресов и как избежать этой причины попадания в спам.
Для успешных продаж через email важно иметь чистую и качественную базу электронных адресов. Однако со временем в любой базе появятся дубликаты, адреса с ошибками, битые почты или недоставляемые emailы. По этой причине важным этапом является валидация электронных адресов.
Как часто нужно проводить валидацию баз?
Важно поддерживать чистоту базы электронных адресов. Чистку нужно проводить минимум раз в 6 месяцев, но в зависимости от размера базы. Чем больше база, тем больше вероятность появления в ней невалидных email-адресов, и тем чаще стоит проводить валидацию.
Как именно сервисы валидируют почты?
Чем опасна некачественная база?
Превышение количества невалидных адресов и жалоб приводит к ограничению доставки писем в папку «Входящие». Если в рассылке более 5% ошибок – риски попасть в СПАМ очень высокие. Письма могут и вовсе отклоняться почтовым ящиком. Поэтому очень важно контролировать процент попадания в спам. Например, в почте Mail.ru пороговое значение несуществующих ящиков в рассылке составляет 5%, для Yahoo и Rocketmail – 10%. Показатель попадания в спам лучше держать в пределах 0,1%, но некоторые почтовые службы позволяют значение до 0,3%.
Что делать, если Вы таки попали в спам-лист?
Если Вы все-таки решили рискнуть, и не провалидировали email-базу, и попали в блек-лист по этой причине, не стоит отчаиваться, выход есть. Большинство сервисов спам и блек-листов работают автоматически. Поэтому, если Ваш домен попал в черный список, остановите отправку писем с него, хотя бы на 10-14 дней. В таком случае, он может выйти из блек-листа автоматически.
Например, можно самостоятельно убрать домен из блек-листа при помощи сайта https://www.spamhaus.org/lookup/. Это большая база данных по спаму, которая отслеживает подозрительную активность в реальном времени, и сразу помещает IP или домен в спам. Если вы заблокированы, сервис отправит на страницу, где объясняется причина блокировки и что делать дальше.
Прежде,чем подавать заявку на разблокировку и удаления из базы Spamhaus.org, необходимо устранить саму причину блокировки со стороны сервера и написать о решении вопроса на почтовый ящик sbl-removals@spamhaus.org, используя специальный номер, который отображается в адресной строке.
Второй вариант – купить новый домен и IPадрес. Это обезопасит Вас в будущем от попадания в черные списки, т.к. ответственность за репутацию IP адреса и домена будете нести только Вы. Но ровно до первой рассылки по «непрогретой» и не провалидированной базе.
Что такое валидный email
Валидный email — это реально действующий электронный адрес.
Почему отправителю рассылок важно, чтобы email был валидным?
Какие адреса считаются валидными и невалидными
Слово «валидный» образовано от английского valid — действительный, годный, обоснованный.
Невалидные адреса — это:
Зачем нужна проверка валидности email
Невалидные адреса в базе рассылки способствуют тому, что письма рассылки попадают в спам и/или возвращаются. Чем больше таких писем, тем больше страдает репутация компании как отправителя.
Жёсткие возвраты (hard bounce) могут привести к блокировке отправителя в сервисе-рассыльщике. Они случаются по одной из следующих причин:
Мягкие возвраты (soft bounce) происходят из-за временных технических проблем, например, слишком большого текста письма или переполненной почты получателя. На платформах рассылок есть лимиты на soft bounce, после превышения которых отказ переходит в категорию жёсткого и ведёт к блокировке.
Чтобы такого не происходило, стоит регулярно проверять адреса базы на валидность.
В результате получаем:
Валидацию адресов проводят на этапе сбора и повторяют проверку минимум раз в полгода. Если база растёт, логично увеличить и частоту проверок.
Кому нужна проверка email-адресов на валидность
Особенно озаботиться проверкой базы стоит тем компаниям, которые:
Как проверить валидность почты
Проверить email на валидность можно с помощью специальных сервисов — валидаторов или верификаторов.
Что именно проверяют валидаторы?
Синтаксис адреса
В этой итерации проверяется формат написания и выявляются адреса с ошибками, корпоративные емейлы, дубликаты.
Домен и сервер
Проверяется наличие и корректность MX-записи в базе доменных имён. Эта запись вносится при регистрации сервера, чтобы почтовый агент мог пересылать письма на нужный сервер.
Если адрес пользователя зарегистрирован на домене без такой записи или же эта запись неверная, email будет признан невалидным.
Активность почтового ящика
Сервис-верификатор проверит, пользуется ли владелец адреса почтовым ящиком в данное время.
Сервисы для валидации email
Проверить email на валидность можно в онлайн-сервисах и программах, которые можно установить на компьютер.
Один из сервисов выявил невалидный адрес и указал его параметры
Онлайн-проверка валидности email
Сравним онлайн-сервисы, которые проверяют валидность адресов. Все они выполняют основные функции верификации: проверяют адреса на синтаксис, проверяют домены, находят одноразовые или неактивные емейлы. Различаются отдельными возможностями и тарифами.
| Сервис | Что умеет | Бесплатно | Платно |
| BriteVerify | Интегрируется через API | По запросу техподдержки | 0,01$ за один адрес |
| Bouncer | Профессиональная техподдержка, гибкие тарифы | 100 проверок | От 20 до 500$ в месяц, индивидуальный тариф с персональным менеджером |
| BulkEmailVerifier | Работает быстро и одновременно с несколькими списками в форматах CSV или TXT, отчёты в CSV | − | От 25$ за 3 тысячи адресов |
| DataValidation | Сервис для профессионалов с развёрнутым API и автоматическим мониторингом списков | 500 проверок | Тариф зависит от количества контактов: от 0,007$, если нужно проверить до 10 тысяч адресов, до индивидуальных тарифов |
| Email Checker | Проверяет онлайн по API, может корректировать адреса, удаляя недопустимые символы | − | 14$ за тысячу адресов |
| Email List Verify | Дополнительно проводит необнаруживаемые проверки | 100 проверок | От 0,0003$ за адрес или от 139$ в месяц при величине списка в 5 тысяч адресов |
| EmailMarker | Работает с форматами: CSV, TXT, XLS, XLSX. Круглосуточная техподдержка | 150 проверок | От 21$ в месяц |
| ePochta Verifier Online | Быстрая проверка, неограниченное количество баз | 100 проверок | От 0,00005$ за 1 адрес |
| Kickbox | API для верификации в реальном времени, | 100 проверок | От 0,008$ за 1 адрес |
| MailboxValidator | Делит все контакты на три группы: валидные, условно-валидные и невалидные | 100 проверок в течение 30 дней | 149,95$ за 50 тысяч проверок |
| MailGet List Cleaning | Проверяет списки в девять этапов, определяет hard bounce | − | От 159$ за 50 тысяч проверок |
| Mailfloss | Интегрируется с MailChimp и другими сервисами, проверяет базу ежедневно | 7 дней | От 17$ в месяц |
| Mailvalidator | Экспресс-проверка, интеграция через API, техподдержка в телеграме | Экспресс-проверка без выгрузки отчётов 5 списков адресов в течение месяца | Экспресс-проверка — 0,25₽ за адрес для списка до 10 тысяч контактов, полная проверка — плюс 0,18₽ |
| MillionVerifier | Один из самых дешёвых валидаторов с техподдержкой во всех версиях | 10 адресов, плюс 200 адресов, если подтвердить номер телефона | От 50$ за 50 тысяч адресов |
| NeverBounce | Проверяет в реальном времени, автоматически чистит базу | Тысяча проверок | От 0,008$ за адрес при проверке до 10 тысяч адресов |
| Pabbly Email Verification | Находит адреса по ключевым словам, использует медленную отправку для более точных результатов | − | От 5$ за тысячу адресов |
| QuickEmailVerification | Поддерживает форматы: CSV, TXT, XLS, XLSX, ODS. Даёт возможность без регистрации попробовать некоторые функции бесплатно | 100 проверок ежедневно | От 0,008$ за адрес при проверке базы от 500 до 3500 адресов |
| SendPulse Verifier | Предлагает сразу несколько вариантов проверки, предоставляет подробный отчёт. | Один адрес в день или 100 адресов в месяц | От 0,28₽ за адрес |
| Snov.io | Может идентифицировать платные и бесплатные домены, есть расширение для Chrome | 100 проверок | От 39$ в месяц |
| TrueMail | Ориентирован на профессионалов, синхронизируется с CRM | Тысяча проверок | От 7$ за тысячу проверок |
| Xverify | Использует технологию защиты от мошенничества, может проверять номера телефонов | 100 проверок | От 0,01$ за адрес для базы в 5 тысяч контактов |
| ZeroBounce | Находит и добавляет в отчёт данные о пользователях, удаляет адреса с hard и soft bounce | 100 проверок | От 0,008$ за адрес для базы от 2 до 5 тысяч контактов |
SaaS-решения для проверки email
При необходимости можно установить программу для проверки email на компьютер. Сравним популярные SaaS-программы.
| Программа | Что умеет | Сколько стоит лицензия |
| ePochta Verifier | Загружает списки и выгружает отчёты в удобном для пользователя формате, анализирует работу домена | 2 400₽ |
| High Speed Verifier | Проверяет до нескольких тысяч адресов в секунду | 1 500₽ в год, есть бесплатная версия с ограниченными возможностями |
| MailList Validator | Проверяет до нескольких сотен адресов в секунду, импортирует адреса из любых источников, ищет адреса по гибким критериям | Бесплатно |
Как избежать попадания в базу невалидных адресов
Для поддержания чистоты базы следуйте простым правилам:
Подытожим
Репутация отправителя рассылок напрямую зависит от валидности его подписной базы. Чтобы реже попадать в спам и избежать блокировки за невалидные адреса в базе, регулярно проверяйте списки рассылок с помощью специальных онлайн-сервисов или специальных программ.
Узнавайте об обновлениях блога Email Soldiers первым
Спасибо!
Осталось подтвердить подписку — кликнуть по кнопке в письме, которое мы вам отправили.
Следите за обновлениями в соцсетях или получайте их от нашего телеграм-бота
