SMTP шлюз

SMTP шлюз представляет собой обычный SMTP сервер, реализация SMTP протокола в нем самая минимальная. Служба включается в мастере конфигурирования программы, он привязывается ко всем IP адресам всех внешних интерфейсов. Т.е. если внешних сетей в программе не назначено, то эта служба будет недоступна. Доступ на TCP порт SMTP сервера шлюза во внешнем сетевом экране откроется автоматически.

Для фильтрации сообщений имеется набор правил самого SMTP шлюза, а также могут подключаться различные модули расширения (плагины). Обработка сообщения правилами производится не только после приема сообщения целиком, а также по каждому событию, связанному с определенными стадиями приема сообщения в рамках SMTP протокола. Это позволяет настроить процедуру фильтрации таким образом, что-бы сообщения можно было отфильтровать как можно раньше, экономя при этом трафик.

При каждом событии для анализа доступны только те атрибуты сообщений, которые уже имеются (приняты) —

В правилах могут проверяться только эти атрибуты, используется синтаксис регулярных выражений. Анализ всего сообщения целиком доступен только в модулях расширений.

Имеются следующие события, по которым производятся действия обработки сообщений —

Операцию фильтрации сообщения по данным заголовков можно производить по событию их приема, но тут следует иметь ввиду, что SMTP клиент на этой стадии отправки сообщения, скорее всего, анализировать код возврата не будет, и прекращение приема данных тела сообщения воспримет как ошибку связи, и через некоторое время предпримет попытку повторной отправки. Поэтому такую фильтрацию лучше всего делать по приему сообщения целиком (событие Complete).

В SMTP шлюзе имеется механизм добавления (отнимания) т.н. весового коэффициента сообщения, что позволяет реализовать его обработку по совокупности разных признаков. Если в самом конце приема и анализа сообщения этот вес превысит определенный заданный порог, то сообщение может быть отфильтровано.

Кроме такого радикально действия — фильтрации (блокировки), может быть также сделана пометка сообщения в теме или его заголовках. Эти признаки в дальнейшем могут использоваться для фильтрации сообщений в почтовом сервере организации, или непосредственно в клиентской почтовой программе. Пометка в теме также может использоваться клиентской почтовой программой для распределения принятых сообщений в разных папках. Помечаться сообщение может при превышении его веса заданным порогом, а также отдельными правилами.

Для анализа работы SMTP шлюза, отладки правил и поиска потерянных сообщений ведутся логи в нескольких журналах —

Тарификация почты и анализ адресов получателей.

 
Имеется два режима работы с получателями — прием только для известных адресатов, или прием для любых получателей из заданного списка доменов. Таким образом, произвести отправку сообщения через SMTP-шлюз на произвольные  адреса принципиально невозможно — функция пересылки (relay) всегда ограничена допустимыми рамками.

В первом случае все E-Mail адреса получателей должны быть прописаны у клиентов программы и весь входящий почтовый трафик будет тарифицироваться. Во втором случае надо дополнительно прописать все почтовые домены организации, и тарифицироваться будет только та почта, получатели которой прописаны в программе. Второй вариант можно рекомендовать на начальном этапе внедрения SMTP шлюза, когда еще не все E-Mail адреса прописаны в программе.

Использование первого варианта в большой организации позволяет сильно экономить трафик, опыт применения шлюза показывает, что как правило имеется очень большой почтовый трафик на несуществующих получателей — почтовые подписки уволенных сотрудников, рассылки по случайно сгенерированным адресам домена, и т.д..

Если у сообщения несколько получателей, то трафик за сообщение может быть засчитан всем полностью, или разделен на них поровну. Для этого имеется соотв. настройка.

Также имеется несколько настроек, позволяющих разрешить, или запретить прием почты для клиентов, отключенных по разным критериям.

Текущая страница справки: help.smart-soft.ru/index.html?howworksmtpgate.htm

Сайт разработчиков Traffic Inspector

Шлюз для почтового сервера / Хабр

У компании имеются удаленные партнерские филиалы, равномерно распределенные по всей Западной Европе, использующие один почтовый сервер. К сожалению, бюджет IT-отдела не очень большой, а пользователей достаточно много (около 700 почтовых аккаунтов). Использовался, да и сейчас используется для почты Exchange 2010 с последними обновлениями и более-менее настроенными правилами фильтрации спама, а вот с антивирусом как-то не заладилось. Купленное решение отказывалось нормально работать, раздувая очередь входящей корреспонденции до неприличных размеров и вешая намертво всю почту. (Да, я знаю, что все best practice говорят о необходимости и edge-сервера, и отдельно сервера архивации, но что было на тот момент, то и было.)

Берем инициативу в свои руки. К большому своему удивлению, найти развернутый мануал по решению такой проблемы сходу не удалось, так что возникла идея поделиться своими пробами и ошибками в рунете.

Из того, что было в конечном итоге протестировано и опробовано:

Zentyal, ASSP и Xeams.

Перейдем ко второму нашему кандидату. Anti-Spam SMTP Proxy. Весь набор для проксирования почтового трафика в нем есть, т.е. и Байесовская фильтрация спама, и пенальти очки, и черные/белые списки, и ClamAV и куча-куча всего еще. Есть единственный недостаток: юзабельность. Т.е. веб-интерфейс ASSP это обернутые в какой-то ад конфиги, которые лично мне проще править через консоль. Штука эта простояла у нас около 2х месяцев в продакшене, а потом какой-то из админов что-то поменял в конфигах и все заверте… В общем, мы поймали пару раза .locky и в последний раз актуального бэкапа не нашлось, потому человек ушел в отпуск, а когда пришел уже было поздно. Это заставило нас пересмотреть нашу политику резервного копирования, но об этом в другой раз. К огромному сожалению, отдельного Linux-администратора у нас нет, т.к. почти вся инфраструктура на Microsoft, поэтому ковырять монструозные награмождения через веб-интерфейс для админов была реальная пытка.

После усиленного гугления и пробы еще нескольких продуктов, я остановил свой выбор на Xeams. Да, к большому сожалению, это не OpenSource, а закрытый продукт, однако, он очень дружелюбен к тем администраторам, у которых нет большого опыта в связках Linux&Dovecot&Postfix&etc. Кроме того, он кросплатформенный, так что не возникнет проблем даже у тех, кто с линкусом на вы.

Работать он может в трех режимах:
Stand alone server — да, xeams умееть быть и просто почтовым сервером. На сколько хорошим не могу сказать, потому что эта функция интересовала меня в последнюю очередь.
Spam firewall — в этом режими xeams только принимает весь почтовый трафик на себя и дальше распределяет на корпоративные почтовые сервера.

Так как у нас уже был почтовый сервер, то использовался вариант SMTP-Proxy

Установка производилась на чистую машину с Ubuntu 14.04. Единственное, что необходимо было доставить, так это Java, на которой, собственно, работает движок Xeams.

sudo apt-get update && upgrade
sudo apt-get install libc6-i386
sudo update-alternatives --config java
sudo apt-get install default-jre
java -version

sudo apt-get install clamav-daemon

Качаем архив с инсталлятором отсюда. Распаковываем, даем права и выполняем.

wget http://www.xeams.com/files/XeamsLinux64.tar
tar -xf ./XeamsLinux64.tar
chmod +x ./Install.sh
./Install.sh

Если все прошло успешно, Web-Interface будет доступен по 5272 порту.

Главная страница содержит отчеты, графики и основные параметры потребления ресурсов. Мы дали машине 8Гб RAM, пиковая нагрузка несколько раз достигала 6, так что такие цифры вполне оправданы.

Переходим к самой настройке. На Firewall весь трафик на 25 порт заворачиваем на IP нашего Xeams на порт 2525. Это сделано потому, что у нас Xeams не только получает, но через него и отправляется почта, так что входящая приходит на 2525й порт, а исходящая на 25й порт.

В целом, настройка Xeams простая и достаточно удобная. На которые моменты все-таки, хотелось бы обратить внимание:

Указываем порт для http/https web-доступа.
DNS, если указан в настройках самой машины, то можно не указывать
И адрес, для ежедневных отчетов.

На вкладке Advanced необходимо указать HELO (как правило, можно просто скопировать из настроек имеющегося почтового сервера), чтобы самим не попасть в СпамЛисты.

Используйте только Closing relay и пропишите адреса и хосты, с которых можно будет отправлять почту без аутентификации.
Со стороны Exchange это выглядит вот так, где закрашенным прописан адрес smtp-relay

Здесь все просто, указываем порты, на которые принимается почта, указываем адрес пересылки и порт. В нашем случае, это адрес корпоративного Exchange

Если у Вас поднят Active Directory, то его без проблем можно интегрировать в Xeams. Зачем? Хотя бы для того, чтобы пользователи не мучали Вас в первое время, что у них не доходит почта. Пользователь без проблем сможет зайти и проверить свой почтовый ящик, просмотреть свой спам и прописать свои black/whitelist:

Кроме этого, это предоставляет возможность использовать SMTP только аутентифицированным пользователям. В общем, удобно.

чуть ниже я расскажу о некоторых нюансах его использования.

Спамфильтры.

У Xeams достаточно большой набор спамфильтров:

Real-time Black-hole servers (RBL). Каждому списку можно выставить свои очки значимости, на основе которых, Xeams определяет благонадежность письма.

Из адаптивных фильтров используется Bayesian Analysis, которая вполне справляется с возложенными на нее функциями. Были опасения, что работать он будет плохо, из-за большого количества языков переписки (русский, немецкий, английский, испанский, итальянский, польский, греческий), однако, процент ложных срабатываний достаточно низок.

Auto Learn Sender. Отличная вещь, именно из-за него мы пропускаем весь исходящий почтовый трафик через Xeams, который анализирует адреса получателей и принимает их во внимание, когда выносит окончательную оценку благонадежности письма.

Остальные фильтры страндартны и я не думаю, что их необходимо описывать в этой статье, которая и так уже получилась раздутой.

Теперь несколько слов хотелось бы уделить не совсем очевидным нюансам:
После нескольких дней использования, мы изменили стандартные настройки фильтров и конфигурацию очков:

По умолчанию, ClamAV НЕ проверяет вложения макросов в документах Ofiice, т.е. новомодный .locky может спокойно пройти,
исправить это можно одной строчкой:

echo 'ScanOLE2 true' >> /etc/clamav/clamd.conf

cat /etc/clamav/clamd.conf                  

#Automatically Generated by clamav-base postinst
#To reconfigure clamd run #dpkg-reconfigure clamav-base
#Please read /usr/share/doc/clamav-base/README.Debian.gz for details
TCPSocket 3310
# TemporaryDirectory is not set to its default /tmp here to make overriding
# the default with environment variables TMPDIR/TMP/TEMP possible
User clamav
AllowSupplementaryGroups true
ScanMail true
ScanArchive true
ArchiveBlockEncrypted false
MaxDirectoryRecursion 15
FollowDirectorySymlinks false
FollowFileSymlinks false
ReadTimeout 180
MaxThreads 12
MaxConnectionQueueLength 15
LogSyslog true
LogRotate true
LogFacility LOG_LOCAL6
LogClean false
LogVerbose false
PidFile /var/run/clamav/clamd.pid
DatabaseDirectory /var/lib/clamav
SelfCheck 3600
Foreground false
Debug false
ScanPE true
MaxEmbeddedPE 10M
ScanOLE2 true
ScanPDF true
ScanHTML true
MaxHTMLNormalize 10M
MaxHTMLNoTags 2M
MaxScriptNormalize 5M
MaxZipTypeRcg 1M
ScanSWF true
DetectBrokenExecutables false
ExitOnOOM false
LeaveTemporaryFiles false
AlgorithmicDetection true
ScanELF true
IdleTimeout 30
PhishingSignatures true
PhishingScanURLs true
PhishingAlwaysBlockSSLMismatch false
PhishingAlwaysBlockCloak false
PartitionIntersection false
DetectPUA false
ScanPartialMessages false
HeuristicScanPrecedence false
StructuredDataDetection false
CommandReadTimeout 5
SendBufTimeout 200
MaxQueue 100
ExtendedDetectionInfo true
OLE2BlockMacros false
ScanOnAccess false
AllowAllMatchScan true
ForceToDisk false
DisableCertCheck false
DisableCache false
MaxScanSize 100M
MaxFileSize 25M
MaxRecursion 10
MaxFiles 10000
MaxPartitions 50
MaxIconsPE 100
StatsEnabled false
StatsPEDisabled true
StatsHostID auto
StatsTimeout 10
StreamMaxLength 25M
LogFile /var/log/clamav/clamav.log
LogTime true
LogFileUnlock false
LogFileMaxSize 0
Bytecode true
BytecodeSecurity TrustSigned
BytecodeTimeout 60000
OfficialDatabaseOnly false
CrossFilesystems true
OnAccessMaxFileSize 25M

В целом, через две недели после использования и анализа спама, возможного спама, можно сказать, что 98% спама действительно не проходит.

Буду рад предложениям, комментариям и критике в комментах.

Страница отправки по электронной почте

Настройки электронной почты

Функции отправки по электронной почте MFP позволяют отправлять отсканированные документы непосредственно на электронные почтовые ящики (на электронную почту), преобразовывая информацию на бумажном носителе в цифровые изображения, которые можно использовать совместно, сохранять и изменять. Это избавляет пользователя MFP от необходимости сначала создавать и сохранять электронную копию бумажного документа, а затем отправлять ее с помощью почтового клиента. Теперь средствами MFP все это можно сделать за один шаг.

На странице Настройки электронной почты можно включать и настраивать функции отправки по электронной почте для mfp.

1.       Чтобы включить функцию «Отправка по электронной почте», щелкните «Настройки электронной почты».

2.       Передача сообщений по электронной почте средствами MFP осуществляется через шлюзовый сервер SMTP. Чтобы указать шлюзовый сервер SMTP, введите следующие Параметры шлюза SMTP:

· В раскрывающемся списке Отправка по электронной почте… выберите способ отправки сообщений по электронной почте:  

При выборе варианта через службу цифровой отправки сообщения электронной почты будут отправляться на шлюзовый сервер SMTP  с помощью ПО Digital Sending (с использованием настроек на странице «Настройки электронной почты»).  Этот способ требует дополнительного шага для отправки данных по электронной почте с MFP, но при этом используется более мощный механизм доставки электронной почты.

При выборе варианта непосредственно с mfp сообщения электронной почты отправляются на шлюзовый сервер SMTP непосредственно с MFP.  Необходимо настроить следующую информацию:

·         В окне Шлюз SMTP устройства: введите IP-адрес или имя хоста шлюзового сервера SMTP, который будет обрабатывать запросы электронной почты, поступающие с MFP.  Если IP-адрес или имя хоста шлюза SMTP неизвестны, нажмите кнопку Поиск шлюзов для поиска в сети подходящего шлюзового сервера SMTP (если имеются).

Примечание. Некоторые модели MFP распознают только IP-адреса.  В таких случаях имена хостов преобразуются в соответствующий  IP-адрес.

·         В окне ПОРТ: введите номер порта TCP/IP, на котором сервер обрабатывает запросы SMTP.  Обычно таким портом является порт 25.

·         В раскрывающемся списке Максимальный размер вложения выберите максимальный размер вложений электронной почты, поддерживаемый шлюзовым сервером SMTP. Если с MFP необходимо отправить вложение, размер которого превышает максимально допустимый, вложение будет разбито на файлы меньшего размера, которые будут отправлены несколькими письмами.

·         Нажмите кнопку Тест для проверки работоспособности указанного шлюзового сервера SMTP.

Примечание.  В старых моделях MFP  вариантчерез службу цифровой отправки является единственно возможным.  Другие модели MFP могут поддерживать только вариант непосредственно с mfp.

3.       Если на данном MFP функция аутентификации не включена, пользователь должен ввести адрес электронной почты в поле ‘От:‘ на панели управления MFP, чтобы отправить сообщение (для указания отправителя сообщения).  Если пользователь не ввел адрес электронной почты, MFP использует Адрес ‘От:’ по умолчанию:

·         В окне Адрес для электронной почты введите адрес электронной почты отправителя по умолчанию.

·         Можно также ввести Экранное имя. Введенное здесь имя будет отображаться в поле ‘От:’ при первом включении функции ‘Отправка по электронной почте’ пользователем MFP. Это поле можно использовать для отображения инструкций для пользователя MFP (таких как:  «Введите адрес электронной почты в это поле»).

Примечание. Если Отображаемое имяне указано, значение, введенное в поле  Адрес электронной почты, будет показано в поле ‘От:‘ .

·         Чтобы запретить пользователю MFP изменять значение поля ‘От:‘ , установите флажок для функции Запретить пользователю устройства изменять адрес ‘От:’, используемый по умолчанию.  Это лишит пользователя возможности подставлять в поле другие данные.

4.       Можно также ввести в поле Тема по умолчанию тему сообщения, которая будет автоматически появляться в поле Тема при создании сообщения пользователем MFP. Это поле можно также использовать для отображения инструкций для пользователя MFP (таких как:  «Введите тему сообщения»).

5.       Для настройки расширенных функций Отправки по электронной почте нажмите кнопку Расширенные. Откроется диалоговое окно Расширенные настройки электронной почты.

[Общие параметры настройки] [Параметры отправки по факсу ] [Параметры адресации] [Адресная книга] [Параметры предпочтений] [Журнал]

# openssl rsa -in <имя файла закрытого ключа>.pem -out <имя файла закрытого ключа после удаления пароля>.pem

# openssl rsa -in key.pem -out key-nopass.pem

% cat <имя файла закрытого ключа после удаления пароля>.pem <имя сертификата сервера>.pem <имя промежуточного сертификата CA>.pem
<имя корневого сертификата CA>.pem <имя TLS-сертификата после объединения файлов>.pem

% cat key-nopass.pem server_cert.pem intermediate_CA.pem
root_CA.pem > cert.pem

  <КЛИЕНТ> демо 
   пароль 
  
    
       Идентификатор отправителя 
       Тестовое сообщение1 
      <ПРИЕМ> 4793000000 
    
    
       Идентификатор отправителя 
       Тестовое сообщение2 
      <ПРИЕМ> 4793000000