Конференция VBStreets

**Antonariy** » 05.02.2007 (Пн) 10:37

Название проги говорит само за себя. Висит себе в трее, есть не просит, и с указанной частотой проверяет почтовые ящики, поддерживающие POP3, на предмет нежелательных сообщений. Письма не скачивет, удаляет прямо с сервера, заодно ведет учет сэкономленного траффика. Единственный критерий проверки - вхождение в сабж одного слова из списка. Отличительная особенность - не ведется на подмены одних символов другими с аналогичным начертанием. Так же не ведется на подмены типа Ы - bl. Все варианты подмен можно определить вручную, для каждого языка отдельно. Да-да, в программу можно внести любой язык, хоть олбанзгий. Маски пока не поддерживает, но эту мысль я уже думаю. Когда наберется список багов (не может быть, чтобы их не было) и пожеланий, додумаю до конца и внедрю по самые помидоры вместе с этими самыми пожеланиями.

Притензии по поводу удаленных жизненно важных писем не принимаются - внимательней выбирайте слова-паразиты.

ADD: Таки был прав насчет багов - 1шт fixed.

**hCORe** » 05.02.2007 (Пн) 11:00

1) Поддержка IMAP планируется?
2) Кажется, текстовая база тут была бы предпочтительнее. А то mdb-шник занимает места больше, чем исполняемый файл

**Antonariy** » 05.02.2007 (Пн) 11:14

1)Дайте ящик на IMAP и инструкцию, как с ним работать, попробую.
2)В базе удобней хранить бинарники с таблицами подмены, и мне симпатичней один файл побольше, чем несколько файлов поменьше.

**hCORe** » 05.02.2007 (Пн) 11:31

1) Состаить представление поможет RFC 3501. Там еще, правда, дополнения есть.
А протестировать... Ну не знаю. По запросу "Free IMAP e-mail" Google направил меня на эту страницу, где настоятельно рекомендуют юзать fastmail.fm.
2) Что мешает сделать один текстовый файл. Или, на крайний случай, бинарник собственного компактного формата?

**Antonariy** » 05.02.2007 (Пн) 11:37

1) Будем посмотреть...
2) а) Лень - двигатель продуктов Microsoft

б) Напрягает вопрос изобретения велосипеда. в) Лучше сконцентрироваться на том, что действительно нужно.

**hCORe** » 05.02.2007 (Пн) 11:39

2) Логично

**Antonariy** » 05.02.2007 (Пн) 11:59

Здесь написано, что mail.ru поддерживает IMAP, но при попытке соединиться получаю connection is forcefully rejected.

**hCORe** » 05.02.2007 (Пн) 12:32

У меня телнетом нормально законнектился.

Код: Выделить всё: telnet> open imap.mail.ru 143 * OK Mail.Ru IMAP server ready. Q200 CAPABILITY * CAPABILITY IMAP4rev1 SORT THREAD=REFERENCES UNSELECT LITERAL+ IDLE CHILDREN LI STEXT LIST-SUBSCRIBED NAMESPACE STARTTLS AUTH=PLAIN Q201 LOGOUT * BYE Logging out Q201 OK Logout completed.

**Хакер** » 05.02.2007 (Пн) 12:43

Удаление писем прямо с сервера - зло. Должен быть выбор - что делать с пиьмами: удалять примо там, или скачивать - совать в архив и только потом удалять там.

**Antonariy** » 05.02.2007 (Пн) 12:57

hCORe а у меня "сбой подключения".

Хакер, да, злой я... :twisted:

Если тебе нравится ковыряться в горе мусора - значит моя прога тебе не нужна. А я хочу немного уменьшить эту гору, удалив то, что не нужно ни под каким видом. Коллекционировать хлам не вижу смысла.

**Хакер** » 05.02.2007 (Пн) 12:58

Я использую мыло только как средство для узнавания о факте ответа в тему на каком то форуме. Люди пишут мне раз в три месяца - форумы - раз в 5 минут. Mail.ru агент сообщает о новом письме и если это Уведомльение об ответе - я запускаю спецтулзу которая берёт письмо - выделяет из него нужную часть и открывает для меня окно форума. Если я вижу что это не уведомление об ответе - я ничего не делаю. Аулук Експресс периодически скачивает все письма - так вот у меня получается чёткое разделение - уведомления обрабатывает спецпрога - спам остаётся в аутлуке. Иногда, когда нечего делать - читаю спам. Редко, но бывает попадаются и нормальные письма. На них отвечаю.

**Sebas** » 05.02.2007 (Пн) 19:05

Ребята, со спамом надо бороться на стороне сервера. Не заморачивайтесь)

**Antonariy** » 05.02.2007 (Пн) 20:45

Поздно)

**Alexanbar** » 05.02.2007 (Пн) 22:28

quote="Sebas"]Ребята, со спамом надо бороться на стороне сервера. Не заморачивайтесь)[/quote]

Что-то серваки не сильно горят желанем бороться со спамом.

Борьба со спамом возможна и со стороны клиента. Опять же никто не даст права серверу грохать чужие письма - возможны ошибки.

Свой способ борьбы со спамом я кратенько описал в http://bbs.vbstreets.ru/viewtopic.php?t=30793

Кстати, а оценка процента распознанного спама делалась - хотя бы приблизительная?

**Antonariy** » 06.02.2007 (Вт) 9:52

Здесь не эвристический анализатор, поэтому нет никакого распознавания. Встречается слово в сабже - значит спам. Процент удаленного спама прямо зависит от количества и качества слов-паразитов. Пока что слов не много, слова соответствуют самым частым сообщениям, а ведь приходит много и уникальных сообщений, так что процент удаленных пока около 30.

**Paladium** » 08.02.2007 (Чт) 18:42

странно, если отбор только по словам паразитам, то это самая бесполезная программа.

Если мой друг напишет мне письмо с указанием слов "Закажи" или "купи" то программа автоматически должна это письмо переместить в спам?? Глупо.

Cпам, должен проверятся по критериям:
1 Адрес отправителя. Если такой адрес в адресной книге? Если есть, то пропускаем! Если с одного и того же адреса пришло несколько писем, и пользователь их прочитал и не пометил как спам, тогда убираем адрес из списка спам контроля.
2 проверка на вхождение (слова из спам библиотеки)
3 Спамеры не идиоты, они отправляют письмо-спам в виде картинки,
что тогда?????, а тогда смотри пункт 1
Причем туже адресную книгу можно импортировать в программу из почтовика.

вот простой вариант формата экспортировантого файла CSV формата

Код: Выделить всё: Nickname,First Name,Last Name,Middle Name,E-mail,Birthday,Company,Job title,Phone,B/Phone,Address,City,State,ZIP,Country,B/Address,B/City,B/State,B/ZIP,B/Country,Notes,Suffix,Prefix paladium,,,,MyMail@mail.ru,,,,,,,,,,,,,,,,,,

Если внимательно посмотреть то это база данных, где поля разделены запятыми.

**Antonariy** » 08.02.2007 (Чт) 21:23

Если мой друг напишет мне письмо с указанием слов "Закажи" или "купи" то программа автоматически должна это письмо переместить в спам?? Глупо.

Глупо выбирать слова, которые могут содержаться в нужной корреспонденции. Я писал - внимательней выбирайте слова-паразиты.

1. Специфика моей работы предполагает получение писем с адресов, в книге отсутствующих.
2. Дык ведь именно это и сделано.
3. Накласть на картинки. Описание вообще читал? Повторяю: скачивается только заголовок и проверяется только сабж. В сабже картинок не бывает.

**Paladium** » 09.02.2007 (Пт) 9:16

открываем программу и видим, 4 закладки, 2-я "Словари".
В словарь вводим слово "КУПИ"
получаем письмо, оно проверяется, находит слово например: "Купите",
программа отсортирует и сделает все правильно, но отсортирует она ТО ЧТО НУЖНО И ТО ЧТО НЕ НУЖНО
то получается что отсортировано, может быть, все что угодно.
Я потому и задал вопрос, почему не проверяется вхождение адреса в адресную книгу. :?:

Кстати подобная проверка значительно упростит работу программы, и снизит выполнение лишних действий.

На счет картинок:
Так вот в тело письма "САБЖ" совсем не обязательно что-то вписывать какой-то "текст", тот самый текст можно вставить в виде картинки.
и потому ваша программа будет бесполезна, так как разработчик "НАКЛАЛ" на вложения картинок.

В любом случае, вы все равно придете к выводу, что необходимо расширять программу на выполнение дополнительных проверок, а не только по словарю вхождений "известных слов"!!!!!

**Sebas** » 09.02.2007 (Пт) 10:02

Я одного не пойму, смысл? ТРаффика жрётся больше. А основые правила борьбы со спамом Вы не реализуете. КОнтент фильтрация не эффективна. Максимум, локальный ид, да один ресивд и то не факт. Ну, можно файленый рднс проверить.

Такие вещи как грейлистинг, RBL вы не реализуете. а это 99% перехвата.

**Antonariy** » 09.02.2007 (Пт) 12:28

Однако вы не поняли. Я не пытаюсь бороться со всем возмозможным спамом, я борюсь только со своим. Мне валится совершенно конкретный спам нескольких определенных тематик, ну и немного разнобоя. Слова я выбираю под эти темы. На текущий момент в словаре 70 слов и его эффективность составляет около 70%.

Я предполагал, что другим пользователям тоже валится не весь вселенский спам, а лишь ограниченное количество тем, которые ведут спамеры, в чьи листы угораздило попасть пользователя.

Ок, сделаю белый список. Письма с отправителями из этого списка удаляться не будут, но это никак не повысит процент отбраковки. Импорт из адресных книг делать не буду. Скорее всего.

Еще сделаю проверку на ip отправителя. На 40 утренних писем по две штуки пришли с двух неуникальных адресов; все с разными сабжами. В базу будут попадать только ip-адреса отправителей, чьи письма не прошли проверку. Письма, пришедшие с адреса, который уже засветился в базе, будут удаляться не проверяясь на слова, если адрес отправителя отсутствует в белом списке. Таким образом 4 от 40 - еще плюс 10% эффективности.

Я одного не пойму, смысл? ТРаффика жрётся больше.

А я не пойму, как его может жраться больше, если я скачиваю только заголовок???

КОнтент фильтрация не эффективна.

А я считаю, что 70% только по контенту - достаточно эфективно. Жалкие остатки можно и ручками проверить.

Максимум, локальный ид, да один ресивд и то не факт. Ну, можно файленый рднс проверить.

Такие вещи как грейлистинг, RBL вы не реализуете. а это 99% перехвата.

Не понял ни слова.

Но наверное из-за всего вышеперечисленного, редкое письмо доходит до моего hotmail.com'овского ящика. Или из него.

BV » 09.02.2007 (Пт) 17:03

2 Antonariy

Программу не смотрел (к счастью, спам на моем ящике практически не водится), так что заранее извиняюсь, если вопрос глупый.
А нельзя ли как-нибудь программу адаптировать под плагин к Miranda IM 0.6.*/0.7.*? Особенно интересуют протоколы ICQ/MRA.

**Antonariy** » 09.02.2007 (Пт) 23:44

Хмм, мне б с IMAP'ом разобраться... И каким боком его планируется прикручивать к ICQ?

**Antonariy** » 13.02.2007 (Вт) 11:26

Как и обещал, подтянул Спаморез до версии 1.1
Добавлены следующие функции:

1. Белый список емейлов. Письма с отправителями из этого списка удаляться не будут.

2. Черный список серверов. Все письма, пришедшие с ip-адресов из этого списка, будут удаляться, кроме случаев, когда отправитель находится в белом списке. Сервер автоматически попадает в черный список, если письмо, пришедшеее с него, не прошло проверку на вшивость.

3. Поддержка масок в словах. Пока только одного типа - * означает любой набор символов. Если написать р*а*с*с*ы*л, то ни Р^А^С^С^Ы^Л^К^И, ни Р"А"С"С"Ы"Л"К"И, ни даже P__A__C__C__bl__Л__0__4__K__И не пройдут.

4. Отчет о проделанной работе. Вызывается из меню иконки в трее. Данные отчета нигде не хранятся, поэтому после перезапуска программы он будет чист. Через контекстное меню можно добавить/удалить сервер/емейл в/из соответствующего списка.

5. Приятные мелочи - формы запоминают свои позиции, отчет запоминает ширину колонок.

6. В базе ведется статистика по количеству хитов на каждое слово из словаря и каждый сервер из черного списка, однако в программе она нигде не отражается.

**Хакер** » 13.02.2007 (Вт) 13:13

Antonariy писал(а):3. Поддержка масок в словах. Пока только одного типа - * означает любой набор символов. Если написать р*а*с*с*ы*л, то ни Р^А^С^С^Ы^Л^К^И, ни Р"А"С"С"Ы"Л"К"И, ни даже P__A__C__C__bl__Л__0__4__K__И не пройдут.

А если мне придёт письмо, содержащее "Что вы можете сказать по поводу разработки системы биллинга ..." ? Твоя программа тоже удалит такое письмо, хотя оно бы принесло мне потенциального заказчика?

**alibek** » 13.02.2007 (Вт) 13:36

А если написать "расылки"?
Или "стиль брас ссылки"?

**Antonariy** » 13.02.2007 (Вт) 15:14

Хакер
Такое совпадение маловероятно. И пример не очень... Где ты видел, чтобы в сабже деловых писем разворачивались такие пассажи? В спаме - очень часто, но нормальные люди обычно это пишут в теле.

alibek
1й вариант пропустит, 2 й зарежет. Если тебя постоянно достают малограмотные спамеры, то можно добавить в словарь их очепятки. Неужели столь очевидные вещи нужно объяснять?

Однако маску ? добавлю.

А вообще, граждане, за уши можно притянуть довольно крупного слона, как бы он ни упирался :elephant:

Я привел пример, который достал лично меня.
Если охватить пристрастным взором все возможные варианты, то, получается, любое слово даже без маски может оказаться в письме, которое нужно. И что же, спам не резать? В конце концов теперь можно посмотреть отчет и самостоятельно почитать зарезанные сабжи. Если какой-нибудь покажется ценным, можно проанализировать адрес отправителя, спросить у whois'а что за сервер его отправил. При отсутствии подозрений в спамности, можно добавить адрес в белый список и попросить еще раз переслать письмо.
Но вероятность такого сценария очень мала.

Можно еще добавить белый словарь, слова из которого будут пропускаться, но тогда получится обратная ситуация - будет пролезать спам, содержащий эти слова, и этот сценарий гораздо более вероятен хотя бы из-за количества спама.

**Alexanbar** » 13.02.2007 (Вт) 22:05

Antonariy писал(а):Как и обещал, подтянул Спаморез до версии 1.1
Добавлены следующие функции:

1. Белый список емейлов. Письма с отправителями из этого списка удаляться не будут.

2. Черный список серверов. Все письма, пришедшие с ip-адресов из этого списка, будут удаляться, кроме случаев, когда отправитель находится в белом списке. Сервер автоматически попадает в черный список, если письмо, пришедшеее с него, не прошло проверку на вшивость.

Т.е., создаётся некая простенькая адресная книга

**Antonariy** » 14.02.2007 (Ср) 10:57

Адресная книга - это адреса, фамилии, явки

У меня просто список.

**Antonariy** » 15.02.2007 (Чт) 10:36

Утренняя почта

Как мне это нравиццо :compress:

**Antonariy** » 15.02.2007 (Чт) 16:31

А мы все растем...

1) Добавлена маска "?".
2) Добавлено 3 whois-сервера в контекстное меню отчета.
3) В меню иконки в таскбаре добавлена галочка "Удалять подозрительные письма". При первом запуске выключена.
4) По немногочисленным заявкам добавлена поддержка протокола IMAP. Проверяются только непрочитанные сообщения, подозрительные отправляются в Trash. Тестировалось на mail.ru.

Конференция VBStreets

Спаморез

Спаморез

Кто сейчас на конференции