Хакеры, спецслужбы, тотальная прослушка.Пару слов от Игоря Ашманова.

[ Версия для печати ]
Добавить в Telegram Добавить в Twitter Добавить в Вконтакте Добавить в Одноклассники
Страницы: (3) 1 [2] 3   К последнему непрочитанному [ ОТВЕТИТЬ ] [ НОВАЯ ТЕМА ]
destin
15.03.2017 - 02:34
0
Статус: Offline


Юморист

Регистрация: 2.12.14
Сообщений: 548
Цитата
Вообще поисковики — Яндекс или Google – постоянно хранят четыре-пять копий всего Интернета, просто в силу технологии.

Можно поподробнее, что это значит ?
1) Сравнивать Яндекс и Google по возможностям даже теоретически - просто тупо и некорректно. Это разный уровень в порядках

2) Что, блять значит 4-5 копий интернета ? Информации о всех серверов ? То есть Яндекс хранит 4-5 копий Pornhub, и т.д. ? Откуда у него такие ресурсы ВНЕЗАПНО ? Да и если это выглядит так, как сказал автор, то даже у Google не хватит мощностей
 
[^]
bimb0
15.03.2017 - 02:39
0
Статус: Offline


МимоКрокодил (c)

Регистрация: 25.03.16
Сообщений: 6080
Цитата (destin @ 15.03.2017 - 02:34)
Цитата
Вообще поисковики — Яндекс или Google – постоянно хранят четыре-пять копий всего Интернета, просто в силу технологии.

Можно поподробнее, что это значит ?
1) Сравнивать Яндекс и Google по возможностям даже теоретически - просто тупо и некорректно. Это разный уровень в порядках

2) Что, блять значит 4-5 копий интернета ? Информации о всех серверов ? То есть Яндекс хранит 4-5 копий Pornhub, и т.д. ? Откуда у него такие ресурсы ВНЕЗАПНО ? Да и если это выглядит так, как сказал автор, то даже у Google не хватит мощностей

Вы знаете что такое кеш? В поиске у практически каждого сайта, есть опция - сохраненная копия, это и есть копия интернета gigi.gif Вот пример.
Хранится только текстовка, графика и т.д. - мимо, поэтому нужно не так много ресурсов.
З.Ы. Там еще и "снимков" несколько dont.gif

Это сообщение отредактировал bimb0 - 15.03.2017 - 02:41
 
[^]
destin
15.03.2017 - 02:46
0
Статус: Offline


Юморист

Регистрация: 2.12.14
Сообщений: 548
bimb0
Разве кэшируется принципиально не статическая информация ? Как можно закэшировать динамические страницы, например, скриптовые, которые в зависимости от набора параметров что-либо отображают ?
 
[^]
bimb0
15.03.2017 - 02:48
0
Статус: Offline


МимоКрокодил (c)

Регистрация: 25.03.16
Сообщений: 6080
Цитата (destin @ 15.03.2017 - 02:46)
bimb0
Разве кэшируется принципиально не статическая информация ? Как можно закэшировать динамические страницы, например, скриптовые, которые в зависимости от набора параметров что-либо отображают ?

Не путайте кэш апача/браузера и веб кэш. В случае с вебом создается слепок страницы на которой был поисковый робот и все, если взгляните на указанный мной пример, то увидите строчку что "содержимое страницы могло измениться".
 
[^]
destin
15.03.2017 - 02:53
0
Статус: Offline


Юморист

Регистрация: 2.12.14
Сообщений: 548
bimb0
Цитата
Не путайте кэш апача/браузера и веб кэш. В случае с вебом создается слепок страницы на которой был поисковый робот и все, если взгляните на указанный мной пример, то увидите строчку что "содержимое страницы могло измениться".

Ну, то есть фактически, как я и предполагал, в web-кэш динамическая информация попадает частично, а именно которая хоть раз была запрошена ? А если информация ранее не запрашивалась, но доступна, то её и не будет в web-кэше ?
 
[^]
bimb0
15.03.2017 - 02:58
0
Статус: Offline


МимоКрокодил (c)

Регистрация: 25.03.16
Сообщений: 6080
Цитата (destin @ 15.03.2017 - 02:53)
bimb0
Цитата
Не путайте кэш апача/браузера и веб кэш. В случае с вебом создается слепок страницы на которой был поисковый робот и все, если взгляните на указанный мной пример, то увидите строчку что "содержимое страницы могло измениться".

Ну, то есть фактически, как я и предполагал, в web-кэш динамическая информация попадает частично, а именно которая хоть раз была запрошена ? А если информация ранее не запрашивалась, но доступна, то её и не будет в web-кэше ?

Вы не знакомы с принципами работы пауков. Запрос информации происходит 2 способами:
1) Гет запрос - просто по ссылке (например site.ru/index.php?id=1, запрос страницы с id 1), это парсится полностью, все ссылки, которые есть на странице съедает робот и переходит по каждой, потом опять то же самое.
2) Пост/Куки - то же самое, что и гет, только параметр передается скрыто (например данные хтмл формы), тут явно забрать данные нельзя.
Посему ответ на ваш вопрос - частично.

Это сообщение отредактировал bimb0 - 15.03.2017 - 02:58
 
[^]
destin
15.03.2017 - 03:04
0
Статус: Offline


Юморист

Регистрация: 2.12.14
Сообщений: 548
bimb0
Все же разницу между get и post я знаю )

Но я не про это. Допустим у вас есть сайт site.ru, есть страница site.ru/index.php, которая на самом деле связана с БД и по факту отображает её в каком-то разрезе в зависимости от параметров.
Были запросы
- site.ru/index.php?id=1
- site.ru/index.php?id=1&id2=1&id10=15
А на самом деле внутри ещё тонна информации под другим набором параметров, которые не были, насколько я понимаю, не попали в web-кэш, просто потому что никто ранее не обращался к этим страницам, но при этом все это остается в открытом доступе в интернете
 
[^]
bimb0
15.03.2017 - 03:09
1
Статус: Offline


МимоКрокодил (c)

Регистрация: 25.03.16
Сообщений: 6080
Цитата (destin @ 15.03.2017 - 03:04)
bimb0
Все же разницу между get и post я знаю )

Но я не про это. Допустим у вас есть сайт site.ru, есть страница site.ru/index.php, которая на самом деле связана с БД и по факту отображает её в каком-то разрезе в зависимости от параметров.
Были запросы
- site.ru/index.php?id=1
- site.ru/index.php?id=1&id2=1&id10=15
А на самом деле внутри ещё тонна информации под другим набором параметров, которые не были, насколько я понимаю, не попали в web-кэш, просто потому что никто ранее не обращался к этим страницам, но при этом все это остается в открытом доступе в интернете

Что мешает краулеру пробрутить параметры хотя бы до 404?) Если ссылка опубликована на какой-либо странице - она скормлена пауку.
И да, поисковики, как минимум не наш, умеют пользоваться вот этим (один из инструментов контекстной рекламы)
Это как раз для поиска "неучтенных" страниц.
Если честно, сеошник из меня не очень, поэтому я не шибко компетентен в этом вопросе. Но, я на 100% знаю, что всяческие директивы "индексировать или не индексировать" контент (типа метатегов, роботс.тхт) - фигня, поисковики все равно все индексируют,ибо логи веб сервера не будут врать в этом вопросе cool.gif

Это сообщение отредактировал bimb0 - 15.03.2017 - 03:16
 
[^]
Nadoyeda
15.03.2017 - 03:11
-1
Статус: Offline


Кэп_напоминает

Регистрация: 5.11.15
Сообщений: 1447
Террористы никогда, НИКОГДА не будут переговариваться по телефону о предстоящем теракте даже иносказательно, есть другие способы связи. Просто прослушивают общее мнение народа (не пора ли бежать за границу пока не развесили по столбам)... То есть нас же слушают за наши же деньги, а говорят о безопасности (имеют в виду себя?).
 
[^]
bimb0
15.03.2017 - 03:14
1
Статус: Offline


МимоКрокодил (c)

Регистрация: 25.03.16
Сообщений: 6080
Цитата (Nadoyeda @ 15.03.2017 - 03:11)
Террористы никогда, НИКОГДА не будут переговариваться по телефону о предстоящем теракте даже иносказательно, есть другие способы связи. Просто прослушивают общее мнение народа (не пора ли бежать за границу пока не развесили по столбам)... То есть нас же слушают за наши же деньги, а говорят о безопасности (имеют в виду себя?).

Голубиная почта? И ту перехватят соколы gigi.gif
Слушаются все способы связи, а ваша теория заговора - смех.
И да, прочтите что такое СОРМ.
 
[^]
destin
15.03.2017 - 03:17
1
Статус: Offline


Юморист

Регистрация: 2.12.14
Сообщений: 548
bimb0
Цитата
Что мешает краулеру пробрутить параметры хотя бы до 404?)
И да, поисковики, как минимум не наш, умеют пользоваться вот этим (один из инструментов контекстной рекламы)
Это как раз для поиска "неучтенных" страниц.
Если честно, сеошник из меня не очень, поэтому я не шибко компетентен в этом вопросе. Но, я на 100% знаю, что всяческие директивы "индексировать или не индексировать" контент (типа метатегов, роботс.тхт) - фигня, поисковики все равно все индексируют,ибо логи веб сервера не будут врать в этом вопросе cool.gif

В любом случае спасибо за подробное объяснение. Просто тогда верится с трудом немного, что хотя бы у того же Яндекса хватит сил зохавать 4-5 копий с учетом таких страниц. Так есть кучи интерфейсов (например, один из наших) под которым скрывается тонна текстовой информации из БД. И мы ведь не единственные ? К тому же, если была запрошена страница - не факт, что удастся перебрать все остальные варианты, хотя бы потому, что сама страница может быть под авторизацией. Её можно будет в кэше найти, а вот остальные - маловероятно.
 
[^]
CristalClear
15.03.2017 - 03:17
0
Статус: Offline


Сборщик света

Регистрация: 14.03.14
Сообщений: 2512
Обернулся на подло застывшую за спиной микроволновку самсунг

Выкинуть или тупо расхерачить ?
 
[^]
bimb0
15.03.2017 - 03:20
1
Статус: Offline


МимоКрокодил (c)

Регистрация: 25.03.16
Сообщений: 6080
Цитата (destin @ 15.03.2017 - 03:17)
В любом случае спасибо за подробное объяснение. Просто тогда верится с трудом немного, что хотя бы у того же Яндекса хватит сил зохавать 4-5 копий с учетом таких страниц. Так есть кучи интерфейсов (например, один из наших) под которым скрывается тонна текстовой информации из БД. И мы ведь не единственные ? К тому же, если была запрошена страница - не факт, что удастся перебрать все остальные варианты, хотя бы потому, что сама страница может быть под авторизацией. Её можно будет в кэше найти, а вот остальные - маловероятно.

Нет, само собой на 100% копии быть не может, но я повторюсь, сохраняется только текстовка, поэтому много ресурсов и не нужно, тем более - информация по-любому жмется каким-нибудь гзипом (конкретно за алгоритм - хз)...
А в случае с ЯПом есть великолепная вещь - rss feed все ссылки в удобном для поисковика xml формате)

Это сообщение отредактировал bimb0 - 15.03.2017 - 03:22
 
[^]
JIR
15.03.2017 - 03:31
0
Статус: Online


Сибирский

Регистрация: 5.02.09
Сообщений: 6595
Halaban, откуда вас долбоёбов набирают?
 
[^]
Grammaton
15.03.2017 - 03:34
0
Статус: Offline


Ярила

Регистрация: 3.07.15
Сообщений: 2246
А вот скажите мне, кто умный...
Писать разговоры - не вопрос.
Предположим, даже есть где хранить эти данные.
Вопрос - как обрабатывать эти петабайты данных, в частности записи разговоров?
Не думаю, что искусственный интеллект настолько развит, что бы находить действительно что то интересное. По ключевым словам искать - так там в основном игроки в CS будут попадаться.
 
[^]
Длительно
15.03.2017 - 03:35
0
Статус: Offline


Шутник

Регистрация: 11.03.17
Сообщений: 91
Цитата (Nadoyeda @ 15.03.2017 - 03:11)
Террористы никогда, НИКОГДА не будут переговариваться по телефону о предстоящем теракте даже иносказательно, есть другие способы связи.

Это то же самое, что сказать, что люди никогда, НИ-КОГ-ДА не ошибаются gigi.gif

P.S.
По данным полиции, специалисты расшифровали разговор между Наджимом Лашрауи и Ибрагимом Бакрауи, которые устроили взрывы в аэропорту Брюсселя в 2016 году.

"Медлить с нападением больше нельзя, оно намечено на 22 марта. Утром вылетают американские, российские и израильские рейсы, их пассажиры могут быть затронуты", - говорилось в ходе беседы.

Теракты в аэропорту "Завентем", а также на станции метро "Маальбек" в европейском квартале Брюсселя были совершены 22 марта 2016 года. Жертвами атаки стали 35 человек, более трехсот граждан получили ранения.

https://rg.ru/2017/03/11/terroristy-v-brius...i-izrailia.html

Это сообщение отредактировал Длительно - 15.03.2017 - 03:38
 
[^]
JIR
15.03.2017 - 03:37
0
Статус: Online


Сибирский

Регистрация: 5.02.09
Сообщений: 6595
Цитата (Grammaton @ 15.03.2017 - 03:34)
А вот скажите мне, кто умный...
Писать разговоры - не вопрос.
Предположим, даже есть где хранить эти данные.
Вопрос - как обрабатывать эти петабайты данных, в частности записи разговоров?
Не думаю, что искусственный интеллект настолько развит, что бы находить действительно что то интересное. По ключевым словам искать - так там в основном игроки в CS будут попадаться.

Да никак, бля... фантастики начитались наши депутаты.
 
[^]
Volandk
15.03.2017 - 03:48
1
Статус: Offline


Юморист

Регистрация: 16.02.16
Сообщений: 540
Цитата (JIR @ 15.03.2017 - 03:37)
Цитата (Grammaton @ 15.03.2017 - 03:34)
А вот скажите мне, кто умный...
Писать разговоры - не вопрос.
Предположим, даже есть где хранить эти данные.
Вопрос - как обрабатывать эти петабайты данных, в частности записи разговоров?
Не думаю, что искусственный интеллект настолько развит, что бы находить действительно что то интересное. По ключевым словам искать - так там в основном игроки в CS будут попадаться.

Да никак, бля... фантастики начитались наши депутаты.

Ага то есть то что обычный инженер смог запилить нейросеть которая палит кота на лужайке и прогоняет его брызгалками не наводит вас на мысль что чуть более обученные нейросети могут фильтровать данные аудиозаписей по ключевым маркерам а ля "Путин бомба переворот"
 
[^]
JIR
15.03.2017 - 03:51
0
Статус: Online


Сибирский

Регистрация: 5.02.09
Сообщений: 6595
Цитата (Volandk @ 15.03.2017 - 03:48)
Цитата (JIR @ 15.03.2017 - 03:37)
Цитата (Grammaton @ 15.03.2017 - 03:34)
А вот скажите мне, кто умный...
Писать разговоры - не вопрос.
Предположим, даже есть где хранить эти данные.
Вопрос - как обрабатывать эти петабайты данных, в частности записи разговоров?
Не думаю, что искусственный интеллект настолько развит, что бы находить действительно что то интересное. По ключевым словам искать - так там в основном игроки в CS будут попадаться.

Да никак, бля... фантастики начитались наши депутаты.

Ага то есть то что обычный инженер смог запилить нейросеть которая палит кота на лужайке и прогоняет его брызгалками не наводит вас на мысль что чуть более обученные нейросети могут фильтровать данные аудиозаписей по ключевым маркерам а ля "Путин бомба переворот"

Парсинг по аналоговому каналу?
Ты хоть сам понимаешь, что пишешь?)))
Бог в помощь!
 
[^]
JIR
15.03.2017 - 03:53
0
Статус: Online


Сибирский

Регистрация: 5.02.09
Сообщений: 6595
Volandk, ах, да... ты же "Матрицу" посмотрел. Все три части.
Мальчик, иди кушай рыбу с молоком.
Не отвлекай злых.

Это сообщение отредактировал JIR - 15.03.2017 - 03:55
 
[^]
Grammaton
15.03.2017 - 03:55
0
Статус: Offline


Ярила

Регистрация: 3.07.15
Сообщений: 2246
Цитата (Volandk @ 15.03.2017 - 03:48)
наводит вас на мысль что чуть более обученные нейросети могут фильтровать данные аудиозаписей по ключевым маркерам а ля "Путин бомба переворот"

По таким маркерам ты отловишь тысячи игроков в КС. У них там слова бомба и террорист на каждом шагу.
 
[^]
horrordash
15.03.2017 - 03:57
2
Статус: Offline


Ярила

Регистрация: 1.08.09
Сообщений: 2178
Цитата (av74 @ 15.03.2017 - 00:40)
Мое мнение об Ашманове резко ухудшилось, когда я столкнулся с его аферой сервисом продвижения сайтов maremoto

А сейчас он со своей женой Касперской активно пытается присосаться к бюджетным деньгам на теме прослушки и ограничений в интернете своих сограждан.

впервые слышу эту фамилию, а мнение резко ухудшилось после начала прочтения сего опуса. если это "один из самых компетентных специалистов в стране", то у нас пиздец...
 
[^]
JIR
15.03.2017 - 03:57
0
Статус: Online


Сибирский

Регистрация: 5.02.09
Сообщений: 6595
Цитата (Grammaton @ 15.03.2017 - 03:55)
Цитата (Volandk @ 15.03.2017 - 03:48)
наводит вас на мысль что чуть более обученные нейросети могут фильтровать данные аудиозаписей по ключевым маркерам а ля "Путин бомба переворот"

По таким маркерам ты отловишь тысячи игроков в КС. У них там слова бомба и террорист на каждом шагу.

Квод лицед Йове, нот лицед Бове.

Это сообщение отредактировал JIR - 15.03.2017 - 03:57
 
[^]
and4841
15.03.2017 - 04:00
2
Статус: Offline


Юморист

Регистрация: 10.07.12
Сообщений: 560
Цитата (влад1000 @ 15.03.2017 - 00:40)
Пойду телек выкину.
P.S. Ну и стиралку за одно, она тож у меня Самсунг. Х.з. может она там тоже че-нибудь отправляет, сколько я носков стираю, как часто и какого они у меня цвета.
И носки мои, хакеры мериканские тоже у меня из стиралки пиздят по одному, на какие-нибудь анализы. Другого объяснения куда они постоянно по одному теряются у меня просто нет.

С носками просто полный беспредел!!Куда они из закрытой стиралки телепортируются? pray.gif
 
[^]
JIR
15.03.2017 - 04:00
0
Статус: Online


Сибирский

Регистрация: 5.02.09
Сообщений: 6595
Цитата (horrordash @ 15.03.2017 - 03:57)
Цитата (av74 @ 15.03.2017 - 00:40)
Мое мнение об Ашманове резко ухудшилось, когда я столкнулся с его аферой сервисом продвижения сайтов maremoto

А сейчас он со своей женой Касперской активно пытается присосаться к бюджетным деньгам на теме прослушки и ограничений в интернете своих сограждан.

впервые слышу эту фамилию, а мнение резко ухудшилось после начала прочтения сего опуса. если это "один из самых компетентных специалистов в стране", то у нас пиздец...


(((
 
[^]
Понравился пост? Еще больше интересного в Телеграм-канале ЯПлакалъ!
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей) Просмотры темы: 6703
0 Пользователей:
Страницы: (3) 1 [2] 3  [ ОТВЕТИТЬ ] [ НОВАЯ ТЕМА ]


 
 



Активные темы






Наверх