Если у вас возникли предложения по внесению изменений в руководство, свяжитесь с нами по контактам:

Твиты

В этом разделе вы можете выполнять различные операции с контентом типа Твиты. Этот тип контента получается при парсинге Твиттера по Запросам.

Поскольку при парсинге мы получаем не только сам текст твита, но и его UID (user id, т.е. айди того пользователя Твиттера, который его затвитил) и его логин, получаем TID (tweet id), а также сам текст твита, то соответственно мы потом можем со всеми этими данными работать и использовать их в таких действиях как: Ретвитинг - Целевые твиты, Твитить спаршенные твиты, Ретвитить спаршенные твиты, Фолловить пользователей спаршеных твитов.

На данной странице мы рассмотрим таблицу и функционал страницы.

Внимание! Подробные сведения о таблицах, работе с ними, сведения о добавлении данных в таблицы, модулях Импорта/Экспорта, об отдельных настройках для Аккаунтов и всех типов контента, о том как все это устроено читайте в статье Общие принципы работы с TFv3

Данные в таблице

В таблице представлены следующие данные:

  • Дата и время [1] - дата и время добавления строки в БД
  • UID [2] - user id пользователя в Твиттере, числовое значение
  • Пользователь [3] - логин пользователя постившего в Твиттере спаршенный нами твит
  • TID [4] - tweet id спаршенного твита, числовое значение, уникальный идентификатор твита в системе Твиттера
  • Твит [5] - текст твита
  • Счетчик [6] - счетчик использования Ответов при действиях. Этот функционал работает только в том случае, если включена опция Удалять твит после N использований.

Таблицу можно сортировать по столбцам, а также можно производить поиск и делать выборку по:

  • Пользователю [3]. Поиск находится под пунктом [10]
  • Твиту [5]. Поиск находится под пунктом [11]
  • Делать выборку по Запросу при парсинге Твиттера по которому, были получены данные. Select находится под пунктом [15]

Таблица - название поля в БД ** Название в TFv3

Все выводимые в интерфейсе, в виде таблицы данные, это данные, которые хранятся в соответствующей таблице MySQL.

Для понимания того, какие данные из таблицы, каким выводимым значениям в TF соответствуют, я решил представить эту информацию в виде таблицы:

Поле в БДНазвание в TF
idID - айди поля в таблице
uidUID
userПользователь
tidTID
tweetТвит
counterСчетчик
created_atДата и время

Мы еще раз вернемся к этой таблице чуть ниже, когда будем рассматривать Импорт и Экспорт этих данных.

Действия с твитами

Сброс/Удаление [7],[8]


Эти кнопки отвечают за действия, которые будут выполнены с выбранными, при помощи чекбоксов, строками.

  • Сбросить [7] - при выполнении этого действия, у выбранных твитов будут обнулены параметры Счетчика [6]. Также можно Сбросить все сразу
  • Удаление [8] - выбранные строки будут удалены из системы. Если выбрать Удалить все - будут удалены абсолютно все имеющиеся строки.

Редактирование твитов [9]


После нажатия на кнопку редактирования твита [9], вы попадете на следующую страницу:

  • UID [1] - можно отредактировать user id
  • Пользователь [2] - можно отредактировать логин пользователя
  • TID [3] - можно отредактировать tweet id
  • Твит [4] - можно отредактировать текст твита
  • Счетчик [5] - можно отредактировать значение счетчика

После этого нажимаем кнопку Сохранить. Если хотим вернуть исходные значения, нажимаем кнопку Сбросить.

Импорт-Экспорт твитов/Настройки

Импорт данных [12]


Импорт - добавление твитов и других данных в таблицу.

Какие данные вы можете Импортировать?

Поле в БДНазвание в TF
idID - айди поля в таблице
uidUID
userПользователь
tidTID
tweetТвит
counterСчетчик
created_atДата и время

  • Нажимаем кнопку Обзор [1] и выбираем файл на локальном компьютере. Формат как и при любом импорте - CSV.
  • Указываем необходимые Резделитель [2] и Ограничитель [3] полей.
  • Нажимаем кнопку Загрузить

После загрузки файла, снизу откроется дополнительное окно и нам необходимо будет проделать еще кое-какие действия:

Перед нами 3 столбца: Ключ [1], Поле [2], Значение [3].

Выставляем какие Значения в какие Поля БД импортировать и нажимаем кнопку Импорт.

Все, скрипт обработал построчно наш файл, наши данные загружены в БД, теперь вы их сможете увидеть в таблице.

Экспорт данных [13]


После нажатия на кнопку Экспорт [13], мы попадаем в раздел экспорта табличных данных.

Экспорт - скачивание твитов и других табличных данных

Какие данные вы можете Экспортировать?

Поле в БДНазвание в TF
idID - айди поля в таблице
uidUID
userПользователь
tidTID
tweetТвит
counterСчетчик
created_atДата и время

  • Выбираем необходимые нам Поля [1]
  • Выбираем необходимые настройки формата и данных [2], [3], [4], [5]
  • Нажимаем кнопку Экспорт и нам предлагается скачать CSV файл с данными.

Настройки использования твитов при действиях [14]


После нажатия на кнопку Настройки [14], мы попадаем в раздел экспорта табличных данных.

  • Удалять твит после N использований? [1] Если отмечаем чекбокс, значит скрипт будет удалять Твит после определенного количества использований, количество задается в следующей настройке
  • Количество использований [2] Указываем необходимое число.
  • Паттерн замены [3] Указываем регулярное выражение, согласно которому, из спаршиваемых твитов, будут вырезаться участки текста. Фильтр может быть применен для вырезания URL из текста твита
  • Паттерн поиска [4] Указываем регулярное выражение и если в спаршенном твите есть участки текста, подходящие под паттерн, такие Твиты не будут сохранятся. Фильтр может быть полезен для полной фильтрации матных твитов или просто твитов, которые не подходят вам, если в них имеется какое-либо слово.
  • Локализация [5] этот пункт относится к фильтрации спаршиваемых твитов (см. ниже описание этой настройки и логики работы этого фильтра). Выбираем Кириллицу или Латиницу.
  • Процент [6] от 0 до 90% с шагом в 5%. Вы можете установить нужное значение в % соотношении текста в нужной локализации (кирилица или латиница, в зависимости от того что выбрали в поле Локализация), ко всему тексту спаршенного твита.

Логика фильтрации спаршиваемых твитов

  1. Напарсили 100 твитов, по случайному запросу из Контент - Запросы.
  2. Идёт проверка каждого на фильтры [3], [4], [5], [6].
  3. Если указан Паттерн замены, из твита согласно этим правилам вырезаются участки текста.
  4. Если указан Паттерн поиска и в твите есть такие участки текста, такой твит не сохраняется.
  5. Далее идёт логика, которая, временно, вырезает из твита всё кроме букв.
  6. Подсчитывается общее количество букв.
  7. В зависимости от локали подсчитывается количество букв конкретной локали (Кириллица/Латиница).
  8. Если процент вхождения НИЖЕ указаного в настройках, такой твит НЕ сохраняется.
  9. Всё остальные твиты которые дошли до этого момента нам подходят и записываются в базу данных.

Внимание! Не ставьте сликом большой процент! Это чревато тем, что у вас будет парситься очень мало твитов, если они вообще будут парситься

Ведь 90% от 140 символов (максимальная длина твита в Твиттере), это уже 126 символов!

Учитывайте и тот момент, что если вы парсите твит и он содержит ссылку, а ссылки у нас, как вы понимаете, состоят из латинских букв, преимущественно, то получается, что в 140 символах твита может быть от 0 до N количества латинских символов.

Для примера возьмем короткую ссылку http://t.co/rQDGFkcTKb из нее получится вот такое httptcorQDGFkcTKb, а это уже 17 символов или 12.14% текста 140 символьного твита!

Примечание: чтобы вы понимали, спарсив вот этот твит, Ферма получит текст вида

1 февраля. Огонь и мороз http://t.co/rQDGFkcTKb

а не

1 февраля. Огонь и мороз http://instagram.com/p/j35a13A_Hk/

Т.е. парсится ссылка внутренней укорачивалки твиттера.

Поэтому, прежде чем писать в саппорт, с просьбами разобраться, почему у вас не парсятся твиты, загляните пожалуйста в эту настройку!


Например:

1. Паттерн замены - /(spam)/
2. Паттерн поиска - /(http)/

1. Если в твите будет слово spam оно будет вырезано.
2. Если в твите есть ссылка, этот твит не будет сохранён в базу.


API Geocode, API Lang, API Locale [7]

Эта интересная опция позволит вам парсить твиты пользователей расположенных только в определенной ГЕО локации с определенным языком твитов. Это полезно, когда вам необходимо парсить локальные новости, для использования в аккаунтах, прокачиваемых под определенный ГЕО регион. Подробней о данных настройках написано в официальной документации Twitter API

Внимание! Данные параметры являются обязательными при парсинге Твитов!

Печать/экспорт
QR Code
QR Code Твиты (generated for current page)