Импорт материалов из Instagram

У instagram есть API, который устареет до конца 2018 года. Всех пересаживают на новую платформу — Instagram Graph API.

Регистрация приложения на этой платформе требует некоторых усилий. Среди прочих сумасшедших требований выделяется необходимость предоставить т.н. скринкаст (screencast). Вы должны записать ролик, показывающий как вы будете использовать данные, получаемые через Instagram API.

Потому мы пойдем другим путем.

Что требуется получить?

Нужно понимать, что мы хотим получить, и возможно ли это сделать каким то альтернативным путем. Я хочу импортировать последние картинки и тексты описания с требуемой страницы.

Снимать ролики, и выполнять прочие идиотские требования — на это тратить время не хочется.

Возможно ли получить данные без создания приложения и использования API?

Теоретически — да. Инстаграм не требует авторизации для просмотра данных.

Вся необходимая информация, при том даже в формате json присутствует в html коде каждой страницы instagram. Без каких либо трудностей можно получить 12 последних записей.

Этого достаточно чтобы организовать импорт данных с какой то страницы, постоянно обновляя базу публикаций, подгружая свежие из последних 12 на странице пользователя.

Шепотка кода и никакой магии

JSON в теле страницы, откуда я извлекаю данные, содержит гораздо больше информации, чем мне нужно. Вы можете сами исследовать, какие полезные вещи возможно извлечь от туда.

Я закодировал парсинг в виде класса, который собираюсь потом расширять другим функционалом.

Начнем с примера использования:

<?php
  $feed = new FeedReaper('https://www.instagram.com/russia/'); 
  $items = $feed->fetch(); 
  print_r($items);
?>

<?php

$feed = new FeedReaper('https://www.instagram.com/russia/');

$items = $feed->fetch();

print_r($items);

Выведет массив из 12 элементов (покажу только пару):

Для каждой картинки импортировано 4 поля:

id — идентификатор поста;
title — описание картинки в instagram;
src — url изображения, не факт, что постоянный, но точно подходит для скачивания;
shortcode — то же что и id, но может быть использован для embed запроса данных.

Для запроса данных по shortcode я также сделал функцию, но каких либо новых интересных данных, которые и так можно дернуть из json на странице, она не поставляет.

FeedReaper, класс для импорта данных из Instagram

После инициализации класса, передав url страницы intagram:

$feed = new FeedReaper('https://www.instagram.com/russia/');

1	$feed = new FeedReaper('https://www.instagram.com/russia/');

Вы получаете доступ к следующим функциям:

fetch — то, что уже было показано в примере, извлекаем список фоток с текстом и идентификаторами;

embed — дополнительная функция, позволяющая выдернуть данные через embed instagram api по шот-коду публикации. Здесь я возвращаю полностью всё, что предоставляется instagram.

<?php 

class FeedReaper {

  var $type;
  var $src;

  // конструктор класса принимает URL страницы пользователя.
  function __construct($source) {
    if (strpos($source, 'instagram.com/') !== false) {
      $this->type = 'instagram';
      $this->src  = $source;
    } else {
      throw new Exception('Invalid source: ' . $source);
    }
  }

  // извлекает данные в виде массива
  public function fetch() {
    $func = 'fetch_' . $this->type;
    return $this->{$func}();
  }

  // извлекает данные только по указанной записи (по shortcode)
  public function embed($id) {
    $func = 'embed_' . $this->type;
    return $this->{$func}($id);
  }

  // реализация функций fetch и embed для instagram
  private function embed_instagram($id) {
    $contextOptions = array(
      'ssl' => array(
        'verify_peer' => false,
        'verify_peer_name' => false
      )
    );
    $context = stream_context_set_default($contextOptions);
    $file = @file_get_contents( 'https://api.instagram.com/oembed/?url=http://instagr.am/p/' 
    . urlencode($id), false, $context);
    if ($file) {
      return json_decode($file, true, 512, JSON_BIGINT_AS_STRING);
    }
    return false;
  }

  private function fetch_instagram() {
    $contextOptions = array(
      'ssl' => array(
        'verify_peer' => false,
        'verify_peer_name' => false
      )
    );
    $context = stream_context_set_default($contextOptions);

    $file =  file_get_contents( $this->src, false, $context);
    $pos1 = strpos($file, 'window._sharedData = {');
    if ($pos1 !== false) {
      $pos1 += 21;
      $pos2 = strpos($file, ';', $pos1);
      if ($pos2 !== false) {
        $data = json_decode(
          substr($file, $pos1, $pos2 - $pos1), 
          true, 512, JSON_BIGINT_AS_STRING);
        if (!empty($data['entry_data']['ProfilePage'][0]['graphql']['user']['edge_owner_to_timeline_media']['edges'])) {
          $edges = $data['entry_data']['ProfilePage'][0]['graphql']['user']['edge_owner_to_timeline_media']['edges'];
          $items = array();
          foreach ($edges as $edge) {
            $items[] = array(
              'id'        => $edge['node']['id'],
              'title'     => $edge['node']['edge_media_to_caption']['edges'][0]['node']['text'],
              'src'       => $edge['node']['display_url'],
              'shortcode' => $edge['node']['shortcode']
            );
          }
          return $items;
        }
      }
    }

    return false;
  }

}

<?php

class FeedReaper {

var $type;

var $src;

// конструктор класса принимает URL страницы пользователя.

function __construct($source) {

if (strpos($source, 'instagram.com/') !== false) {

$this->type = 'instagram';

$this->src = $source;

} else {

throw new Exception('Invalid source: ' . $source);

}

// извлекает данные в виде массива

public function fetch() {

$func = 'fetch_' . $this->type;

return $this->{$func}();

}

// извлекает данные только по указанной записи (по shortcode)

public function embed($id) {

$func = 'embed_' . $this->type;

return $this->{$func}($id);

}

// реализация функций fetch и embed для instagram

private function embed_instagram($id) {

$contextOptions = array(

'ssl' => array(

'verify_peer' => false,

'verify_peer_name' => false

)

);

$context = stream_context_set_default($contextOptions);

$file = @file_get_contents( 'https://api.instagram.com/oembed/?url=http://instagr.am/p/'

. urlencode($id), false, $context);

if ($file) {

return json_decode($file, true, 512, JSON_BIGINT_AS_STRING);

}

return false;

}

private function fetch_instagram() {

$contextOptions = array(

'ssl' => array(

'verify_peer' => false,

'verify_peer_name' => false

)

);

$context = stream_context_set_default($contextOptions);

$file = file_get_contents( $this->src, false, $context);

$pos1 = strpos($file, 'window._sharedData = {');

if ($pos1 !== false) {

$pos1 += 21;

$pos2 = strpos($file, ';', $pos1);

if ($pos2 !== false) {

$data = json_decode(

substr($file, $pos1, $pos2 - $pos1),

true, 512, JSON_BIGINT_AS_STRING);

if (!empty($data['entry_data']['ProfilePage'][0]['graphql']['user']['edge_owner_to_timeline_media']['edges'])) {

$edges = $data['entry_data']['ProfilePage'][0]['graphql']['user']['edge_owner_to_timeline_media']['edges'];

$items = array();

foreach ($edges as $edge) {

$items[] = array(

'id' => $edge['node']['id'],

'title' => $edge['node']['edge_media_to_caption']['edges'][0]['node']['text'],

'src' => $edge['node']['display_url'],

'shortcode' => $edge['node']['shortcode']

);

}

return $items;

}

return false;

}

Что еще можно сделать?

Так мы получили только первую страницу с картинками (всего 12 штук). Теоретически возможно получить и следующие страницы.

Они догружаются через запросы вида /graphql/query/,

где используются следующие параметры:

query_hash: неких ключ запроса
variables: {
- «id»: айди страницы пользователя,
- «first»: количество догружаемых картинок,
- «after»: длинный индентификатор материала (end_cursor) }

Значения Айди, что используется для variables можно получить из кода страницы. А вот источник, время жизни и назначение query_hash — не ясно. Он одинаков для разных страниц.

В ответе на /graphql/query/ приходит аналогичный по структуре json, что мы извлекали из html кода.

Instagram

Написать комментарий

Данная запись опубликована в 27.08.2018 13:22 и размещена в рубрике PHP. Вы можете перейти в конец страницы и оставить ваш комментарий.

Комментарии к «Импорт материалов из Instagram»

Понравилась статья? Есть вопросы? - пишите в комментариях.

Много комментариев в “Импорт материалов из Instagram”

Николай:

14 января 2019 в 16:51

Добрый день

можете уточнить что нужно настроить в аккаунте инстаграма чтобы получить данные?
пытаюсь получить данные из аккаунта https://www.instagram.com/bufet_taburet/ возвращает false

Спасибо.

Ответить
- admin:
  
  17 января 2019 в 15:54
  
  В самом акке ничего не надо настраивать, достаточно того, что доступ к нему не ограничен.
  
  Ответить

Имя (обязательно)	Е-майл (не будет опубликован на сайте, обязательно для заполнения)
Комментарий: