Architechture of a social network for 30M users

Интересно? Заходи на http://job.fotostrana.ru 1 из 50
Архитектура проекта на 30М
пользователей

Фотострана?
Не, не слышал.

— 35 000 000 зарегистрированных пользователей
— 1 500 000 уникальных посетителей в день.
— Больше 150 человек в команде
— Входим в ТОП-20 сайтов рунета

О чем расскажу?
• Общая архитектура и платформа
• Используемые технологии
• Обработка запросов
• Отдача статики
• Хранение данных
• Мониторинг

Общие цифры
• Один дата-центр
• Более 200 физических серверов
• В пике суммарный трафик больше 3 Гбит/c
• 70 Мб PHP кода
• 3 Гб статики

Разработка
• PHP, в основе лежал Zend Framework
• C(++) демоны и модули для PHP
• SVN (есть проблемы, хотим Git)
• Google Docs
• Redmine
• Fisheye
• Asana

Платформа
• FreeBSD (местами Debian Linux)
• nginx
• Apache + mod_php + APC
• Memcached
• Percona server
• Собственные демоны

Железо
• Средний сервер: 2 Xeon 16Gb RAM
• Сеть на Juniper
• 300 Гб кластер memcached
• 650 Гб базы данных MySQL
• 750 Гб данных в памяти демонов
• 50 Тб для хранения фотографий
• SSD где необходимо
• Сервера узкоспециализированные

Релизы
• Деплой раз в час (~30 секунд на 130
серверов)
• Есть QA отдел, но фактически тестирования
практически нет
• Новый функционал выкатываем на часть
пользователей
• PHP ошибки приходят в skype их автору 

Мониторинг
• Nagios + Cacti
• Самописные модули мониторинга
• Самописная система профилирования кода
и запросов
• Много смс уведомлений
• Бизнес статистика/аналитика для
менеджеров сервисов

Резервное копирование
• БД 3 раза в день
• Демоны каждые 2 часа
• Пользовательские фотографии раз в сутки

Обработка запросов

Нет разбиения на группы
Питомцы, профили, поиск…

Есть разбиение на группы
Питомцы Профили Поиск

• 130 PHP серверов
• 2.500 req/s
• Среднее время
ответа 0.06 сек

Управление серверами

Отдача статики
• Наша статика (css, js, swf, jpg…) из svn
• Пользовательский контент (аватарки,
фотки, превьюшки) – “Фотосхема”

Содержимое статики:
• 800 css
• 750 js
• 3200 swf
• 48000 image
• 5000 req/s
• >1 Гбит/сек трафика в пике
} 3 Гигабайта

Сервер определяется
на стороне PHP кода
по IP клиента

Интересное
• Контроль версий статический файлов
• Пробовали привязывать пользователей по
географическому признаку
• Lazyloader для динамической подгрузки js и
css
• 5 виртуальных субдоменов на каждый
сервер

Фотосхема
• 14 Тб - объем пользовательских фотографий
• +60 Гб (или 250.000) фотографий в сутки
• 4000 req/s
• >850 Мбит/сек трафика в пике

Интересно? Заходи на http://job.fotostrana.ru
Фотосхема
25 из 50

• Проблема холодного старта
• Файлы реально удаляются с диска

Хранение данных
• MySQL
• Memcached
• Lemon – самописное key-value хранилище
• Демоны на C++

картинка про alter таблички на 30кк записей (15Гбайт)
• 14 серверов
• 100.000 / мин SELECT
• 40.000 / мин UPDATE
MySQL

• Можем на живую менять схему БД
• Используем pconnect
• Не используем транзакции
• Не используем JOIN и вторичные ключи
• Нет шардинга
• Особое внимание индексам и адекватности
запросов

Управление репликами

• 5 серверов
• 300 Гбайт RAM
• 32.000 req/s
Memcached

• Это не хранилище данных!
• 90% данных – кэш выборок из базы как есть
• Использовали ketama, отказались
• Рестарт сервера раз в несколько месяцев
• Локи на memcached::add

MySQL плохо делает 3 вещи:
• Удаление большого количества данных
• Очень частые изменения данных
• Частые выборки
Подходим к NoSQL

Решение – NoSQL.
 Lemon
Lemon:
• Простое key-value хранилище
• Все данные в памяти
• Периодический дамп данных на диск
• key = (string namespace, int64 key)
• Шардинг как запуск нескольких независимых
инстансов, namespace привязан к серверу.

Время обработки запроса

Демоны
Что сделали:
• Модуль PHP для взаимодействия с демонами
• Разработали протокол взаимодействия
• Своя бинарная сериализация данных
Всего разных демонов больше 30:
• Гости, контакты, мессенджер, питомцы, поиск,
встречи, голосвание, нотификации…

Пример: демон гостей
<?
$guests->call(‘add_guest’, array(
$toUserId,
$guestId,
$source,
));
$list = $guests->call(‘get_guest_list’, array(
$forUserId,
$limit,
$offset,
)); // $list = array(array(guestId, time, source), …)

HTTP демоны-серверы
/chat/?userId=123/user/123

• Быстрее PHP, в 10 раз!
• > 50% запросов на балансер попадают к
демонам
• Всего 7 серверов
HTTP демоны

Мониторинг
• Профилирование PHP кода, запросов в БД,
memcache и других источников данных
• Единая система бизнес статистики для
менеджеров сервисов

Профилирование - CStat
• Модуль для PHP
• Все данные в разделяемой памяти
• Сбор данных со всех серверов (по крону) и сохранение в БД
• Похожа на pinba и XHprof
Пример:
<?
CStatStartUrl($requestUrl);
// some code
CStatStopUrl($isError);
CStatStartDB($mode, $dbName, $_method, $table);
// execute mysql_query
CStatStopDB($isError, $rowCount);

Статистика по URL

Кол-во запросов по URL

Профайлер для разработчика

Статистика
• Реализована на очередях в разделяемой памяти (на каждом PHP
сервере)
• Сбор данных из очереди со всех серверов (по крону) и их обработка
• Минимальное влияние на производительность скрипта
• История значений хранится в базе в нескольких таблицах, где они
сгруппированы по периоду (час, день, месяц).
• Есть возможность считать уников (например кол-во уникальных
пользователей загрузивших сегодня фотографии)
С точки зрения разработчика:
<?
Statistics::increment($statsType, $userId, $field, $value);
// Statistics::increment(MAIN_STATS, 2407325, ‘photos_upload_count’, 18);

SharedQueue сервер
Реализация очереди сообщений в оперативной памяти.
• Демон на скриптовом сервере
• Модуль для PHP
• На данный момент 200 очередей
Методы
<?
$result = SharedQueue::push($queueIndex, $data);
$allData = SharedQueue::popAll($queueIndex, $serverList);

Интерфейс статистики

Подводя итоги
• Нет преждевременной оптимизации
• Нет трендам, да цифрам
• Не бойтесь экспериментировать
• Проверяйте все сами
• Включайте мозг 

Вопросы
Спасибо за внимание!

Architechture of a social network for 30M users

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (11)

Similar to Architechture of a social network for 30M users

Similar to Architechture of a social network for 30M users (20)

Architechture of a social network for 30M users

Editor's Notes