+ Ответить в теме
Страница 1 из 2 1 2 ПоследняяПоследняя
Показано с 1 по 20 из 39

Тема: ВАЖНО! О сбое в Дата Центре с серверами E-AutoPay

  1. #1
    Управляющий партнер InetPartners Group Даниэль Партнэр Только пришел Аватар для Даниэль Партнэр
    Регистрация
    21.08.2010
    Адрес
    Москва
    Сообщений
    2,002

    Exclamation ВАЖНО! О сбое в Дата Центре с серверами E-AutoPay

    Уважаемые клиенты, коллеги!

    Прежде, чем рассказать о произошедшем, хочу лично извиниться перед вами за молчание в течении дня со стороны администрации E-AutoPay.
    Как управляющий партнер InetPartners Group, я хотел лично разобраться в ситуации (что заняло некоторое время) и персонально о ней вам рассказать, поэтому попросил сотрудников E-AutoPay до установления причин произошедшего не давать преждевременных комментариев.


    Работа наших тех.специалистов (системных администраторов и инженеров) не видна воочию, но она ведется денно и ночно. Мы крайне оперативно делаем выводы из любой сложившейся ситуации и предпринимаем меры для стабильности системы в будущем.
    Осенью 2012, когда сервера E-AutoPay системы подвергались различным кратковременным сбоям, нами было принято решение о построении кластерной системы с дублированием данных. Эта система призвана защищать пользователей на случай, если одна группа серверов вдруг отказала. При таком повороте событий включалась вторая группа серверов, которая продолжала функционировать в штатном режиме. Эту систему мы построили и в таком виде она работает по сей день. Тем самым мы решили проблему внештатной остановки системы в силу отказа серверной группы внутри одного ДЦ (Дата Центра).

    Мы так же понимали, что в теории произойти может всё, что угодно (к примеру метеорит упадет на этот ДЦ), поэтому пошли гораздо дальше и приступили к созданию гео-кластера (кластер находящийся в разных странах), дополнительных групп серверов в разных ДЦ, которые расположены в разных странах и дублировали бы друг-друга. Всё это очень большие денежные инвестиции в контексте такого масштабного проекта как E-AutoPay, и если вы помните, я еще в прошлом году в видео одного из апдейтов говорил о том, что E-AutoPay рано или поздно перейдет на модульную структуру с другой тарифной сеткой и т.д. Но финансовые инвестиции - не главное, развитие это наша прерогатива и повседневная работа. Хуже то, что построение такого гео-кластера занимает очень много времени т.к. приходится переписывать специальным образом функционал E-AutoPay системы, чтобы она могла корректно работать в формате гео-кластера. К сожалению, мы так и не успели завершить работы над гео-кластером прежде, чем случились последние 2 дня.

    Какими бы ни были стабильными системы и оборудование, всегда существуют форс-мажорные обстоятельства, на которые невозможно повлиять. Именно это и произошло!


    Три дня назад, в Дата Центре, где размещены сервера E-AutoPay системы, Смартреспондера и множества других сервисов, систем и сайтов (на самом деле, стабильный, хороший и проверенный зарубежный ДЦ, который ранее не вызывал нареканий) произошла непредвиденная авария, в следствии чего стали недоступны все сервера на площадке данного ДЦ. Нам удалось восстановить работу системы, но на следующий день в том же ДЦ сгорело оборудование, отвечающее за синхронизацию данных между серверами нашего кластера (мы не знаем, связаны ли эти две аварии по цепной реакции или нет, утверждать не беремся). Я не буду вдаваться в технические нюансы, это не суть важно, важно то, что это событие привело к откату данных системы на 2 дня.

    Случившееся является форс-мажорной катастрофой, безвозвратная потеря данных - это самое худшее, что может произойти с любой системой. (Возможно вы помните, нечто подобное было у Смартреспондера, когда сгорели их сервера в украинском ДЦ, вместе с самим ДЦ). Подобный форс-мажор может случиться с любым сервисом в любой точке земного шара.


    За всю историю наших проектов, подобное случается впервые и к сожалению, мы, как и вы ничего не можем сделать в этой ситуации на программном уровне, т.к. произошедшее в ДЦ вне нашего контроля.
    Для меня лично и для всех нас случившееся - трагедия, т.к. все мы душой болеем за проект и ответственность за 9500 аккаунтов даёт о себе знать.
    Всё, что мы могли, уже сделали. Все сотрудники имеющее отношение к серверам E-AutoPay работают в авральном режиме и не спят в прямом смысле этого слова третьи сутки. В итоге восстановили систему до стабильного состояния 23.01.13


    На всякий случай еще раз напишу простым языком: В связи с непредвиденной аварией на площадке дата-центра произошел технический сбой, который привел к откату данных E-AutoPay системы на два дня назад

    Слава богу, что утеря составила 2 дня, а не месяц, год и т.п.! (понимаю, что пользователям от этого не легче, но всё-таки, 2 дня - это действительно "ХВАЛА ВЫСШИМ СИЛАМ").

    Как вы возможно знаете, в группе компаний InetPartners есть подразделение "Медиа Курсы", которое занимается выпуском обучающих курсов, поэтому я и все мы чуствуем произошедшее не только как разработчики системы, но и как авторы, инфобизнесмены, партнеры. Да, да, мы тоже потеряли данные о заказах, новых партнерах, переходах и других операциях, что крайне неприятно. Можно сколько угодно обсуждать масштабы этого "неприятно" у каждого клиента, но как я говорил ранее, к сожалению, мы ничего не можем сделать, произошедшее в Дата Центре нам не подконтрольно. По этой причине я бы хотел поговорить не о том кто виноват а о том, что можно и нужно сделать.



    На программном уровне вернуть данные невозможно, но, существует несколько механизмов, при помощи которых вы сможете восстановить часть этих данных в своих аккаунтах:

    Заказы:

    1: При заказе система присылает вам уведомления на имейл с данными заказа. Вы можете зайти в раздел "заказы" системы, выбрать опцию "добавить заказ" и внести данные заказы из имейлов за последние 2 дня. Таким образом заказы вновь попадут в систему и с ними можно будет работать. При добавлении заказа можно выбрать партнера, от которого пришел заказ, тем самым восстановив взаимосвязь заказа с партнером.

    2: Те авторы, которые подключены к сервису быстрой логистики USEND могут воспользоваться их помощью в восстановлении данных. Во-первых у юсэнд есть информация о всех отправках в бумажном виде (документация), во-вторых, информация о клиентах есть у сотрудников Call-Центра в виде записи диалогов и номеров телефонов, по которым обзванивали клиентов. В случае необходимости сотрудники Call-Центра USEND произведут повторную обзвонку конечных потребителей на предмет установления данных заказа. Само собой - совершенно БЕСПЛАТНО!

    3: Если 1 и 2 способ вам не подойдет, остаётся только попросить вашу базу клиентов повторно оформить заказы. (хоть и неприятный, но всё-же повод для повторной акции / релиза)

    Если ваши продукты защищены сервисом ИнфоПротектор, вы к сожалению не сможете восстановить ключ активации, который был выдан клиенту при покупке цифрового продукта по которому были утеряны данные, т.к. этот ключ отсылается только клиенту и фигурирует в базе заказов, но не отсылался автору в дублирующем письме.
    Но выводы нами уже сделаны. Во-первых теперь этот ключ будет отсылаться и автору тоже, во-вторых, в случае, если ваш клиент купивший ваш продукт в течении прошлых двух дней потеряет ключ и к вам обратится, сотрудники ИнфоПротектора выдадут новый ключ так же совершенно БЕСПЛАТНО!

    Хочу заодно напомнить, что часть данных вы можете восстановить благодаря информации из платежных систем. По крайней мере по тем заказам, которые были предоплаченными и за которые вы уже получили деньги.


    Партнеры:

    Система присылает авторам имейлы о новых партнерах, которые зарегистрировались, но в этом письме к сожалению не все данные (отсутствуют данные о кошельках и т.п.), т.к. ранее мы не предполагали, что более полный дубликат может понадобиться.

    Существует 2 варианта восстановления:

    1: Зарегистрировать нового партнера по тем данным, которые есть в дублирующем письме, в этом случае на имейл партнера ему будет выслан новый доступ, как вновь зарегистрировавшемуся. Зайдя в аккаунт, партнер сможет ввести секретный вопрос и изменить свои данные, добавить кошельки.

    2: Связаться с партнером по тому имейлу, который указан в письме и попросить его вновь пройти регистрацию в вашей партнерской прогр

    Тут выводы нами так же сделаны, теперь в дублирующих письмах будет отсылаться более полная информация, включая номера кошельков партнера.


    Настройки вашего аккаунта:

    Пожалуйста, ОБЯЗАТЕЛЬНО пройдитесь по настройкам вашего аккаунта (настройки товаров, партнерской программы, валют и т.п.) и проверьте корректность этих настроек!


    Понимаю, что вышеописанные пункты по восстановлению данных являются образно говоря "геморройными", но к сожалению, это единственный выход в сложившейся ситуации.

    Мы искренне и всецело разделяем ваши чувства по поводу произошедшего, по этому, как я уже писал ранее, сотрудники наших компаний и сервисов окажут вам всю необходимую поддержку и помощь.
    Так же несмотря на форс-мажор произошедший у третьей стороны (в ДЦ) мы безусловно попробуем хоть как-то компенсировать ваши хлопоты, этот момент сейчас обсуждается и о нем мы сообщим дополнительно.


    В свою очередь, мы продолжаем всеми силами форсировать создание гео-кластера, который предотвратит подобные ситуации в будущем и сделает E-AutoPay ситему, а так же другие наши сервисы еще более стабильными.

    Из хороших новостей, новое обновление E-AutoPay системы ожидает вас уже в первых числах Февраля, как говорится, прогресс и ввод нового функционала никто не отменял!


    Искренне надеюсь, что мне удалось в полной мере донести до вас суть и причины произошедшего. Еще раз прошу прощения за весь этот балаган, который всем вам и нам приходится разгребать.

    Так же хочу заранее поблагодарить тех из вас, кто поддержал и адекватно воспринял происходящее понимая, что все мы в силу обстоятельств оказались "в одной лодке".

    Мы делали, делаем и будем делать всё от нас зависящее в человеческом и профессиональном плане, чтобы наши сервисы приносили вам только положительные эмоции помогая решать повседневные задачи!


    С уважением,
    Даниэль Партнэр
    ----------------------------------------------------
    Чтобы делать ИнфоБизнес профессионально, посмотрите инфопродукт "Инфобизнес - самые современные технологии и инструменты" - совершенно бесплатно!

  2. #2
    Постоянный посетитель Семён Только пришел Аватар для Семён
    Регистрация
    18.11.2010
    Адрес
    Москва
    Сообщений
    112
    Веселые нам дни предстоят. Многие партнёры уже отписали, что у них часть начисленной комиссии слетела.


    Цитата Сообщение от Даниэль Партнэр Посмотреть сообщение
    Уважаемые клиенты, коллеги!
    Случившееся является форс-мажорной катастрофой, безвозвратная потеря данных - это самое худшее, что может произойти с любой системой. (Возможно вы помните, нечто подобное было у Смартреспондера, когда сгорели их сервера в украинском ДЦ, вместе с самим ДЦ).
    С той лишь разницей, что на смартреспондере был сделан бекап за час до прецедента и ощутимых потерь данных не было.
    Наши партнёры заработали уже более 500 000 000 рублей - http://adinfo.ru - а ты ещё не с нами?

  3. #3
    Только прибыл Ольга168168168 Только пришел
    Регистрация
    26.01.2013
    Адрес
    Москва
    Сообщений
    2
    Даниэль, а я оплатила в четверг годовое обслуживание в Вашем сервисе, а мне пишет система, что на счету у меня 0. Что мне надо сделать, чтобы мои деньги были зачислены?

  4. #4
    Только прибыл Ольга168168168 Только пришел
    Регистрация
    26.01.2013
    Адрес
    Москва
    Сообщений
    2
    Я оплатила в Связном по системе Рапида 1700 рублей 24.01.2013 в 20-00 мск. Плательщик - Воробьева Ольга Радиславовна. Код требования - 0337682603.
    Что нужно сделать, чтобы мой платеж зачислили?

  5. #5
    Начинает осваиваться pipikalkin Только пришел
    Регистрация
    29.07.2012
    Сообщений
    64
    Так сейчас то система работает в штатном режиме или нет?

  6. #6
    Управляющий партнер InetPartners Group Даниэль Партнэр Только пришел Аватар для Даниэль Партнэр
    Регистрация
    21.08.2010
    Адрес
    Москва
    Сообщений
    2,002
    Цитата Сообщение от pipikalkin Посмотреть сообщение
    Так сейчас то система работает в штатном режиме или нет?
    Да, всё работает в штатном режиме.


    Кто оплачивал за последние дни, не беспокойтесь, всё зачислим.. Напишите ваши логины.
    ----------------------------------------------------
    Чтобы делать ИнфоБизнес профессионально, посмотрите инфопродукт "Инфобизнес - самые современные технологии и инструменты" - совершенно бесплатно!

  7. #7
    Только прибыл Bossru Только пришел
    Регистрация
    07.11.2011
    Сообщений
    6
    А что делать с теми счетами которое выписаны и например оплачены через банк, то есть деньги приходят в течении 5 дней, соответсенно счет был выписан, оплата прошла только через 5 дней, деньги то приходят, а в сервисе я так понимаю они уже не отметятся и уведомление мне на e-mail не придет?

    Потеряли за эти 2 дня оплаченных счетов на 600 000 руб((

  8. #8
    Автор ИнфоПродуктов Gleborg Только пришел Аватар для Gleborg
    Регистрация
    01.10.2010
    Адрес
    Россия
    Сообщений
    55
    Ситуация ясна. Как говорится shit happens. Ждем февральского обновления.
    I`d rather be rich, than right

  9. #9
    Спасибо. Хорошая статья.
    Ну что ж, будем работать дальше, ребята.
    Ничего страшного. Прорвёмся и всех чпокним!
    http://pak-vartanyan.com - Искусство презентации

  10. #10
    Постоянный посетитель Anna_Ra Только пришел
    Регистрация
    05.09.2010
    Сообщений
    150
    Спасибо за разъяснения! Да, действительно форс-мажор, и действительно с потерей данных могло быть еще хуже.
    Даниэль, но я все равно не понимаю, почему, как только выяснилось, что что-то идет не так, не разослать уведомления всем авторам с информацией о том, чтобы они приостановили релизы и т.д.? По-моему, это крайне важно в ситуации любого форс-мажора.

  11. #11
    Только прибыл life Только пришел
    Регистрация
    26.01.2013
    Сообщений
    2
    Согласен насчет уведомлений. Я вообще не мониторю статистику заказов, многое поставлено на автоматику и аутсорсинг.... Если бы было уведомление, то потерь бы смог избежать или хотя бы минимизировать их.

    А так... очень большие потери со всех проектов =(

  12. #12
    Управляющий партнер InetPartners Group Даниэль Партнэр Только пришел Аватар для Даниэль Партнэр
    Регистрация
    21.08.2010
    Адрес
    Москва
    Сообщений
    2,002
    Цитата Сообщение от Anna_Ra Посмотреть сообщение
    почему, как только выяснилось, что что-то идет не так, не разослать уведомления всем авторам с информацией о том, чтобы они приостановили релизы и т.д.? По-моему, это крайне важно в ситуации любого форс-мажора.
    Рассылка клиентам производится посредством самой E-AutoPay системы, если сервера системы недоступны или по ним ведутся работы по восстановлению данных, разослать уведомления пользователям технически невозможно.
    Единственное, что можно было сделать, это опубликовать на форуме сообщение, но форум ежедневно пользователи не читают, его бы не увидели в любом случае. Сотрудники тех поддержки в темах форума сообщали о том, что произошел сбой в ДЦ, но помогло ли это кому-то.
    ----------------------------------------------------
    Чтобы делать ИнфоБизнес профессионально, посмотрите инфопродукт "Инфобизнес - самые современные технологии и инструменты" - совершенно бесплатно!

  13. #13
    Может можно как-то посредством API через Smartresponder создать аккаунт с контактами ваших клиентов и через него отправлять. Тем более вы вроде с ними в хороших отношениях. Просто в любом случае сделаете ли вы это через альтернативное своё решение на резервном сервере или через smartresponder, это нужно. Лично если бы я узнал раньше что будут проблемы. Я бы не делал релиз в эти дни. В общем я ЗА рассылку.
    http://pak-vartanyan.com - Искусство презентации

  14. #14
    Управляющий партнер InetPartners Group Даниэль Партнэр Только пришел Аватар для Даниэль Партнэр
    Регистрация
    21.08.2010
    Адрес
    Москва
    Сообщений
    2,002
    Цитата Сообщение от Артур Пак-Вартанян Посмотреть сообщение
    Может можно как-то посредством API через Smartresponder создать аккаунт с контактами ваших клиентов и через него отправлять. Тем более вы вроде с ними в хороших отношениях. Просто в любом случае сделаете ли вы это через альтернативное своё решение на резервном сервере или через smartresponder, это нужно. Лично если бы я узнал раньше что будут проблемы. Я бы не делал релиз в эти дни. В общем я ЗА рассылку.
    Мы примем ряд мер, которые помогут пользователям более оперативно узнавать о любых отклонениях. Как минимум посредством SMS рассылки.
    ----------------------------------------------------
    Чтобы делать ИнфоБизнес профессионально, посмотрите инфопродукт "Инфобизнес - самые современные технологии и инструменты" - совершенно бесплатно!

  15. #15
    Начинает осваиваться pipikalkin Только пришел
    Регистрация
    29.07.2012
    Сообщений
    64
    Цитата Сообщение от Даниэль Партнэр Посмотреть сообщение
    Мы примем ряд мер, которые помогут пользователям более оперативно узнавать о любых отклонениях. Как минимум посредством SMS рассылки.
    А как быть тем, которые участвуют в партнёрских программах? Их каким либо образом собираетесь уведомлять о проблемах?

  16. #16
    Постоянный посетитель Anna_Ra Только пришел
    Регистрация
    05.09.2010
    Сообщений
    150
    Да, уведомить через Смарт - по-моему, эта идея вообще на поверхности лежит. Смс-рассылка - тоже быстро реализуется. Можно еще какой-нибудь автообзвонщик зарядить. Мы, например, своих партнеров уведомили через старый забытый, но уже сколько раз нас выручавший рассылочный скрипт "Почтовый дятел" - у нас, конечно не 9500 партнеров, но больше 1.000, и он справился на ура.
    Даниэль, я Вас очень прошу - в Ваши ряды "неусыпно бдящих сисадминов и программистов" добавьте просто человека. Человека, который бы отвечал за службу поддержки и оперативную коммуникацию с клиентами.

  17. #17
    Управляющий партнер InetPartners Group Даниэль Партнэр Только пришел Аватар для Даниэль Партнэр
    Регистрация
    21.08.2010
    Адрес
    Москва
    Сообщений
    2,002
    Цитата Сообщение от Anna_Ra Посмотреть сообщение
    Даниэль, я Вас очень прошу - в Ваши ряды "неусыпно бдящих сисадминов и программистов" добавьте просто человека. Человека, который бы отвечал за службу поддержки и оперативную коммуникацию с клиентами.

    Анна, мы закончили уже разработку полноформатной платформы службы поддержки. Сейчас проходит тестирование. Будет полноформатная служба поддержки у всех наших сервисов, кроме того, эта платформа даст возможность всем нашим клиентам организовать службу поддержки для конечных потребителей. Мы очень давно занимаемся этим вопросом.
    ----------------------------------------------------
    Чтобы делать ИнфоБизнес профессионально, посмотрите инфопродукт "Инфобизнес - самые современные технологии и инструменты" - совершенно бесплатно!

  18. #18
    Вектор направлен на глобализацию всего в области инфобизнеса.
    Это с одной стороны хорошо.

    Моё пожелание. Обратите пожалуйста внимание на важные детали, на разные, но очень важные детали.

    Вот лишь маленький пример:
    1. Нужно обновить дизайн всех продуктов, только доверьтесь по-настоящему профессионалам, очень прошу. и не использовать готовые CMS. Хотелось бы привить всем сотрудникам чувство вкуса - это очень важно иметь.
    2. Сделайте, пожалуйста, единую регистрацию во всех продуктов, и единую панель управления.
    3. Также чтобы один раз партнёр мог зарегистрироваться в системе, а не у каждого автора по отдельности.
    4. Но самое главное это самомотивация, сделайте тарифную сетку, только очень прошу, не отпугните ни кого из разных слоёв ваших клиентов.

    Хотелось бы чтобы как в Apple у вас в каждой детали, в коробке USEND которая отправляет заказы, в том как выглядит кнопка "Оформить заказ" и др.
    чтобы во всём чувствовался профессионализм на высшем уровне, вот это будет мега успех.
    http://pak-vartanyan.com - Искусство презентации

  19. #19
    Только прибыл gcb Только пришел
    Регистрация
    26.01.2013
    Сообщений
    2
    комичность этой ситуации в том, что подстава пришлась не столько на тех, кто пользуется вашей прогой, а на тех, кому пришлось ей пользоваться будучи партнером пользователей автопея.

    Ну и конечно я охренел. О чем можно говорить, если у конторы даже суппорта нет. Чтобы задать вопрос куда делись мои несколько сотен тысяч партнерских нужно лезть на какой-то форум из 90х
    Последний раз редактировалось gcb; 26.01.2013 в 15:56.

  20. #20
    Только прибыл gcb Только пришел
    Регистрация
    26.01.2013
    Сообщений
    2
    UPD Почитал в "техподдержке", что пишет ученик старших классов Андрей Муха и все стало понятно. Платность, то "относительная" поэтом и ответсвенность тоже относительная.

    Цитата Сообщение от Андрей Муха Посмотреть сообщение
    Ну а вот что вы этим измените? ) И если вы хотите справедливости, то тогда не в e-autopay надо высказываться, а поддержке дата центра, верно?))


    А я и не путаю Платность тут относительная, 50$ в год, в замен на помощь получения прибыли в многократном размере, я думаю, что тут есть разница

+ Ответить в теме
Страница 1 из 2 1 2 ПоследняяПоследняя

Социальные закладки

Социальные закладки

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения