Суперкомпьютер для современных технологий

Коллектив Института кибернетики имени В.Глушкова НАН Украины завершил работу над созданием суперкомпьютера для реализации информационных технологий (СКИТ) — эффективного решения сверхсложных математических задач, возникающих в различных сферах человеческой деятельности. С введением в действие этого компьютера Украина вошла в круг стран, обладающих сверхмощной вычислительной техникой.

Корреспондент «ЗН» обратился к генеральному директору Кибернетического центра Национальной академии наук Украины, директору Института кибернетики имени В.Глушкова, академику НАН Украины И.Сергиенко с просьбой рассказать о том, что представляет собой суперкомпьютер СКИТ и каковы его основные характеристики.

Необходимо сразу уточнить: речь идет о трех суперкомпьютерах разной мощности. В целом в них задействовано 104 спецпроцессора, и возможности этих компьютеров при решении сложных задач могут быть использованы (в том числе в режиме оn-line) комплексно. Далее речь пойдет об одном из этих компьютеров — СКИТ, в конструкции которого 64 процессора. Это 64-процессорный 32-узловой кластер на основе микропроцессоров Intel Itanium 2 (1,4 Ггц) с разрядностью 64 бита и возможностью производить вычисления со 128 и 256-битовой информацией, с пиковой производительностью не менее 270—300 миллиардов операций в секунду и возможностью повышения производительности до 2—2,5 триллиона операций в секунду, системой сохранения данных в объеме миллиарда байтов и возможностью наращивания объема до 10—15 триллионов байтов. Созданию этого кластера и введению его в исследовательскую эксплуатацию способствовало тесное сотрудничество Института кибернетики с фирмой «Юстар» (Киев), которая в качестве контрагента Института кибернетики обеспечила снабжение оборудованием и материалами для кластера, а также с компанией Intel, обеспечившей техническую и консультативную поддержку в использовании микропроцессоров Intel Xeon и Intel Itanium-2.

Современный компьютер — это сложный комплекс технического и математического обеспечения. В связи с этим следует отметить, что создание упомянутых компьютеров осуществлялось нами параллельно с разработкой соответствующего программно-функционального обеспечения, что дает возможность эффективно решать достаточно сложные задачи.

Работал над этой задачей высококвалифицированный коллектив ученых и инженеров. Принимали участие в той или иной степени все институты Кибернетического центра. Основной же объем работ был выполнен в Институте кибернетики. Главный конструктор разработки — доктор технических наук Валерий Коваль.

Чем принципиально отличается решение задач на суперкомпьютере от компьютеров обычных?

Вычислительный процесс на суперкомпьютере можно осуществлять как распараллеленное действие — когда решение сложной задачи, согласно определенному математическому методу, разбивается на параллельные ветви, реализация каждой из которых может осуществляться по отдельности на одном из процессоров суперкомпьютера. Так вот, если у нас есть, допустим, 64 процессора и алгоритм решения задачи можно разбить на 64 независимые ветви, то время решения задачи, по сравнению с тем, каким оно было бы на компьютере обычном, сократится примерно в 64 раза. Примерно, ведь ускорение, как правило, бывает немного меньшим, и вот почему: определенное время суперкомпьютер затрачивает на организацию вычислительного процесса, в частности на обмен информацией между отдельными процессорами. В некоторых случаях именно это обстоятельство — обмен информацией между отдельными ветвями — дает неожиданный эффект, ускорение увеличивается.

Важно учитывать то обстоятельство, что СКИТ обеспечен большим объемом памяти, то есть может хранить значительные массивы информации (базы данных, базы знаний), что имеет огромное значение при решении задач сверхвысокой сложности (проблемы экономики, экологии, космических исследований, изучения биологических и химических процессов, материаловедения). Нередко задачи, которые нужно решать в указанных сферах, характеризуются десятками сотен и миллионов независимых переменных и соответствующих ограничений, которые необходимо учитывать во время решения задачи. Этим обстоятельством и объясняется необходимость использования идеи распараллеливания сложных вычислительных процессов и процессов обработки больших объемов данных и знаний, что успешно реализуется на суперкомпьютерах типа СКИТ.

Актуальны ли подобные задачи в Украине?

Безусловно. Это прежде всего задачи экономического характера, проблемы технологического предвидения, задачи экономического прогноза, что особенно важно для экономики переходного периода. Чем тщательнее, подробнее мы сможем проанализировать наши возможности, тем увереннее очертим свой путь в будущее.

Наша экология чересчур запущена, она требует постоянного и всестороннего мониторинга. Задачи развития научных исследований. Вопрос эффективного использования спутников Земли для развития народного хозяйства. Проблемы проектирования сложных машин (самолетов, энергетических котлов, ракетной техники). Задачи военного комплекса.

Для исследования большинства означенных проблем нам пока достаточно средних мощностей суперкомпьютера типа СКИТ. При наличии соответствующего финансирования уже в текущем году мы можем обеспечить работу компьютера с достаточно большим объемом памяти и скоростью операций до одного триллиона в секунду.

Многие страны уже сейчас нуждаются в еще более мощных компьютерах. Например, в Японии работает сверхмощный компьютер для решения задач, связанных с прогнозированием стихийных бедствий — землетрясений, цунами. Задачи эти чрезвычайно сложны, поскольку огромные объемы информации о состоянии окружающей среды, собираемой в реальном времени из различных источников, расположенных в океане и космосе, должны оперативно сходиться, классифицируясь в базах данных суперкомпьютера, дабы стать основанием для составления прогнозов погоды и предвидения возможных аномалий. Благодаря чему в последние годы количество пострадавших от стихийных бедствий в Японии значительно уменьшилось. И уже одно это оправдывает огромные материальные затраты на создание суперкомпьютерных систем.

В США также уделяется большое внимание разработке аналогичных систем. Это связано с необходимостью решать аналогичные проблемы — предвидение землетрясений, наводнений. И, конечно, задачи космических исследований, развития науки, в частности, биологии и медицины, задачи ядерного синтеза и т.п. Огромные капиталовложения выводят США на передовые позиции в этой сфере.

А как обстоят дела с новой компьютерной техникой в Европе, России?

Есть сообщения о том, что ряд стран (Англия, Испания, Германия) объединяют свои усилия и возможности для создания суперкомпьютерных систем. Это делается не только для создания суперкомпьютеров как технических средств, речь идет обо всей инфраструктуре, которая позволит до начала решения задач (прежде всего экономических, экологических, военных) своевременно обеспечить накопление соответствующей информации, предварительную ее обработку и подготовку к решению определенных задач. Речь идет также о разработке совместными усилиями мощного математического обеспечения, позволяющего решать сложные задачи и осуществлять контроль над работой систем такого класса. Совместное использование технических интеллектуальных возможностей разными странами — дело, безусловно, выгодное и разумное. Здесь уместно напомнить, что ныне обычный персональный компьютер и сложные суперкомпьютеры состоят из деталей и узлов, разрабатываемых в различных уголках мира. Так и должно быть в условиях международного распределения труда, когда каждая страна, фирма стараются выполнять ту работу (устройства, детали, процессоры, память, программное обеспечение), которая у них лучше всего получается.

Наши ближайшие соседи Беларусь и Россия также объединили свои научные силы для создания суперкомпьютеров, и им это удалось, они произвели ряд современных систем, которые успешно используются пока в основном в Беларуси. Между тем Россия, как уже сообщалось, выделила из бюджета в последнее время 10 млн. долларов на эти разработки.

Мы тесно сотрудничаем с российскими и белорусскими учеными, инженерами в этой области, оперативно обмениваемся результатами своих исследований. У нас хорошие рабочие контакты с Институтом программных систем РАН, научно-исследовательским институтом ЭВМ (Минск), Московским университетом имени М.Ломоносова, Вычислительным центром РАН имени А.Дородницына, Институтом точной механики и вычислительной техники имени С.Лебедева и другими.

Так же активно Институт кибернетики сотрудничает с университетами и соответствующими фирмами США, Англии, Германии, Китая, Японии, Кореи. У нас имеются не только научные контакты, но и совместные работы, которые они финансируют. Это дает возможность в условиях финансового кризиса последних лет поддерживать уровень исследований и разработок, быть на передовых позициях в этой области.

Кстати, об уровне. Известно, что часть специалистов, в том числе и в нашей отрасли, в эти нелегкие годы вынуждена была податься на заработки, многие из них до сих пор работают в различных зарубежных фирмах. Из России примерно половина ведущих программистов выехала в поисках работы. Коснулась эта проблема и нашего института. Сегодня трудно назвать развитую страну, в которой не работали бы наши специалисты. Приятно осознавать, что работают успешно, приобрели хорошую репутацию. Кстати, они нам нередко существенно помогают в налаживании контактов с западным миром. И это не только контакты, сводящиеся к организации симпозиумов, конференций, общих публикаций, это и выполнение совместных проектов с зарубежными фирмами. Коллеги нередко помогают нам при получении международных грантов, выполняя которые, мы можем развивать исследования в области информатики.

Одним словом, несмотря на отъезд части специалистов (до пяти процентов), Институт кибернетики имени В.Глушкова — сегодня полноценная научная организация, в которой работают специалисты высшей квалификации: среди них — более 50 докторов и более 200 кандидатов наук. Как известно, на базе Института кибернетики в системе Национальной академии наук был создан Кибернетический центр из шести институтов — кроме Института кибернетики как базовой организации, Институт программных систем, Институт математических машин и систем, Институт космических исследований, Институт прикладного системного анализа, Международный научно-учебный центр информационных технологий и систем. Во всех институтах работают высококвалифицированные специалисты.

Следует отметить, что о научных кадрах мы заботились всегда: так повелось с самого начала, так было еще тогда, когда мы студентами выполняли дипломные проекты как часть плановой институтской темы. В настоящее время институт тесно сотрудничает с вузами Украины. У нас действуют филиал кафедры вычислительной математики Киевского университета имени Т.Шевченко, филиал кафедры автоматизированных систем обработки информации и управления Национального технического университета «КПИ», а также кафедра теории оптимального управления и информатики Московского физико-технического института. Наши ведущие специалисты, работая на этих кафедрах, а также на соответствующих кафедрах университета «Киево-Могилянская академия», готовят для себя будущих сотрудников и аспирантов. Иными словами, совместными усилиями нам удалось создать среду, в которой есть все возможности для способной молодежи найти свой интерес в науке, избрать свое будущее. Кстати, при разработке СКИТа, особенно его программного обеспечения, важную работу выполняли некоторые молодые выпускники Киевской политехники, которые в последние годы пришли работать в институт.

Также недавно Институт кибернетики совместно с Техасским университетом (США) выиграл грант на стажировку группы студентов американских университетов у нас. Группа уже сформирована и приедет весной этого года.

Кто-то подумает: американские студенты — это хорошо. А могут ли студенты из наших областей проходить практику в столице?

Для нас это обычное дело. Именно после такой стажировки выпускники становятся нашими аспирантами. Университеты областных центров для подготовки магистров заключают соответствующие договора с нашей кафедрой в НТУУ «КПИ» и после этого подключаются к обучению в Институте кибернетики в филиале этой кафедры. Указанной возможностью воспользовались уже семь университетов.

Итак, из чего состоит работа СКИТа, начиная с параллельных вычислений?

Разработка методов, позволяющих производить эффективные параллельные вычисления, началась относительно давно, когда ученые поняли, что следующий скачок в ускорении вычислений можно совершить за счет распределения вычислений.

В Институте кибернетики еще в начале 80-х годов прошлого века В.Глушков высказал идею построения компьютера на основе макроконвейерных вычислений, что предусматривало возможность реализации на компьютере именно параллельных вычислений. Со временем такая машина была создана — к сожалению, Виктор Михайлович не дожил до этого. Она оказалась достаточно эффективной. Но в это время распался Советский Союз, дело приостановилось, машина не пошла в серийное производство.

И все же она подтолкнула математиков и программистов к разработке таких новых методов решения разнообразных классов задач, делающих возможной их реализацию на компьютере на основе параллельных вычислений.

Здесь следует иметь в виду, что традиционная математика не всегда предусматривала процесс распараллеливания вычислений, и именно при создании методов с возможным распараллеливанием вычислений возникают трудности, которые не всегда удается преодолеть. С другой стороны, существуют классы задач, решение которых более эффективно именно на основе применения таких методов. Это, к примеру, класс методов математического программирования, в частности приблизительные методы дискретной оптимизации, поле применения которых чрезвычайно широко — от проектирования сложных объектов до управления ими.

Мы подошли к построению СКИТа, обладая крепкой базой, важными наработками в программировании. Что же касается нашего опыта, приобретенного еще до разработки компьютера макроконвейерного типа, то он общеизвестен. Наши ЭВМ — «Київ», «Дніпро-1», «Дніпро-2», МИР, «Промінь» и прочие хорошо поработали в свое время на экономику и стали этапом на пути развития научно-технического прогресса.

Следует также упомянуть, что и в области теории программирования в Украине всегда поддерживался высокий уровень научных исследований. Благодаря этому обстоятельству, переходя на программирование параллельных вычислений для СКИТа, мы не задержались на старте, поскольку были в достаточной мере готовы к разработке современного программного обеспечения. Авторитет украинских программистов и информатиков в научном мире неопровержим. В подтверждение этого могу привести два приятных для нас факта.

Недавно международная организация по информатике CEPIS, действующая при Европейском Союзе, приняла в свой состав Украинскую федерацию информатики. Это дает нам возможность за средства CEPIS проводить научные конференции, симпозиумы, а также осуществлять, согласно европейским стандартам, подготовку и переподготовку наших специалистов по компьютерной грамотности с правом выдачи соответствующих сертификатов, которые будут признаваться в странах Евросоюза. Кстати, Украина — единственная на постсоветском пространстве, федерацию информатики которой приняли в CEPIS. Это очень важно, поскольку дает возможность нашим специалистам разных профилей (медикам, биологам, аграриям, математикам, физикам, экономистам и проч.), устраиваясь на работу за границей, претендовать на более высокую оплату своего труда.

Второй пример. На днях к нам обратились представители Европейского Союза с просьбой дать согласие на проведение в Киеве на базе Кибернетического центра НАН Украины международной конференции по программированию параллельных вычислений, проблемам разработки соответствующего математического обеспечения. Евросоюз на проведение этой конференции готов выделить соответствующие средства. Конечно же, это предложение означает признание успехов наших программистов зарубежными коллегами.

Где можно применять суперкомпьютер уже сегодня?

Конструкция предусматривает использование его возможностей как непосредственно, так и на расстоянии, например, с помощью системы Интернет. Сфера применения — прежде всего там, где нужна сверхскоростная или регулярная и срочная обработка больших массивов данных, связанная со значительным объемом вычислений. Как правило, эта обработка данных сводится к необходимости решения сложных задач большой размерности (сотни тысяч или десятки миллионов переменных и такого же порядка количество ограничений). Это и задачи оптимизационного плана развития экономики страны или отдельного региона, например, задачи оптимизационного управления сложными объектами, задачи проектирования сложных сооружений или процессов (проектирование технологических процессов, спутников, атомных станций и пр.), проблемы выбора лучших путей развития бизнеса или, скажем, задачи расшифровки генома человека. Этот перечень задач можно продолжить, он практически безграничен. Важно то, что уже сегодня указанные задачи мы можем эффективно решать, поскольку в настоящее время обладаем собственными современными суперкомпьютерами, соответствующими математическими моделями и методами.

Подавляющее большинство производственных технологий, используемых нашей промышленностью, возникли при условиях, которые коренным образом отличаются от современных. Недостатки старых технологий (высокая энерго- и ресурсоемкость, низкая производительность труда, негибкость при обновлении ассортимента продукции) становятся серьезным тормозом для экономического развития Украины. В связи с этим необходимо определить желательные направления изменений таких технологий и оценить соответствие фактических изменений этим направлениям.

Для решения этой проблемы, среди прочих подходов, следует применить экономико-математическое моделирование, в частности модели межотраслевого баланса с переменными нормативами производственных затрат. Их начали рассматривать еще академик В.Глушков и В.Михалевич в 70-е годы прошлого века. Конечно, тогда ориентировались на потребности плановой экономики.

Учитывая специфику переходного периода, эти модели в последнее время были коренным образом переработаны и дополнены в Институте кибернетики. Важные результаты в этой сфере получены, в частности, профессором М.Михалевичем.

Так, к примеру, мы рассматривали задачу планирования сокращения производственных затрат, что создало бы предпосылки для безинфляционного повышения оплаты труда. С математической точки зрения, это достаточно сложная оптимизационная задача. Для ее решения необходим значительный объем расчетов. К тому же задача может решаться многократно, с различными начальными данными, которым будут соответствовать различные концепции технологических изменений и инновационного развития. Как заметил в свое время академик Глушков, чтобы специалист не утратил интерес к процессу вариантных расчетов, промежутки времени, на протяжении которых компьютер будет генерировать варианты, могут составлять, максимум, несколько минут. Следовательно, для решения такой задачи должна использоваться мощная вычислительная техника. Поскольку алгоритм расчетов построен таким образом, что нужно осуществлять большое количество не зависящих друг от друга вычислений, весьма перспективным кажется применение СКИТа. Время на реализацию алгоритма нам удалось сократить во столько раз, сколько задействовано в суперкомпьютере процессоров. Таким образом, используя СКИТ, мы сегодня решаем задачу за приемлемое время (несколько десятков минут).

Теперь подробнее остановимся на отдельных задачах в области космических исследований, которые наши специалисты решают на СКИТе. Для нас это важно, ведь Украина — космическое государство, и в процессе освоения космоса ее роль значима. Работы, о которых я скажу ниже, а следовательно, и соответствующее программное обеспечение, выполнены сотрудниками института космических исследований НАН Украины под научным руководством известного специалиста в теории управления информатики академика В.Кунцевича.

С самого начала отметим, что задачи, о которых будет идти речь, до последнего времени считались (из-за отсутствия мощной вычислительной техники) практически неразрешимыми.

Одним из наиболее эффективных применений искусственных спутников сегодня является использование их для исследования Земли и околоземного пространства из космоса. Так, в частности, фотографии отдельных участков нашей планеты дают возможность решать широкий спектр задач землепользования, охраны лесных массивов, контроля за развитием различных стихийных и техногенных процессов.

Поскольку разработка, изготовление, вывод на орбиту космических аппаратов и их эксплуатация стоят десятки миллионов долларов, задачей первостепенного значения становится определение орбит спутников и программ работы комплекса бортовой аппаратуры.

К мониторинговым космическим системам (КС) предъявляются строгие требования относительно периодичности наблюдения и качества информации. Обеспечить краткие разрывы — от нескольких часов до нескольких суток — при наблюдении объектов, расположенных на территории Украины, можно лишь с помощью группы спутников, орбитальные параметры которых надлежащим образом оптимизированы, согласованы с характеристиками бортовых аппаратурных комплексов и наземных способов связи. Контрольные примеры поиска оптимального соединения параметров КС дистанционного зондирования Земли (ДЗЗ) на кластерном компьютере показали, что для выполнения всех расчетов нужно несколько часов беспрерывной работы, в то время как аналогичный расчет на персональном компьютере занимает несколько недель и, как правило, не заканчивается успешно из-за погрешностей в его работе.

Организация рациональной эксплуатации мониторинговых КС — это задача комбинаторной оптимизации, решаемая с помощью так называемых параллельных генетических алгоритмов. Время, которое дается на ее решение, составляет где-то несколько десятков минут, в течение которых следует составить план-график оптимальной загрузки бортовых аппаратурных комплексов наблюдения заданных объектов территории со спутниковой группировки.

24 декабря 2004 года в рамках реализации ІІІ Национальной космической программы Украины с космодрома «Плесецк» (Россия) украинской ракетой-носителем «Циклон-3» успешно запущен космический аппарат «СІЧ-ІМ» вместе с «Микроспутником» (весом всего 66 кг). Спутник «СІЧ-ІМ» предназначен для оперативного сбора данных о состоянии Мирового океана и суши для хозяйственных нужд и исследования ионо- и магнитосфер Земли. И хотя его орбита немного отличается от расчетной, за счет определенного сокращения срока его активного функционирования были созданы уникальные возможности для реализации научной программы.

Качественно новые возможности, созданные благодаря введению в эксплуатацию вычислительного комплекса СКИТ, позволят существенно повысить эффективность использования разрабатываемого на предприятиях ракетно-космической области Украины космического аппарата нового поколения «С12-2».

Снимки Земли, полученные с космических аппаратов, по ряду причин искажены различного рода препятствиями, поэтому существует необходимость восстановления истинного изображения. Задача фильтрации препятствий для космического аппарата Метеостат была успешно решена на СКИТе.

Космический аппарат Метеостат — европейский спутник, предназначенный для гидрометеорологических исследований. Он проводит съемку земного диска с интервалом в полчаса и пространственной разрешающей способностью 2,5 км на пиксель. Эти снимки поступают в институт космических исследований в рамках сотрудничества с европейской организацией эксплуатации метеорологических спутников. Метеостат геостационарен, то есть не меняет своего положения относительно поверхности Земли, а высокая частота снимков, поступающих в нашу систему, позволяет использовать последние при решении задач оперативного климатического наблюдения, построении кратковременных прогнозов, исследовании глобальных климатических изменений и т.п.

Разработанные в Институте космических исследований алгоритмы фильтрации снимков эффективно убирают шумы на снимках КА Метеостат, но требуют для своей реализации большой объем вычислений. Благодаря распараллеливанию вычислений удалось достичь существенного сокращения времени счета.

Также была решена задача построения карты облачности с использованием математического аппарата марковских случайных полей. Это мощный инструмент, но его реализация на однопроцессорном компьютере требует неприемлемого для практики времени расчетов. По приблизительным подсчетам, обработка полного изображения КА Метеостат на современном компьютере может занять более суток. С использованием СКИТа это время сократится до получаса.

Полученные результаты дают возможность построить систему оперативного наблюдения за развитием облачности и чрезвычайных ситуаций метеорологического характера в реальном времени, что очень важно для метеорологического прогнозирования, планирования аэрокосмических съемок и авиаперелетов.

После чернобыльской катастрофы стало очевидно, как бездумно мы ведем хозяйство на своей земле, не умеем спрогнозировать завтрашний день.

Сверхмощный компьютер поможет прогнозировать ожидающие нас опасности.

Деятельности человека должны предшествовать основательные исследования, которые показали бы возможные последствия этих действий. Добыча полезных ископаемых, необоснованная вырубка лесов, создание подземных сооружений приводят как к ухудшению экологии почв, так и к значительным разрушениям, которые могут закончиться катастрофами. Определить меры предосторожности — чрезвычайно сложная задача. Обусловлено это тем, что исследуемые процессы имеют пространственный (трехмерный) характер. В Институте кибернетики разработана новая информационная технология исследования и прогноза развития основных явлений, характерных для реальных почвенных сред. Основана она на новых математических моделях. Разработаны высокоточные вычислительные методы компьютерного расчета сложных явлений по этим моделям. Значительные результаты в этой области получены в Институте кибернетики членкорами НАНУ В.Дейнекой и В.Скопецким, а также в Институте прикладного системного анализа — академиком НАНУ М.Згуровским и его учениками. На основе использования этих результатов созданы компьютерные средства диалогового, в значительной степени автоматизированного исследования объектов. Создание таких средств — сложная задача, но ее можно решить, опираясь на возможности математического обеспечения современных компьютеров. Расчетная составляющая математического обеспечения требует огромных мощностей компьютеров. Речь идет, скажем, о решении промежуточных систем алгебраических уравнений с более чем 1 млн. неизвестных. В определенной степени для отдельных классов задач эту проблему мы решили, поскольку с помощью нового компьютера уже решаются системы алгебраических уравнений с 1 млн. 300 тыс. неизвестных. Решение такой системы на СКИТе осуществляется за 23 мин. Решена также задача движения жидкости в трехслойном массиве большой территории, площадью 27 км на 35 км (зона Чернобыля), с 230 тыс. неизвестных. Все это дает надежду на возможность решения хотя бы части как проблем экологии, так и проблем рационального природопользования.

Мощность суперкомпьютера будет наращиваться.

Вначале мы удвоим мощность СКИТ — скорость операций и объем памяти. Кроме этого, позаботимся о том, чтобы территориально отдаленные пользователи были обеспечены надежными скоростными каналами связи с компьютером. Не менее важна проблема, ожидающая своего решения в ближайшее время, — существенное расширение программного обеспечения компьютера, что должно позволить эффективно использовать его в различных сферах человеческой деятельности. Это будет требовать подключения к указанной работе специалистов различных профилей — математиков, материаловедов, физиков, экономистов, химиков, геологов, биологов и т.п. Большое значение приобретет дальнейшая разработка современных математических методов, которые позволят эффективно реализовать параллельные вычисления и построение соответствующих математических моделей. Это и послужит базой для разработки современного программного обеспечения новой вычислительной техники.

Между прочим, когда мы завершали работу над суперкомпьютером, когда уже виден был, как говорится, берег, — такой подъем царил, люди не замечали, что стемнело, рабочий день давно закончился. Казалось, нет усталости. Давно такого не было. У нас была цель, и мы знали, что можем ее достичь. Осознавать это радостно и горько. Радостно — понятно почему. А горько от мысли, что столько времени утрачено, столько возможностей не использовано.