Электронные документы - факты, законы и важные нюансы. Формализация системы документооборота

Об электронном документообороте говорят часто и много, но ориентироваться в большом количестве новых терминов сложно, а еще сложнее понять, как все это работает. Серия статей «Бухгалтер и электронный документ» разработана специально для того, чтобы на доступном языке рассказать об этом виде взаимодействия все, что нужно знать бухгалтеру. Как начать обмен? Как работать с первичкой и сдавать отчетность в электронном виде? На эти и другие вопросы вы найдете ответ в наших выпусках.

В прошлых главах мы уже рассмотрели целый ряд интересных вопросов, связанных с электронным документооборотом: и . В новой главе мы расскажем вам об основе документооборота - электронном документе. Несмотря на кажущуюся простоту понятия, документы в электронном виде вызывают ничуть не меньше, а то и больше вопросов у бухгалтеров. Сегодня мы обсудим ключевые первичные документы, которые уже прямо сейчас можно использовать в цифровом виде, расскажем о том, что стоит знать о формах и форматах, и какими нормативными актами это урегулировано.

Электронный документ и юридическая сила

Как мы и говорили, документ - это основополагающее понятие в документообороте. Определение электронного документа содержится в ст. 2 ФЗ 149: электронный документ - документированная информация, представленная в электронной форме, то есть в виде, пригодном для восприятия человеком с использованием электронных вычислительных машин, а также для передачи по информационно-телекоммуникационным сетям или обработки в информационных системах.

Электронный документ, подписанный электронной подписью, может применяться в любых правоотношениях, если законодательство РФ не содержит прямого запрета на их использование. Таким образом, договоры, различные счета, заявки, отчеты, заявления, а также товарные накладные, акты и даже счета-фактуры могут быть электронными.

Кстати, многие считают (и не без оснований), что юридическую силу электронному документу придает именно электронная подпись. Однако сама по себе ЭП является лишь частью целого ряда мероприятий по обеспечению документов юридической силой. Что-то вы можете сделать самостоятельно, например, обеспечить соответствие форматам, а часть - только с помощью специалистов.

Из схемы видно, что для разных документов существуют разные гаранты юридической силы. Например, неформализованные документы - письма, договора, доверенности, техническая документация и другая корреспонденция - свободны от жесткого регулирования со стороны государства. Поэтому их юридическая сила определяется соглашением об обмене, в котором могут быть прописаны все требования к реквизитам, форме и формату, и наличием электронной подписи, не обязательно квалифицированной.

При наличии соответствующих корпоративных нормативов простой электронной подписью можно считать введение пары логин-пароль во внутренней системе электронного документооборота. Каждый внутренний документ фактически подписывается: система вас узнает по логину-паролю, фиксирует время и авторство подписи, когда вы осуществляете нажатие определенной кнопки, которое в свою очередь заносится в лог - специальный внутренний протокол событий в информационной системе. Следовательно, внутренний электронный документ автоматически становится юридически сильным и может использоваться при различных разбирательствах.

Другое дело, когда речь идет о формализованных документах. Эти документы называются формализованными именно потому, что для них в отдельных законодательных актах прописаны жесткие требования к формату и регламенту передачи. Эти документы напрямую влияют на правильность налоговых расчетов, поэтому соблюдение всех процедур передачи для них критически важно.

Формат и форма

Уже неоднократно в этой статье упоминалось слово «формат». Часто бухгалтеры путают формат и форму документа. В понимании оператора ЭДО (провайдера электронного документооборота) формализованный документ - документ, созданный по формату ФНС. Фактически, это структурированный набор данных, который можно визуально отобразить в любой форме. А форма - это то, как зрительно документ должен выглядеть, то есть, по сути, его печатная форма.

Форма счета-фактуры определяется в законе ФЗ 402 «О бухгалтерском учете», формат отдельным приказом ФНС.

Когда говорим о форматах и формах, мы всегда четко расставляем понятия. Формат - это контейнер для информации, а форма - ее визуальное отражение.

А теперь, когда основополагающие понятия мы рассмотрели, давайте кратко рассмотрим основные формализованные документы в ЭДО.

Электронные счета-фактуры

Счет-фактура - один из важнейших документов в работе бухгалтера. Не смотря на то, что электронные счета-фактуры неотличимы от бумажных аналогов, при работе с ними возникает множество вопросов.

Работа с электронным счетом-фактурой жестко регламентирована. Процедура отправки и получения электронных счетов-фактур через оператора ЭДО прописана в Приказе Минфина от 25.04.2011 №50н «Об утверждении порядка выставления счетов-фактур в электронном виде по ТКС». Данный приказ предусматривает обязательность использования оператора ЭДО в случае необходимости выставления счетов-фактур в электронном виде с обеспечением юридической значимости.

Также приказ Минфина РФ предусматривает создание участниками ЭДО, в том числе оператором ЭДО, служебных документов, которые фактически являются подтверждением получения документа участником ЭДО. В этих документах и скрыта вся суть регламента обмена: по факту, это самостоятельные.xml-файлы, которые пользователям не видны, но играют важную роль в обеспечении юридической значимости обмена счетами-фактурами.

Анастасия Щепина, аналитик Synerdocs

Если в электронном счете-фактуре обнаружена ошибка, то продавец может создать исправленный или корректировочный счет-фактуру. Процесс аналогичен работе с бумажными документами, просто в электронном виде все происходит проще и быстрее. Сообщение об ошибке вам отправляет контрагент после ее обнаружения, соответственно, вы сможете оперативно подготовить исправленный или корректировочный документ.

Книги покупок и книги продаж

Сегодня в законодательстве РФ нет прямых указаний, обязывающих переводить журнал полученных и выставленных счетов-фактур и книги покупок/продаж в электронный вид при наличии ЭДО. Однако некоторые эксперты рекомендуют уже сейчас переводить книги в электронный вид.

Правила ведения едины и для электронных, и для бумажных журналов и книг. Согласно Приложению 3 к Постановлению Правительства РФ от 26.12.2011 N 1137 журнал полученных и выставленных счетов-фактур необходимо вести за каждый налоговый период. Электронный журнал должен быть подписан электронной подписью при передаче в контролирующие органы.

Книги покупок, продаж и дополнительные листы к ним, составленные в электронном виде за налоговый период, подписываются электронной подписью руководителя организации (уполномоченного им лица) или ИП при их передаче в налоговый орган в случаях, предусмотренных Налоговым кодексом РФ.

Электронные товарные накладные и акты

Существуют рекомендованные ФНС форматы товарной накладной и акта выполненных работ, утвержденные Приказом ФНС РФ от 21.03.2012 N ММВ-7-6 172@ «Об утверждении форматов первичных учетных документов (ТОРГ-12 и акт)». Само слово «рекомендованные» говорит о том, что данные форматы, по сути, не являются обязательными.

При внедрении электронного документооборота мы в первую очередь советуем пользоваться рекомендованным форматом. Так формализованный документ будет проще обрабатывать, искать и представлять в электронном виде в ФНС.

Но если же вы с контрагентами работаете с очень специфичными актами со множеством дополнительных данных и вам будет неудобно использовать формализованный акт приемки-сдачи работ (услуг), то можете и дальше отправлять документы по привычной вам форме. Формат при этом может быть любым: .PDF, .DOC, .XLS, .JPEG, .TIFF и так далее.

Анастасия Щепина, аналитик Synerdocs

Если налоговые органы потребуют акты и накладные для проверки, то способ их представления будет зависеть от того, в каком виде были составлены эти документы.

Универсальный передаточный документ в электронном виде

Фактически универсальный передаточный документ (УПД) - это счет-фактура с дополнительными полями. Но для счета-фактуры жестко установлен формат, и использовать какой-то другой мы не можем, поэтому вариант с созданием электронного УПД на его основе отпадает. Мы не знаем, как такой документ воспримет ФНС, и как организовать работу с его подписанием.

Также следует учитывать, что в законодательстве нет порядка обмена УПД. Есть порядок обмена электронными счетами-фактурами. Официально ни в каком источнике не сказано, что электронными УПД нужно обмениваться по регламенту ЭСФ и использовать их же формат. Насколько нам известно, сегодня никто не обменивается УПД в электронном виде.

Отвечая на вопросы про УПД, мы всегда стараемся понять, а почему бухгалтеры вообще пользуются этим документом. Его основная цель - снизить объем документооборота, сделать его универсальным, из двух документов сделать один. При переходе на электронный документооборот налогоплательщик автоматически решает задачу оптимизации ресурсов. Получается, что объективные преимущества, которые дает применение УПД в бумажном виде, совершенно не актуальны для электронного документооборота.

Анастасия Щепина, аналитик Synerdocs

Вместо заключения

Как видите, самые важные документы вполне себе живут в электронном виде. Да, многое завязано на непривычных технических нюансах, некоторым бухгалтерам придется привыкать к новым требованиям. Эффективней всего в электронном виде реализована работа с счетами-фактурами и актами, здесь наиболее проработанные процессы, прозрачный регламент и требования. Объяснить это просто: эти документы напрямую участвуют в налоговом администрировании, то есть, замешаны на процессах поступления налогов в казну. Другие документы вызывают меньше вопросов у государства, а, значит, к ним предъявляется меньше требований.

Мы намеренно взяли в обзор только те документы, с которыми чаще всего работают именно бухгалтеры. Если бы мы добавили к этому списку неформализованные документы, договоры, свидетельства, доверенности - то пришлось бы писать две главы.

В следующей главе

В четвертой главе «Бухгалтер и электронный документ» вы узнаете о том, как ЭДО позволит вам эффективно взаимодействовать с ФНС, решать проблемы еще до их возникновения и минимизировать число визитов налоговых инспекторов в вашу организацию.

Имиджинг

а первом этапе перевода документа в электронную форму производится его сканирование, которое позволяет получить электронную копию документа в виде изображения. Данный процесс называют имиджингом (imaging). Таким образом, имиджинг - это процесс получения аутентичных изображений бумажных документов. Термин пришел из микрофильмирования, однако сегодня применяется именно к электронным изображениям. Имиджинг является начальным этапом любой системы ввода документов. На этом этапе выполняются задачи сканирования, обработки изображения и контроля качества (рис. 1).

Сканеры позволяют оцифровывать изображения, а также предоставляют ряд дополнительных возможностей, таких как аппаратная поддержка качества изображения и выравнивание страниц.

Выравнивание страниц может производиться как аппаратно, так и программно (рис. 2).

Если речь идет о промышленном вводе документов, то сканеры обычно предоставляют ряд дополнительных функций, например возможность подачи разноформатных документов в одной пачке, а также позволяют использовать большие пачки документов и т.д.

Обработка изображений

Как уже было отмечено, часть функций обработки изображений может быть реализована аппаратно в сканере, а может производиться на станции сканирования. Улучшение изображения включает программное выравнивание, конвертирование с улучшением качества, удаление шумовых и фоновых элементов, улучшение качества передачи текста и т.д.

Наиболее важной технологией на стадии распознавания документов является технология OCR, о которой следует рассказать более подробно.

Технологии OCR/ICR

Традиционный подход к проблеме распознавания заключается в сведении задачи распознавания к задаче классификации некоторого набора признаков. Идея проста: по изображению определяется некоторый набор признаков, который сравнивается с каждым из имеющихся образцов, так называемых эталонов. По результатам сравнения находится эталон, с которым этот набор признаков совпадает лучше всего, и изображение относится к соответствующему классу. Таким образом, все решение заключается в сравнении предлагаемого изображения с образцами и выборе наиболее подходящего; иначе говоря, производится некий перебор возможных вариантов. Проблема имела бы простое решение, если бы не существовало сотен шрифтов, полученных по факсу текстов с плохо читаемыми символами и т.д.

В качестве основных алгоритмов решения данной задачи выделяют multifont (шрифтовые) и omnifont (шрифтонезависимые) алгоритмы. В случае multifont растровое изображение накладывается на шаблон, и соответственно наиболее подходящим шаблоном считается тот, у которого наименьшее количество точек отличается от исследуемого изображения. Omnifont-алгоритмы идентифицируют символ по правилам его написания. В этом случае эталон, с которым производится сравнение, содержит в себе информацию о правилах написания символа. Оба алгоритма имеют вероятностную природу и позволяют сделать предположение о принадлежности данного символа. Основная задача при распознавании текстов - это повышение вероятности принятия правильного решения, то есть уменьшение доли ошибок. Существует несколько подходов к повышению качества распознавания. Например, алгоритм может содержать комбинацию шрифтового и шрифтонезависимого подхода. Существенное увеличение точности распознавания достигается за счет использования самообучения системы. Это позволяет, например, распознавать плохо пропечатанные символы с помощью шрифта, созданного на основе достаточно хорошо пропечатанных символов. Следует отметить, что на текстах хорошего качества лучше работают одни алгоритмы, на текстах плохого качества - другие, а для распознавания табличных форм удобнее использовать третьи и т.д. Существуют подходы, при которых экспертная система, встроенная внутрь ядра распознавания, сама выбирает оптимальный для данного текста алгоритм.

Альтернативой традиционному шаблонному методу распознавания стало распознавание на основе принципов целостности, целенаправленности и адаптивности, так называемая IPA-технология, на которой основана система распознавания компании ABBYY - FineReader.

Согласно принципу целостности, распознаваемый объект рассматривается как целое, состоящее из частей, связанных между собой пространственными отношениями. Изображение интерпретируется как определенный объект, только если на нем присутствуют все структурные части этого объекта и эти части находятся в соответствующих отношениях. Указанные части получают интерпретацию только в составе гипотезы о предполагаемом объекте.

По принципу целенаправленности распознавание строится как процесс выдвижения и целенаправленной проверки гипотез о целом объекте. Источниками гипотез являются признаковые классификаторы и контекстная информация. Части картинки анализируются не априори, а только в рамках выдвинутой гипотезы о целом. Традиционный подход, состоящий в интерпретации того, что наблюдается на изображении, заменяется подходом, состоящим в целенаправленном поиске того, что ожидается на изображении.

Принцип адаптивности подразумевает способность системы к самообучению.

Именно использование этих основополагающих принципов помогло добиться высочайшего качества распознавания, которое демонстрирует система ABBYY FineReader.

Отдельной задачей является распознавание рукопечатных символов, заключающееся в необходимости распознать символ, несмотря на особенности почерка человека.

Классификатор рынка систем ввода документов

Начале статьи мы упомянули о некоторой терминологической путанице и до сих пор не привели примеров. Дело в том, что упоминаемые выше термины, которые мы ввели при описании технологических процессов, используются также для определения соответствующих секторов рынка и здесь часто имеет место неоднозначность.

Для того чтобы разобраться в терминологии применительно к описанию рынка систем ввода документов, следует отметить, что помимо технологических аспектов, о которых мы говорили выше, существует также специфика, связанная с масштабом использования технологии. Действительно, когда говорят о домашних или о персональных системах ввода документов, то обычно подразумевают именно распознавание неформализованных документов, при незначительном количестве ввода документов за единицу времени. В данном случае на первое место выходит именно технология OCR. Поэтому когда речь идет о рынке OCR, то обычно имеют в виду рынок коробочных программ распознавания неформализованных документов для персонального применения. Напротив, ввод формализованных документов - это технология, которая обычно используется в организациях и имеет массовый характер. В данном случае наряду с распознаванием текстов встает масса технологических проблем - организация поточного сканирования, распределенной обработки, встраивание решения в корпоративные системы документооборота и т.д. Этот сектор обычно называют Document Capture.

В технологическом смысле Document Capture - это комплекс мероприятий по переводу бумажных документов в электронный архив для хранения и обеспечения доступа к ним. А в отношении доли рынка под этим понимают проектный рынок ввода документов, а не коробочные решения. Согласно вышеописанной классификации объем мирового рынка OCR составляет порядка 80 млн. долл. При этом лидером этого рынка является компания ScanSoft, имеющая оборот около 60 млн. долл. Рынок Data Capturing в несколько раз больше - порядка 300 млн. долл. Поскольку рынок Data Capturing является более проектным бизнесом, здесь нет столь явного лидера, как на рынке OCR. Около 50% серьезных контрактов получают четыре крупные компании: Cardiff Software, ReadSoft, Kofax, TIS. Поскольку в проектном бизнесе географическая близость к заказчику имеет чрезвычайно важное значение, выйти на западный рынок российским компаниям весьма сложно. Напротив, говоря о мировом рынке OCR, необходимо отметить выдающиеся успехи отечественной компании ABBYY: доля ее на мировом рынке в последние пять лет постоянно растет. На сегодняшний день компания имеет лучшие по качеству распознавания системы в мире. В 2001 году компания ABBYY оценивала свою долю на мировом рынке OCR в размере 10-12%, а в 2002 году она намеревается выйти на уровень 15 млн., что составит порядка 15-20% мирового рынка. Также ABBYY сейчас активно продвигает свои технологии на мировом рынке ICR - продукт ABBYY FormReader позволяет эффективно обрабатывать большие объемы различных форм: анкет, опросных листов, бланков, заявлений клиентов и т.д. На рынке OCR также активно работает компания Cognitive Technologies, которая в меньшей степени делает упор на рынок коробочного продукта и больше ориентирована на рынок OEM и на проектный отечественный рынок.

Руководство Cognitive Technologies максимальное внимание уделяет вопросам встраивания технологии OCR в интеграционные решения с элементами архивного хранения и обеспечения документооборота. Системами распознавания Cognitive Technologies комплектуется продукция ведущих мировых производителей офисной техники: Hewlett-Packard, Seiko Epson, Canon, Oki, Olivetti. Cognitive Technologies активно развивает направление, связанное с распознаванием форм.

Классификатор International Data Corp (IDC)

Как мы уже отмечали, при оценках объема рынка систем ввода документов встречаются различные подходы. Выше мы привели оценку компании ABBYY, согласно которой объем рынка Document Capture составляет примерно 300 млн. долл. При этом следует иметь в виду, что данная цифра относится к стоимости программного обеспечения. Существуют и другие подходы. В частности, в подходах оценки рынка IDC нет разделения на программную и аппаратную часть, а рассматривается стоимость решения, куда включаются все элементы. Видимо, именно по этой причине оценки мирового рынка имиджинга, по данным IDC, имеют на порядок большие значения (рис. 9).

По методике IDC системы имиджинга и ввода документов рассматриваются как составляющие рынка систем управления документами и бизнес-процессами (рис. 9). Согласно исследованию IDC, эти рынки в год растут примерно на 30% и к концу 2002 года в сумме достигнут 32 млрд. долл.

Cognitive Forms также может обрабатывать различные типы форм в одном потоке и осуществлять автоматическую проверку корректности данных.

В системе реализована уникальная функция Drag&Recog, которая существенно упрощает процедуру распознавания для пользователя. Для этого пользователю нужно лишь с помощью мыши выделить требуемый фрагмент отсканированного документа и перетащить его в поле распознавания.

В программный комплект Cognitive Forms входит отдельный модуль «Дизайнер форм», с помощью которого пользователь сам может создавать формы документов, задавать описания полей и варианты контекстных проверок. Таким образом система позволяет не только обрабатывать формы, но и создавать их.

В новой версии системы, вышедшей в апреле текущего года, реализована возможность единовременной обработки не только бумажных, но и электронных форм документов в форматах HTML и PDF. На сегодняшний день это единственная российская система, позволяющая осуществлять подобную операцию. Это значительно расширяет функциональные возможности системы, разрешая осуществлять сбор и обработку документов как посредством сканирования бумажных копий, так и через Интернет. В настоящее время большая часть корпоративных участников российского рынка перешла на одновременное использование как бумажных, так и электронных форм документов, и поэтому появление подобной системы крайне актуально.

Корпоративная система Cognitive Forms установлена более чем в 400 российских организациях, в числе которых Пенсионный фонд РФ, Газпром, Сбербанк РФ, Газпромбанк. К настоящему моменту с помощью системы было обработано более 100 млн. различных документов.

Продукты для промышленного ввода форм

В этом секторе также можно указать решения на базе вышеописанных технологий CuneiForm и ABBYY FormReader, которые адаптированы для промышленного использования, а также для систем потокового сканирования и распределенной обработки.

Например, система Cognitive Forms, установленная в Пенсионном фонде, ежедневно обрабатывает около 50 тыс. различных документов. При необходимости возможности системы позволяют обрабатывать до миллиона документов в день.

Работа системы включает потоковое сканирование, сортировку и контроль качества изображения, автоматическое распознавание, верификацию, экспорт в базу данных.

Гибридные комплексные решения

В данном секторе можно выделить решение InputAccel компании ActionPoint. Приобретя компанию Captiva, компания ActionPoint получила мощное комплексное решение, включая развитые средства ввода форм. Решение фирмы ActionPoint достаточно широко применяется в мире, однако мало распространено в России. Поэтому охарактеризуем его очень кратко: мощная система для проектов среднего и крупного масштаба, которая обладает соответствующими встроенными средствами разработки, а также средствами поддержки распределенной работы и кластеризации на серверах.

КомпьютерПресс 9"2002

Имиджинг

а первом этапе перевода документа в электронную форму производится его сканирование, которое позволяет получить электронную копию документа в виде изображения. Данный процесс называют имиджингом (imaging). Таким образом, имиджинг - это процесс получения аутентичных изображений бумажных документов. Термин пришел из микрофильмирования, однако сегодня применяется именно к электронным изображениям. Имиджинг является начальным этапом любой системы ввода документов. На этом этапе выполняются задачи сканирования, обработки изображения и контроля качества (рис. 1).

Сканеры позволяют оцифровывать изображения, а также предоставляют ряд дополнительных возможностей, таких как аппаратная поддержка качества изображения и выравнивание страниц.

Выравнивание страниц может производиться как аппаратно, так и программно (рис. 2).

Если речь идет о промышленном вводе документов, то сканеры обычно предоставляют ряд дополнительных функций, например возможность подачи разноформатных документов в одной пачке, а также позволяют использовать большие пачки документов и т.д.

Обработка изображений

Как уже было отмечено, часть функций обработки изображений может быть реализована аппаратно в сканере, а может производиться на станции сканирования. Улучшение изображения включает программное выравнивание, конвертирование с улучшением качества, удаление шумовых и фоновых элементов, улучшение качества передачи текста и т.д.

Наиболее важной технологией на стадии распознавания документов является технология OCR, о которой следует рассказать более подробно.

Технологии OCR/ICR

Традиционный подход к проблеме распознавания заключается в сведении задачи распознавания к задаче классификации некоторого набора признаков. Идея проста: по изображению определяется некоторый набор признаков, который сравнивается с каждым из имеющихся образцов, так называемых эталонов. По результатам сравнения находится эталон, с которым этот набор признаков совпадает лучше всего, и изображение относится к соответствующему классу. Таким образом, все решение заключается в сравнении предлагаемого изображения с образцами и выборе наиболее подходящего; иначе говоря, производится некий перебор возможных вариантов. Проблема имела бы простое решение, если бы не существовало сотен шрифтов, полученных по факсу текстов с плохо читаемыми символами и т.д.

В качестве основных алгоритмов решения данной задачи выделяют multifont (шрифтовые) и omnifont (шрифтонезависимые) алгоритмы. В случае multifont растровое изображение накладывается на шаблон, и соответственно наиболее подходящим шаблоном считается тот, у которого наименьшее количество точек отличается от исследуемого изображения. Omnifont-алгоритмы идентифицируют символ по правилам его написания. В этом случае эталон, с которым производится сравнение, содержит в себе информацию о правилах написания символа. Оба алгоритма имеют вероятностную природу и позволяют сделать предположение о принадлежности данного символа. Основная задача при распознавании текстов - это повышение вероятности принятия правильного решения, то есть уменьшение доли ошибок. Существует несколько подходов к повышению качества распознавания. Например, алгоритм может содержать комбинацию шрифтового и шрифтонезависимого подхода. Существенное увеличение точности распознавания достигается за счет использования самообучения системы. Это позволяет, например, распознавать плохо пропечатанные символы с помощью шрифта, созданного на основе достаточно хорошо пропечатанных символов. Следует отметить, что на текстах хорошего качества лучше работают одни алгоритмы, на текстах плохого качества - другие, а для распознавания табличных форм удобнее использовать третьи и т.д. Существуют подходы, при которых экспертная система, встроенная внутрь ядра распознавания, сама выбирает оптимальный для данного текста алгоритм.

Альтернативой традиционному шаблонному методу распознавания стало распознавание на основе принципов целостности, целенаправленности и адаптивности, так называемая IPA-технология, на которой основана система распознавания компании ABBYY - FineReader.

Согласно принципу целостности, распознаваемый объект рассматривается как целое, состоящее из частей, связанных между собой пространственными отношениями. Изображение интерпретируется как определенный объект, только если на нем присутствуют все структурные части этого объекта и эти части находятся в соответствующих отношениях. Указанные части получают интерпретацию только в составе гипотезы о предполагаемом объекте.

По принципу целенаправленности распознавание строится как процесс выдвижения и целенаправленной проверки гипотез о целом объекте. Источниками гипотез являются признаковые классификаторы и контекстная информация. Части картинки анализируются не априори, а только в рамках выдвинутой гипотезы о целом. Традиционный подход, состоящий в интерпретации того, что наблюдается на изображении, заменяется подходом, состоящим в целенаправленном поиске того, что ожидается на изображении.

Принцип адаптивности подразумевает способность системы к самообучению.

Именно использование этих основополагающих принципов помогло добиться высочайшего качества распознавания, которое демонстрирует система ABBYY FineReader.

Отдельной задачей является распознавание рукопечатных символов, заключающееся в необходимости распознать символ, несмотря на особенности почерка человека.

Классификатор рынка систем ввода документов

Начале статьи мы упомянули о некоторой терминологической путанице и до сих пор не привели примеров. Дело в том, что упоминаемые выше термины, которые мы ввели при описании технологических процессов, используются также для определения соответствующих секторов рынка и здесь часто имеет место неоднозначность.

Для того чтобы разобраться в терминологии применительно к описанию рынка систем ввода документов, следует отметить, что помимо технологических аспектов, о которых мы говорили выше, существует также специфика, связанная с масштабом использования технологии. Действительно, когда говорят о домашних или о персональных системах ввода документов, то обычно подразумевают именно распознавание неформализованных документов, при незначительном количестве ввода документов за единицу времени. В данном случае на первое место выходит именно технология OCR. Поэтому когда речь идет о рынке OCR, то обычно имеют в виду рынок коробочных программ распознавания неформализованных документов для персонального применения. Напротив, ввод формализованных документов - это технология, которая обычно используется в организациях и имеет массовый характер. В данном случае наряду с распознаванием текстов встает масса технологических проблем - организация поточного сканирования, распределенной обработки, встраивание решения в корпоративные системы документооборота и т.д. Этот сектор обычно называют Document Capture.

В технологическом смысле Document Capture - это комплекс мероприятий по переводу бумажных документов в электронный архив для хранения и обеспечения доступа к ним. А в отношении доли рынка под этим понимают проектный рынок ввода документов, а не коробочные решения. Согласно вышеописанной классификации объем мирового рынка OCR составляет порядка 80 млн. долл. При этом лидером этого рынка является компания ScanSoft, имеющая оборот около 60 млн. долл. Рынок Data Capturing в несколько раз больше - порядка 300 млн. долл. Поскольку рынок Data Capturing является более проектным бизнесом, здесь нет столь явного лидера, как на рынке OCR. Около 50% серьезных контрактов получают четыре крупные компании: Cardiff Software, ReadSoft, Kofax, TIS. Поскольку в проектном бизнесе географическая близость к заказчику имеет чрезвычайно важное значение, выйти на западный рынок российским компаниям весьма сложно. Напротив, говоря о мировом рынке OCR, необходимо отметить выдающиеся успехи отечественной компании ABBYY: доля ее на мировом рынке в последние пять лет постоянно растет. На сегодняшний день компания имеет лучшие по качеству распознавания системы в мире. В 2001 году компания ABBYY оценивала свою долю на мировом рынке OCR в размере 10-12%, а в 2002 году она намеревается выйти на уровень 15 млн., что составит порядка 15-20% мирового рынка. Также ABBYY сейчас активно продвигает свои технологии на мировом рынке ICR - продукт ABBYY FormReader позволяет эффективно обрабатывать большие объемы различных форм: анкет, опросных листов, бланков, заявлений клиентов и т.д. На рынке OCR также активно работает компания Cognitive Technologies, которая в меньшей степени делает упор на рынок коробочного продукта и больше ориентирована на рынок OEM и на проектный отечественный рынок.

Руководство Cognitive Technologies максимальное внимание уделяет вопросам встраивания технологии OCR в интеграционные решения с элементами архивного хранения и обеспечения документооборота. Системами распознавания Cognitive Technologies комплектуется продукция ведущих мировых производителей офисной техники: Hewlett-Packard, Seiko Epson, Canon, Oki, Olivetti. Cognitive Technologies активно развивает направление, связанное с распознаванием форм.

Классификатор International Data Corp (IDC)

Как мы уже отмечали, при оценках объема рынка систем ввода документов встречаются различные подходы. Выше мы привели оценку компании ABBYY, согласно которой объем рынка Document Capture составляет примерно 300 млн. долл. При этом следует иметь в виду, что данная цифра относится к стоимости программного обеспечения. Существуют и другие подходы. В частности, в подходах оценки рынка IDC нет разделения на программную и аппаратную часть, а рассматривается стоимость решения, куда включаются все элементы. Видимо, именно по этой причине оценки мирового рынка имиджинга, по данным IDC, имеют на порядок большие значения (рис. 9).

По методике IDC системы имиджинга и ввода документов рассматриваются как составляющие рынка систем управления документами и бизнес-процессами (рис. 9). Согласно исследованию IDC, эти рынки в год растут примерно на 30% и к концу 2002 года в сумме достигнут 32 млрд. долл.

Cognitive Forms также может обрабатывать различные типы форм в одном потоке и осуществлять автоматическую проверку корректности данных.

В системе реализована уникальная функция Drag&Recog, которая существенно упрощает процедуру распознавания для пользователя. Для этого пользователю нужно лишь с помощью мыши выделить требуемый фрагмент отсканированного документа и перетащить его в поле распознавания.

В программный комплект Cognitive Forms входит отдельный модуль «Дизайнер форм», с помощью которого пользователь сам может создавать формы документов, задавать описания полей и варианты контекстных проверок. Таким образом система позволяет не только обрабатывать формы, но и создавать их.

В новой версии системы, вышедшей в апреле текущего года, реализована возможность единовременной обработки не только бумажных, но и электронных форм документов в форматах HTML и PDF. На сегодняшний день это единственная российская система, позволяющая осуществлять подобную операцию. Это значительно расширяет функциональные возможности системы, разрешая осуществлять сбор и обработку документов как посредством сканирования бумажных копий, так и через Интернет. В настоящее время большая часть корпоративных участников российского рынка перешла на одновременное использование как бумажных, так и электронных форм документов, и поэтому появление подобной системы крайне актуально.

Корпоративная система Cognitive Forms установлена более чем в 400 российских организациях, в числе которых Пенсионный фонд РФ, Газпром, Сбербанк РФ, Газпромбанк. К настоящему моменту с помощью системы было обработано более 100 млн. различных документов.

Продукты для промышленного ввода форм

В этом секторе также можно указать решения на базе вышеописанных технологий CuneiForm и ABBYY FormReader, которые адаптированы для промышленного использования, а также для систем потокового сканирования и распределенной обработки.

Например, система Cognitive Forms, установленная в Пенсионном фонде, ежедневно обрабатывает около 50 тыс. различных документов. При необходимости возможности системы позволяют обрабатывать до миллиона документов в день.

Работа системы включает потоковое сканирование, сортировку и контроль качества изображения, автоматическое распознавание, верификацию, экспорт в базу данных.

Гибридные комплексные решения

В данном секторе можно выделить решение InputAccel компании ActionPoint. Приобретя компанию Captiva, компания ActionPoint получила мощное комплексное решение, включая развитые средства ввода форм. Решение фирмы ActionPoint достаточно широко применяется в мире, однако мало распространено в России. Поэтому охарактеризуем его очень кратко: мощная система для проектов среднего и крупного масштаба, которая обладает соответствующими встроенными средствами разработки, а также средствами поддержки распределенной работы и кластеризации на серверах.

КомпьютерПресс 9"2002

Формализованные документы

документы, исполненные на основе формализации. Применяются для передачи типовых распоряжений, сводок, данных об обеспеченности войск (сил флота), а иногда об их действиях.

• - Разработанный нацистами в 1931 в местечке Боксхейм, неподалеку от Вормса, план захвата местных органов власти. Документы были подписаны Вернером Бестом, будущим рейхскомиссаром оккупированной Дании...

  Энциклопедия Третьего рейха

• - 1) переводы, меморандумы, копии писем и телеграмм и другие оперативные документы, составленные службой ПК по отобранным почтово-телеграфным отправлениям...

  Контрразведывательный словарь

• - документы, в которых совокупность реквизитов, установленная в соответствии с решаемыми задачами, зафиксировано в определенном порядке...

  Словарь терминов черезвычайных ситуаций

• - счет бухгалтерского учета, предназначенный для обобщения информации о наличии и движении денежных документов, находящихся в кассе предприятия. Денежные документы учитываются на счете по номинальной стоимости...

  Большой бухгалтерский словарь

• - документы, под которые товарный груз сдан железной дороге и без которых этот груз не может быть выдан. Под такие документы банками предоставляются ссуды...

  Справочный коммерческий словарь

• - документы, отражающие доходы бюджета и ассигнования из него; подразделяются на плановые, оперативные и отчетные...

• Большой юридический словарь

• Большой юридический словарь

• - документы, содержащие необходимую и достаточную информацию для осуществления банковских операций; подтверждают их законность и являются основанием для отражения операций в бухгалтерском учете...

  Словарь юридических терминов

• - отражают доходы бюджета и ассигнования из него. Подразделяются на плановые, оперативные и отчетные...

  Словарь юридических терминов

• - документы, выдаваемые предприятием с целью сбора статистических и других данных о производстве товаров на экспорт.См. также: Документы по обеспечению производства экспортного товара  ...

  Финансовый словарь

• - расчета, принятия решения - способы действий, основанные на строгом соблюдении заранее заданных правил, алгоритмов, расчеты по формулам, математическим зависимостям...

  Экономический словарь

• - документы, которые содержат необходимую и достоверную информацию для осуществления банковских операций, подтверждают их законность и являются основанием для отражения операций в бухгалтерском учете Б.д....

  Энциклопедический словарь экономики и права

• - см. Архив; Архивный фонд РФ; Использование архивных документов...

  Большой юридический словарь

• - документы, относящиеся к организации, подготовке и ведению боевых действий, а также к передвижению и расположению войск на месте. К Б. д. относятся: документы по управлению войсками...

  Большая Советская энциклопедия

• - являются результатом справочно-библиографической обработки зарубежных материалов. К ним относятся библиографические описания публикаций, аннотации, рефераты, обзоры и другие материалы...

  Толковый переводоведческий словарь

"Формализованные документы" в книгах

Документы

Из книги Трагедия на Неве. Шокирующая правда о блокаде Ленинграда. 1941-1944 автора Стахов Хассо Г.

Документы Полевые письма, которые в то время направлялись из зоны боевых действий на родину, относятся, если не принимать в расчет исключений шокирующего или сенсационного характера, скорее к исторически недостоверным документам. Они подходят, поскольку

Документы

Из книги История власовской армии автора Хоффманн Йоахим

Документы 1.Обращение Русского Комитета к бойцам и командирам Красной армии, ко всему Русскому народу и другим народам Советского СоюзаДрузья и братья!БОЛЬШЕВИЗМ - ВРАГ РУССКОГО НАРОДА. Неисчислимые бедствия принес он нашей Родине и, наконец, вовлек Русский народ в

Документы

Из книги Персидский фронт (1909) Незаслуженно забытые победы автора Шишов Алексей Васильевич

Документы Туркманчайский мирный договор между Россией и Персией (Ираном)1828 год февраля 10Во имя Бога Всемогущего.Его императорское величество всепресветлейший, державнейший великий государь император и самодержец всероссийский и е. в. падишах персидский, равно движимые

Документы

Из книги Мы из сорок первого… Воспоминания автора Левинский Дмитрий Константинович

Документы Справка Международной службы розыска Т/Д - 1 454 634 от 21 июля 1993 года (Арользен,

Документы

Из книги Генерал из трясины. Судьба и история Андрея Власова. Анатомия предательства автора Коняев Николай Михайлович

Документы Справка о положении 2-й Ударной армии Волховского фронта за период январь - июль 1942 года Командующий армией - генерал-майор ВЛАСОВ Член Военного Совета - дивизионный комиссар ЗУЕВ Начальник штаба армии - полковник ВИНОГРАДОВ Нач. Особого отдела армии -

Из чего должна состоять родословная книга: документы и материалы генеалогического поиска, поколенная роспись рода, родословное древо, реконструкция истории рода, архивные документы, фотографии мест проживания предков

Из книги Создай свою родословную. Как самому без больших затрат времени и средств найти своих предков и написать историю собственного рода автора Андреев Александр Радьевич

Из чего должна состоять родословная книга: документы и материалы генеалогического поиска, поколенная роспись рода, родословное древо, реконструкция истории рода, архивные документы, фотографии мест проживания предков В первую очередь исследователям обязательно нужно

автора Тиссен Рене

Технология и формализованные знания Корни многих компаний уходят в индустриальную экономику, в которой особое место занимало развитие машинной технологии. По мере того как мы переходим к экономике знаний, внимание все более переключается на развитие цифровой

Технология и формализованные знания

Из книги Невесомое богатство. Определите стоимость вашей компании в экономике нематериальных активов автора Тиссен Рене

Технология и формализованные знания Технология печатания. Она всегда была ключевым фактором успешной работы компании. И все же именно умение перестроиться с учетом новых задач (сначала печатая на дереве, потом – на пластмассе, а позже – на других материалах) и

Раздел 4 Документы – управленческие решения. документы планирования и отчетности

Из книги Делопроизводство. Подготовка служебных документов автора Демин Юрий

Раздел 4 Документы – управленческие решения. документы планирования и

Ж. Фальшивые документы и документы сомнительной подлинности

Из книги Миф о Холокосте автора Граф Юрген

Ж. Фальшивые документы и документы сомнительной подлинности Ванзейские протоколы.Десятилетиями утверждается, что на берлинской Ванзейской конференции 20 января 1942 г. было принято решение уничтожить евреев. При чтении ее протоколов обнаруживается, что в них ни о каком

Советские и немецкие документы, документы УПА о деятельности Украинской Повстанческой Армии 1944–1952 годы

автора Андреев Александр Радьевич

Советские и немецкие документы, документы УПА о деятельности Украинской Повстанческой Армии 1944–1952

Советские документы, немецкие документы, документы УПА о деятельности Украинской Повстанческой Армии. 1942–1945 годы

Из книги Степан Бандера, лидер ОУН-УПА в документах и материалах автора Андреев Александр Радьевич

Советские документы, немецкие документы, документы УПА о деятельности Украинской Повстанческой Армии. 1942–1945

Советские документы, документы УПА о деятельности Украинской Повстанческой Армии. 1944–1952 годы

Из книги Степан Бандера, лидер ОУН-УПА в документах и материалах автора Андреев Александр Радьевич

Советские документы, документы УПА о деятельности Украинской Повстанческой Армии. 1944–1952 годы 1. Черновик Плана ликвидации вооруженных банд украинских националистов, действующих в Житомирской и Ровенской областях и северных районах Тарнопольской и Каменец-Подольской

Из книги Федеральный закон «О государственной регистрации юридических лиц и индивидуальных предпринимателей». Текст с изменениями и дополнениями на 2009 год автора Автор неизвестен

Статья 17. Документы, представляемые для государственной регистрации изменений, вносимых в учредительные документы юридического лица, и внесения изменений в сведения о юридическом лице, содержащиеся в едином государственном реестре юридических лиц 1. Для

Из книги Новый Закон «Об образовании в Российской Федерации». Текст с изменениями и дополнениями на 2013 г. автора Автор неизвестен

Статья 60. Документы об образовании и (или) о квалификации. Документы об обучении 1. В Российской Федерации выдаются:1) документы об образовании и (или) о квалификации, к которым относятся документы об образовании, документы об образовании и о квалификации, документы о

В отличие от бумажных документов, электронные могут обрабатываться более эффективно (тиражироваться, рассылаться, храниться и т.п.). В настоящее время активно развиваются технологии перевода бумажных документов в электронную форму с целью реализации электронного документооборота . Остановимся подробнее на применяемых технологиях и используемой терминологии.

На первом этапе перевода документа в электронную форму производится его сканирование и создается электронная копия документа в виде изображения. Изображение, полученное в результате сканирования, также называют образом документа. Сканирование является начальным этапом любой системы автоматизированного ввода документов.

В процессе сканирования может выполняться программная обработка изображения, а также производится визуальный контроль качества (рис. 3.6).

Рис. 3.6.

Если речь идет о промышленном вводе документов, то сканеры обычно предоставляют ряд дополнительных функций, например возможность подачи разноформатных документов.

Обычно процесс сканирования - это промежуточная стадия получения электронного документа. Очевидно, что с электронным изображением документа гораздо удобнее работать, чем с бумажным (его можно копировать, отправлять по сети и т.д.).

Однако в большинстве случаев само по себе изображение (образ документа) дает мало преимуществ. Для того чтобы можно было редактировать документ, осуществлять поиск по нему или использовать его фрагменты при подготовке новых документов и т.д., необходимо перевести полученный образ в текстовый документ, понятный офисным программам. Поэтому следующая задача заключается в распознавании отсканированных документов.

Для этого необходим специальный инструмент, способный перевести изображение в текстовый редактируемый электронный документ. Такие инструменты существуют, их общее название - программы оптического распознавания символов (optical character recognition, OCR). C помощью OCR-программы компьютер сможет "прочесть" на отсканированной странице текст, отделив его от иллюстраций и прочих элементов оформления, найти таблицы и "разобраться" в их содержимом. А затем скомпоновать все это заново, воссоздав внешний вид страницы.

С точки зрения перевода документов в электронный вид (ввода документов в компьютер) их условно делят на формализованные, неформализованные и специальные (рис. 3.7).

Рис. 3.7.

Формализованные документы - это документы, в которых заранее определена форма: расположение обязательных полей, в которые заносятся данные. Например, бланки, накладные, анкеты, картотеки и т.д. Неформализованные документы - это документы произвольной формы: договоры, письма и т.д. К специализированным относятся такие документы как, например, карты и отпечатки пальцев.

Перевод каждого из перечисленных видов документов имеет свою специфику. Если вводятся фотографии, то достаточно электронного изображения, если документ содержит текст, его необходимо распознать, если это форматированный текст с рисунками, то нужно не только распознать текст, но и восстановить формат документа, а если это анкета, то, скорее всего, сам документ вообще не нужен, важна только содержащаяся в нем информация. Например, при обработке листов для голосования обычно не требуется изображения самого документа, достаточно информации о том, за кого отдан голос.

Ввод формализованных документов

Чтобы пояснить, какие задачи возникают при вводе формализованных документов, рассмотрим конкретный пример.

Предположим, в офисе отеля проводится анкетирование проживающих для оценки уровня обслуживания на разных этажах. Каждому жителю отеля в его номере оставляется анкета, которую он должен заполнить (рис. 3.8).

Рис. 3.8.

Если за месяц накапливается несколько тысяч таких анкет, то их обработка представляет собой непростую задачу. Очевидно, что получение образов (электронных изображений) этих анкет хоть и облегчает задачу их хранения, однако не позволяет использовать компьютер для обработки информации.

Чаще всего задача ввода форм (в данном случае анкеты) состоит в превращении образа документа в строчку базы данных, содержащую соответствующую информацию. Когда все анкеты будут введены в базу данных, можно будет их обработать и, например, выяснить, на каком этаже обслуживание ведется лучше.

При заполнении анкеты требуется ответить на вопросы и внести информацию в определенные служебные поля, а задача программы при вводе форм - определять эти специальные поля, распознавать информацию в них и ввести ее в базу данных. При этом особенностью ввода форм в компьютер является необходимость распознавания текстов, заполненных от руки.

Обычно в том случае, если форма должна распознаваться компьютером, заполняющего просят ввести текст раздельными буквами, и такой текст называют рукопечатным. Технологии распознавания рукопечатных символов обозначаются термином ICR (Intelligent Character Recognition). Распознавание рукопечатных символов представляет собой более сложную задачу по сравнению с распознаванием печатных, поскольку требуется распознать символ, вписанный в форму от руки с учетом возможных его отклонений, обусловленных индивидуальными особенностями почерка.

Рис. 3.9.

Задачи распознавания при вводе форм не обязательно связаны с распознаванием текста. При вводе форм может потребоваться распознавание различных меток и знаков, для которого тоже существует свой термин: OMR (Optical Mark Recognition). Например, в бюллетенях для голосования голосующего просят поставить крестик (или другой знак) напротив фамилии кандидата, и задача компьютера - распознать, есть в определенном поле какой-нибудь знак или нет.