Список сокращений
Введение
1 Теоретические аспекты технологии обработки данных
1.1 Сущность процесса обработки данных
1.2 Инструменты используемые для обработки даных
1.3 Описание среды разработки SQL Server Management Studio
1.4 Технология обработки данных
2 Технологии загрузки данных в ПАО Сбербанк
2.1 Основная информация о ПАО Сбербанк
2.2 Описание инструмента хранимых процедур в SQL
2.2.1 Понятие хранимых процедур в sql
2.2.2 Классификация хранимых процедур в sql
2.3 Технология загрузки данных в ПАО Сбербанк
3 Реализация модуля загрузки данных с помощью хранимых процедур в отделе инфосервисов по операционным расходам
3.1 Обоснование разработки модуля оптимизирующего процесс загрузки
3.2 Описание задачи и подготовка структуры процесса
3.3 Практическая реализация модуля загрузки данных
3.3.1 Процедура «Detect»
3.3.2 Процедура «Copy»
3.3.3 Процедура «Load»
3.3.4 Процедура «Import»
3.4 Экономический эффект
Заключение
Список литературы
На сегодняшний день современная организация вынуждена обрабатывать огромное количество информации. Внутренняя отчетность, связанная с бухгалтерией и данными о происходящем внутри компании, а так же данные связанные с внешними интересами компании, такие как информация о клиентах и поставщиках, как реальных, так и потенциальных. Все это помогает сформировать наиболее полную картину и сформировать план действий с учетом рисков и возможностей. Поэтому ля принятия важных управленческих решений организации следуют политике максимизации осведомленности о внешних и внутренних факторах влияющих на развитие и работу предприятия.
Ранее следствием такой политики были огромные хранилища бумажных носителей информации, но в связи с ускорением процессов обесценивания информации бумажные носители ныне не являются решением, удовлетворяющим требования рынка. Огромная масса информации постоянно курсирует между отделами, субъектами предприятия и между самими предприятиями. И спрос на обработку, и хранение этой информации в наше время удовлетворяют электронные системы хранения и обработки информации.
Современные информационные системы, позволяющие создавать, хранить, перерабатывать и обеспечивать эффективные способы представления информационных ресурсов потребителю, стали важным фактором жизни общества и средством повышения эффективности управления всеми сферами общественной деятельности.
Одной из составляющих такой системы является база данных.
База данных это набор данных, который храниться в упорядоченном виде, позволяющем компьютеру обратиться к этим данным. Это каркас, используя который система управления базами данных (СУБД) может оперировать данными. Такая система это программа, которая управляет данными, осуществляет хранение, выборку, поиск, изменение информации, хранимой в базе данных. СУБД подразделяются на иерархические, сетевые и реляционные в зависимости от данных которые они обрабатывают. В связи с тем что реляционная модель относительно простая и в тоже время достаточна мощная , она подходит для решения большинства задач стоящих перед системой управления базой данных. А раз наиболее распространены реляционные базы данных, следовательно, и системы управления этими данными.
Реляционные СУБД это системы управления базами данных построенных в виде набора данных с предопределенными связями между ними. Эти данные организованны в виде набора таблиц, состоящих из столбцов и строк. В таблицах хранится информация об объектах, представленных в базе данных.
Современные системы управления базами данных позволяют небольшому отделу специалистов выполнить работу, для которой ранее использовалось целое подразделение. Такие системы в своем чистом виде становятся все сложнее и совершеннее, но, к сожалению даже это не позволяет полностью отказаться от рутинной работы, в пользу более серьезных проектов. Программист вынужден тратить рабочее время на выполнение однообразных задач возникающих с определенной периодичностью, что не позволяет ему сконцентрироваться на задачах связанных с непосредственной деятельностью отдела. Для компании это означает постоянную трату своих ресурсов.
Однако гибкость данных инструментов позволяет специалистам настроить и дополнить функционал программы под конкретные нужды и тем самым автоматизировать некоторые процессы. Так как организации требуется максимальная эффективность труда, на сегодняшний день автоматизация процессов своей работы это одна из важных составляющих работы специалиста.
Исходя из всего написанного выше, резюмируем, что любая организация будет стремиться к максимизации прибылей и минимизации затрат. Одним из инструментов как максимизации прибылей так и минимизации затрат является оптимизация трудового процесса. Естественно, невозможно реализовать универсальный инструмент оптимизации, стоит сконцентрироваться на каждом процессе в частности.
Итак, цель данной работы: разработка модуля оптимизирующего процесс загрузки данных для отдела инфосервисов по операционным расходам.
Для достижения цели были поставлены следующие задачи:
- изучить теоретические аспекты технологии обработки данных;
- оценить необходимость разработки оптимизирующего процесс модуля;
- подготовить структуру модуля загрузки данных;
- разработать модуль загрузки данных, и тем самым оптимизировать процесс;
Предметом ВКР является исследование, направленное на разработку модуля автоматизации загрузки данных для ПАО «Сбербанк».
Объектом исследования являются системы управления базами данных, а именно: Microsoft sql server management studio.
Теоретическая значимость работы заключается в обосновании темы. Изложенный материал уточняет и развивает сложившиеся ранее научные представления об исследуемом объекте.
1 Теоретические аспекты технологии обработки данных
1.1 Сущность процесса обработки данных
Технологией процесса обработки данных называют комплекс связанных и выполняющихся с определенной последовательностью операций по преобразованию информации в процессе решения функциональных задач на ЭВМ, с момента возникновения информации и до получения на ее основе исходных данных. Сама технология зависит от характера поставленной задачи, и инструментария для выполнения этой задачи.
Информационная технология направлена на обработку и/или переработку «сырья» (в качестве которого выступают данные, информация, знания) путем использования соответствующих «машин», «механизмов» и «организационно-технологических приемов» (в качестве которых выступают аппаратные, программные и организационно-методические средства). Отсюда следует, что понятие информационной технологии подразумевает решение экономических и управленческих задач, связанное с выполнением ряда операций по сбору необходимой для решения этих задач информации, переработки ее по некоторым алгоритмам и выдачи результата лицу, принимающему решение, в удобной для него форме.
Следует отметить, что информационные технологии, в отличие от производственных, обладают рядом функций, таких как: сбор и регистрация, хранение и поиск, накопление и генерация, анализ, передача и распространение данных, информации и знаний.
Сбор данных эта операция представляет собой процесс регистрации, фиксации, записи детальной информации (данных, знаний) о событиях, объектах (реальных и абстрактных). А также связях, признаках и соответствующих действиях. При этом иногда выделяют в отдельные операции «сбор данных и информации» и «сбор знаний».
- сбор данных и информации — это процесс идентификации и получения данных от различных источников, группирования полученных данных и представления их в форме, необходимой для ввода в ЭВМ;
- сбор знаний — это получение информации о предметной области от специалистов-экспертов и представление ее в форме, необходимой для записи в базу пользователя;
Обработка данных, информации, знаний. Обработка — понятие достаточно широкое и очень часто включает в себя несколько взаимосвязанных более мелких операций. К обработке могут относить такие операции, как проведение расчетов, выборка, поиск. А также объединение, слияние, сортировка, фильтрация и т.д.
Важно помнить, что обработка представляет собой систематическое выполнение операций над данными, процесс преобразования, вычисления, анализа и синтеза любых форм данных, информации и знаний посредством систематического выполнения операций над ними.
Генерация данных, информации, знаний. Данная операция технологического процесса представляет собой процесс организации, реорганизации и преобразования данных (информации, знаний) в требуемую пользователем форму, в том числе и путем ее обработки. Например: процесс получения форматированных отчетов (документов)
Хранение данных это операция, которая представляет собой процессы накопления, размещения, выработки и копирования данных (информации, знаний) для дальнейшего их использования (обработки и/или передачи).
Передача данных, информации, знаний. Указанная операция — это процесс распространения данных (информации, знаний) среди пользователей с применением посредством средств и систем коммуникаций путем перемещения (пересылки) данных от источника (отправителя) к приемнику (получателю) [1].
1.2 Инструменты используемые для обработки даных
На сегодняшний день существует множество различных инструментов работы с базами данных. Такими инструментами являются системы управления базами данных, т.е. СУБД. Классификация таких систем достаточно обширна, но первым делом нужно сказать о классификации таких инструментов по модели баз данных которые они используют. Итак, по модели баз данных СУБД можно разделить на: иерархические, сетевые, реляционные, объектно-ориентированные и объектно-реляционные.
Иерархическая модель подразумевает под собой древовидность, т.е. у каждого подчиненного узла существует только одна связь с вышестоящим узлом. Соответственно самый верхний узел не имеет вышестоящих связей.
А так же отсутствуют связи между соседними узлами.
Сетевая модель данных основана на иерархической модели, но привносит связи между узлами, которых не было в иерархической. Это означает, что каждый узел может быть связан с другим узлом.
Реляционная модель данных представляет организацию данных в двумерных таблицах, таблицы являются двумерными массивами с однородными столбцами, столбцы имеют уникальные имена, строки в таблицы тоже должны быть уникальными [2].
Объектно-ориентированные базы данных используются для высокопроизводительной обработки данных. Это такие базы данных, в которых информация представлена в виде объектов, как и в объектно-ориентированных языках программирования.
Соответственно Объектно-реляционная база данных это реляционная база данных поддерживающая некоторые технологии объектно-ориентированных баз данных.
Так же существует деление СУБД по характеру использования. В таком случае используются такие наименования как: персональные и многопользовательские СУБД.
Системы управления базами данных делят так же на локальные и распределенные, это деление зависит от размещения самой СУБД, либо СУБД размещена локально, либо она является распределенной.
Далее приводится список некоторых СУБД:
- Microsoft Access;
- Paradox;
- dBase;
- FoxPro;
- Visual FoxPro;
- Oracle;
- Firebird;
- Interbase;
- IBM DB2;
- Informix;
- MS SQL Server;
- Sybase;
- Adaptive Server Enterprise;
- PostgreSQL;
- MySQL;
- Caché;
- ЛИНТЕР;
- OpenEdge;
- SQLite;
- Microsoft SQL Server;
Все эти продукты имеют свои преимущества и недостатки ивыбираются пользователем в зависимости от задач, которые будут решаться с помощью этих средств.
В связи с тем, что выбор инструментария ограничен инструментами, используемыми в компании «Сбербанк». А именно Microsoft SQL Server. Стоит остановиться на нём конкретнее.
MS SQL Server – это платформа для решения критически важных задач в масштабе предприятия, обладающая высокой доступностью, повышенной производительностью и безопасностью. Решение представляет собой хорошо масштабируемый, полностью реляционный, быстродействующий сервер, способный обрабатывать большие объемы данных для клиент-серверных приложений [3].
Рекордная производительность MS SQL Server обеспечивается новыми технологиями работы с памятью, что помогает предприятиям ускорить свой бизнес и реализовать новые сценарии работы. Кроме того, SQL Server позволяет использовать новые гибридные облачные решения и пользоваться новыми преимуществами облачных вычислений.
Расширенные функции безопасности, в сочетании со встроенными, удобными для использования инструментами и управляемым доступом к данным, позволяют организации выполнить требования строгих политик соответствия нормам.
Графическим интерфейсом MS SQL Server является SQL Server Management Studio— это среда для управления любой инфраструктурой SQL: от SQL Server до Базы данных SQL. SSMS предоставляет средства для настройки, наблюдения и администрирования экземпляров SQL. С помощью SSMS можно развертывать, и обновлять компоненты уровня данных, используемые вашими приложениями, а также создавать запросы и скрипты.
