Загрузка данных из текстовых файлов, выбирая SQL запросом данные из этих файлов

2676

Время чтения: 15 мин.

Нет времени читать? Отправить на почту

Часто бывает потребность загружать данные из текстовых форматов, причем информация для загрузки бьется на 2 и более файлов.
Хорошо бы посредством SQL запроса выбирать данные из этих файлов и производить загрузку! Это вполне возможно и я считаю этот способ наиболее грамотный для решения таких задач!

Рассмотрим вариант как это сделать! Имеем 2 файла:
- Head_XXXXX.txt
- Rows_XXXXX.txt
Где XXXXX – порядковой номер пары файлов

Структура строки в Head_XXXXX.txt

Код

Колонка1 20 символов – Номер заказа
Колонка2 5 символов – Код контрагента
Колонка3 10 символов – Дата заказа
Колонка4 10 символов – Дата доставки
Колонка5 10 символов – Дата сбора
Колонка6 4 символов – Количество строк в ТЧ

Структура строки в Rows_XXXXX.txt

Код

Колонка1 20 символов – Номер заказа
Колонка2 7 символов – Артикул номенклатуры
Колонка3 9 символов – Количество в базовых ед. изм.

В каждой паре файлов несколько Заказов. Необходимо загрузить эти заказы в БД 1С
Для этого воспользуемся Microsoft.Jet.OLEDB.4.0

Для того чтоб данный драйвер корректно понимал структуру файлов необходимо в каталоге расположения данных файлов, перед выполнением запросов, создать специальный текстовый файл schema.ini cо следующими строками:

Код

[ Head_XXXXX]
ColNameHeader=False
Format=FixedLength
Col1=NumberNote Text Width 20
Col2=StoreNum Text Width 5
Col3=DataNote DateTime Width 10
Col4=DataDev DateTime Width 10
Col5=DataDes DateTime Width 10
Col6=CountLine Long Width 4

[Rows_XXXXX]
ColNameHeader=False
Format=FixedLength
Col1=NumberNote Text Width 20
Col2=Articul Text Width 7
Col3=Counts Double Width 9

Как видим, здесь мы задаем структуру таблицы из файла.
Остается только выполнить запрос к полученной текстовой БД и обработать результат:

Ниже приведен пример кода для платформы 1С 8:

Код 1C v 8.х

 // Загружает данные из текстовых данных 
      

     // 
      

     // Параметры 
      

     // Стр_КаталогДанных - <Строка> 
      

     // 
      

     // Автор: Gmix 04.05.2006 12:22:09 
      

     // 
      

     // Возвращаемое значение: 
      

     // <Булево> 
      

     // 
      

     Функция ЗагрузитьДанныеИзtxt(Стр_КаталогДанных) 
      

     // проверки заполнения 
      

      

     ОБ_ФайлДанных=Новый Файл(Стр_КаталогДанных); 
      

     Если НЕ ОБ_ФайлДанных.ЭтоКаталог() Тогда 
      

     Сообщить("Необходимо указать каталог данных!",СтатусСообщения.ОченьВажное); 
      

     Возврат Ложь; 
      

     КонецЕсли; 
      

      

     Если НЕ ОБ_ФайлДанных.Существует() Тогда 
      

     Сообщить("Каталог """+Стр_КаталогДанных+""" не существует!",СтатусСообщения.ОченьВажное); 
      

     Возврат Ложь; 
      

     КонецЕсли; 
      

      

     ОБ_АДОКонект = Новый COMОбъект("ADODB.Connection"); 
      

     ОБ_АДОРекордсетШапка = Новый COMОбъект("ADODB.Recordset"); 
      

     ОБ_АДОРекордсетСтроки = Новый COMОбъект("ADODB.Recordset"); 
      

      

     //Определяем пару файлов 
      

     Стр_ОкончаниеФайла=""; 
      

     ФайлыШапок = НайтиФайлы(Стр_КаталогДанных, "Head_*.txt"); 
      

     Для каждого ФайлШапки Из ФайлыШапок Цикл 
      

     Стр_ОкончаниеФайла=Сред(ФайлШапки.ИмяБезРасширения,6); 
      

     Стр_таблицаШапки=ФайлШапки.Имя; 
      

      

     Стр_ТаблицаСтрок="Rows_"+Стр_ОкончаниеФайла+".txt"; 
      

     Стр_ИмяФайлСтрок=ДобавлениеСлеша(Стр_КаталогДанных)+Стр_ТаблицаСтрок; 
      

     ФайлСтрок=Новый Файл(Стр_ИмяФайлСтрок); 
      

     Если НЕ ФайлСтрок.Существует() Тогда 
      

     Сообщить("Не найден файл строк для файла шапки """+Стр_таблицаШапки+"""! Пара файлов не обработана",СтатусСообщения.Важное); 
      

     Продолжить; 
      

     КонецЕсли; 
      

      

     //Создаем схему данных 
      

     ФайлСхемыДанных=Новый Файл(ДобавлениеСлеша(Стр_КаталогДанных)+"schema.ini"); 
      

     Если ФайлСхемыДанных.Существует() Тогда 
      

     Попытка 
      

     УдалитьФайлы(ФайлСхемыДанных.Путь,ФайлСхемыДанных.Имя); 
      

     Исключение 
      

     Сообщить("Не возможно удалить файл """+ФайлСхемыДанных.ПолноеИмя+""" для создания новой схемы данных! Проверте атрибуты файла",СтатусСообщения.Важное); 
      

     Возврат Ложь; 
      

     КонецПопытки; 
      

     КонецЕсли; 
      

      

     Стр_СхемаДанныхТхт="["+Стр_таблицаШапки+"] 
      

     |ColNameHeader=False 
      

     |Format=FixedLength 
      

     |Col1=NumberNote Text Width 20 
      

     |Col2=StoreNum Text Width 5 
      

     |Col3=DataNote DateTime Width 10 
      

     |Col4=DataDev DateTime Width 10 
      

     |Col5=DataDes DateTime Width 10 
      

     |Col6=CountLine Long Width 4 
      

      

     |["+Стр_ТаблицаСтрок+"] 
      

     |ColNameHeader=False 
      

     |Format=FixedLength 
      

     |Col1=NumberNote Text Width 20 
      

     |Col2=Articul Text Width 7 
      

     |Col3=Counts Double Width 9"; 
      

      

     ТекстСхемы=Новый ЗаписьТекста(ФайлСхемыДанных.ПолноеИмя, КодировкаТекста.ANSI); 
      

     ТекстСхемы.Записать(Стр_СхемаДанныхТхт); 
      

     ТекстСхемы.Закрыть(); 
      

      

     // Создаем коннект 
      

     Попытка 
      

     ОБ_АДОКонект.Open("Provider=Microsoft.Jet.OLEDB.4.0;Data Source="+Стр_КаталогДанных+";Extended Properties='text;FMT=Delimited;HDR=NO'"); 
      

     Исключение 
      

     Сообщить("Невозможно открыть соединение!"+ОписаниеОшибки(),СтатусСообщения.Важное); 
      

     Возврат Ложь; 
      

     КонецПопытки; 
      

      

     Стр_SQL = "S_elect * FR OM "+Стр_таблицаШапки; 
      

      

     Попытка 
      

     ОБ_АДОРекордсетШапка=ОБ_АДОКонект.Execute(Стр_SQL); 
      

     Исключение 
      

     Сообщить("Ошибка выполнения запроса """+Стр_SQL+"""!"+ОписаниеОшибки(),СтатусСообщения.Важное); 
      

     Возврат Ложь; 
      

     КонецПопытки; 
      

      

     Пока НЕ ОБ_АДОРекордсетШапка.EOF Цикл 
      

      

     // Заказ 
      

     Стр_НомерЗаказа = ОБ_АДОРекордсетШапка.Fields("NumberNote").Value; 
      

     Стр_КодКА= ОБ_АДОРекордсетШапка.Fields("StoreNum").Value; 
      

      

     Д_ДатаЗаказа= ОБ_АДОРекордсетШапка.Fields("DataNote").Value; 
      

     Д_ДатаДоставки= ОБ_АДОРекордсетШапка.Fields("DataDev").Value; 
      

     Д_ДатаСбора= ОБ_АДОРекордсетШапка.Fields("DataDes").Value; 
      

     Ч_КоличествоСтрок = ОБ_АДОРекордсетШапка.Fields("CountLine").Value; 
      

      

     Сообщить("Заказ № "+Стр_НомерЗаказа+" от " +Д_ДатаЗаказа+ " Код контрагента: "+Стр_КодКА+" Дата доставки: "+Д_ДатаДоставки); 
      

      

     // Обработка строк заказа 
      

     Стр_SQL = "S_elect * FROM "+Стр_ТаблицаСтрок+" WH ERE NumberNote='"+Стр_НомерЗаказа+"'"; 
      

      

     Попытка 
      

     ОБ_АДОРекордсетСтроки=ОБ_АДОКонект.Execute(Стр_SQL); 
      

     Исключение 
      

     Сообщить("Ошибка выполнения запроса """+Стр_SQL+"""!"+ОписаниеОшибки(),СтатусСообщения.Важное); 
      

     Возврат Ложь; 
      

     КонецПопытки; 
      

      

     Сч=0; 
      

     Сообщить(" № Артикул Количество"); 
      

     Пока НЕ ОБ_АДОРекордсетСтроки.EOF Цикл 
      

     //Заполняем таб часть документа 
      

     Сч=Сч+1; 
      

     Стр_Артикул=СокрЛП(ОБ_АДОРекордсетСтроки.Fields("Articul").Value); 
      

     Ч_Количество=ОБ_АДОРекордсетСтроки.Fields("Counts").Value; 
      

     Сообщить(""+Сч+" " +Стр_Артикул+ " "+Ч_Количество); 
      

     ОБ_АДОРекордсетСтроки.MoveNext(); 
      

     КонецЦикла; 
      

      

     ОБ_АДОРекордсетШапка.MoveNext(); 
      

     КонецЦикла; 
      

     КонецЦикла; 
      

     Возврат Истина; 
      

     КонецФункции // ЗагрузитьДанныеИзtxt() Gmix 04.05.2006 12:22:21

Автор: Журавлев Михаил Викторович

Заказать звонок

Сэкономьте время! Оставьте заявку на консультацию специалиста 1С.

Ваше имя

Телефон *

Подтвердите, что вы не робот *

Нажимая на кнопку , Вы даете согласие на обработку своих персональных данных и соглашаетесь с политикой конфиденциальности

Вконтакте

Содержание статьи

Рассылка нашего блога

Электронная почта *

Политика конфиденциальности персональных данных.

Настоящая Политика конфиденциальности персональных данных (далее – Политика) действует в отношении всей информации, которую данный сайт, может получить о Пользователе во время использования (а также его субдоменов), его программ и его продуктов.
1. Определение терминов.
В настоящей Политике используются следующие термины:
– персональные данные – любая информация, относящаяся к прямо или косвенно определенному юридическому или физическому лицу (субъекту персональных данных);
– оператор персональных данных – Администрация сайта (далее – Администрация) – сотрудники, уполномоченные на управление, которые организуют и (или) осуществляют обработку персональных данных, а также определяет цели обработки персональных данных, состав персональных данных, подлежащих обработке, действия (операции), совершаемые с персональными данными;
– обработка персональных данных – любое действие (операция) или совокупность действий (операций), совершаемых с использованием средств автоматизации или без использования таких средств с персональными данными, включая сбор, запись, систематизацию, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передачу (распространение, предоставление, доступ), обезличивание, блокирование, удаление, уничтожение персональных данных;
– конфиденциальность персональных данных – обязательное для соблюдения оператором или иным получившим доступ к персональным данным лицом требование не допускать их распространения без согласия субъекта персональных данных или наличия иного законного основания.;
– сайт — это совокупность связанных между собой веб-страниц, размещенных в сети Интернет по уникальному адресу (URL), а также его субдоменах;
– субдомены – это страницы или совокупность страниц, расположенные на доменах третьего уровня, принадлежащие сайту, а также другие временные страницы, внизу который указана контактная информация Администрации;
– пользователь сайта (далее Пользователь) – лицо, имеющее доступ к сайту, посредством сети Интернет и использующее информацию, материалы и продукты сайта.
2. Общие положения.
2.1 Назначение политики конфиденциальности.
2.1.1. Настоящая Политика конфиденциальности устанавливает обязательства Администрации по неразглашению и обеспечению режима защиты конфиденциальности персональных данных, которые Пользователь предоставляет .
2.2. Права и обязанности сторон.
2.2.1. Пользователь вправе:
2.2.1.1. Принимать свободное решение о предоставлении своих персональных данных, необходимых для использования сайта, и давать согласие на их обработку.
2.2.1.2. Обновить, дополнить предоставленную информацию о персональных данных в случае изменения данной информации.
2.2.1.3. Пользователь имеет право на получение у Администрации информации, касающейся обработки его персональных данных, если такое право не ограничено в соответствии с федеральными законами. Пользователь вправе требовать от Администрации уточнения его персональных данных, их блокирования или уничтожения в случае, если персональные данные являются неполными, устаревшими, неточными, незаконно полученными или не являются необходимыми для заявленной цели обработки, а также принимать предусмотренные законом меры по защите своих прав.
2.2.2. Администрация обязана:
2.2.2.1. Использовать полученную информацию исключительно для целей, указанных в п. 3 настоящей Политики конфиденциальности.
2.2.2.2. Принять меры для хранения конфиденциальной информации в тайне,
не разглашать без предварительного письменного разрешения Пользователя, а также
не осуществлять продажу, обмен, опубликование, либо разглашение иными
возможными способами переданных персональных данных Пользователя,
за исключением п. 6.3. настоящей Политики Конфиденциальности.
2.2.2.3. Принимать меры предосторожности для защиты конфиденциальности персональных данных Пользователя согласно порядку, обычно используемого для защиты такого рода информации в существующем деловом обороте.
2.2.2.4. Осуществить блокирование персональных данных, относящихся к соответствующему Пользователю, с момента обращения или запроса Пользователя, или его законного представителя либо уполномоченного органа по защите прав субъектов персональных данных на период проверки, в случае выявления недостоверных персональных данных или неправомерных действий.
2.3. Использование сайта Пользователем означает согласие с настоящей Политикой конфиденциальности и условиями обработки персональных данных Пользователя.
2.4. В случае несогласия с условиями Политики конфиденциальности Пользователь должен прекратить использование сайта.
2.5. Настоящая Политика конфиденциальности применяется к сайту.
2.6. Администрация не проверяет достоверность персональных данных, предоставляемых Пользователем.
3. Цели сбора персональных данных.
3.1. Персональные данные Пользователя Администрация может использовать только в связи с заключением договора, стороной которого является субъект персональных данных. Персональные данные не распространяются, а также не предоставляются третьим лицам без согласия субъекта персональных данных и используются оператором исключительно для исполнения указанного договора и заключения договоров с субъектом персональных данных.
4. Правовые основания обработки персональных данных.
Правовым основанием обработки персональных данных является:
– федеральные законы и принятые на их основе нормативные правовые акты, регулирующие отношения, связанные с деятельностью оператора;
– уставные документы оператора;
– договоры, заключаемые между оператором и субъектом персональных данных;
– согласие субъекта на обработку персональных данных;
5. Объем и категории обрабатываемых персональных данных, категории субъектов персональных данных.
5.1. Персональные данные, разрешённые к обработке в рамках настоящей Политики конфиденциальности, предоставляются Пользователем путём заполнения форм на сайте и включают в себя следующую информацию:
5.1.1. имя Пользователя;
5.1.2. контактный телефон Пользователя;
5.1.3. адрес электронной почты (e-mail).
5.2. К категориям субъектов персональных данных относятся работники оператора.
Порядок и условия обработки персональных данных.
6.1. Обработка персональных данных Пользователя осуществляется без ограничения срока, любым законным способом, в том числе в информационных системах персональных данных с использованием средств автоматизации или без использования таких средств.
6.3. Персональные данные Пользователя могут быть переданы уполномоченным органам государственной власти Российской Федерации только по основаниям и в порядке, установленным законодательством Российской Федерации.
6.4. Администрация принимает необходимые организационные и технические меры для защиты персональной информации Пользователя от неправомерного или случайного доступа, уничтожения, изменения, блокирования, копирования, распространения, а также от иных неправомерных действий третьих лиц.
6.5. Администрация совместно с Пользователем принимает все необходимые меры по предотвращению убытков или иных отрицательных последствий, вызванных утратой или разглашением персональных данных Пользователя.
7. Разрешение споров.
7.1. До обращения в суд с иском по спорам, возникающим из отношений между Пользователем и Администрацией, обязательным является предъявление претензии (письменного предложения или предложения в электронном виде о добровольном урегулировании спора).
7.2. Получатель претензии в течение 30 календарных дней со дня получения претензии, письменно или в электронном виде уведомляет заявителя претензии о результатах рассмотрения претензии.
7.3. При не достижении соглашения спор будет передан на рассмотрение Арбитражного суда.
7.4. К настоящей Политике конфиденциальности и отношениям между Пользователем и Администрацией применяется действующее законодательство Российской Федерации.
8. Дополнительные условия.
8.1. Администрация вправе вносить изменения в настоящую Политику конфиденциальности без согласия Пользователя.
8.2. Новая Политика конфиденциальности вступает в силу с момента ее размещения на сайте, если иное не предусмотрено новой редакцией Политики конфиденциальности.

Настройки

Назад к списку

Загрузка данных из текстовых файлов, выбирая SQL запросом данные из этих файлов

Заказать звонок

Рассылка нашего блога

Политика конфиденциальности персональных данных.

Поможем подобрать нужные приложения