Контроль качества данных и человеческий фактор как залог успеха корректной отчетности

quality-controlУже написано сотни статей про подготовку банковской отчетности в различных системах, как в рамках АБС, так и в хранилищах данных. Различные технологии загрузки, трансформации и обработки данных бухгалтерского учета, сложные системы хранения информации, новейшие средства визуализации отчетов — каждый год вендоры готовят что-то новенькое. Но даже при самых мощных и высокотехнологичных серверах и современных алгоритмах обработки и хранения невозможно получить качественную отчетность при низком качестве исходных данных. Читать далее

FLEXTERA BI. Бизнес-аналитика и отчетность в реальной жизни

FLEXTERA-BI-LOGOОписания современных средств бизнес-аналитики пестрят сложными терминами.

Мы встретились со специалистами компании «Диасофт», которые создали продукт FLEXTERA BI и составили простое и доступное описание этого BI-инструмента и его составляющих.

Читать далее

Data Activation RoadMap

Data-Activation-RoadMapСписок наших авторов растет. Предлагаем вашему вниманию статью Дениса Афанасьева, директора департамента «Решения BI и отчётность» компании «Диасофт». Денис приготовил эту статью для журнала Connect, но также решил поделиться и с нами. Далее о том,  что же такое BigData и как извлечь максимум пользы из накопленных данных, особенно в сфере кредитных организаций.

Читать далее

Как правильно работать с Greenplum. Часть третья — «distributed by»

distributed-byПродолжаем рассматривать Greenplum со всех сторон.

Основным механизмом работы с таблицами в Greenplum является их правильное создание — а именно, использование правильного условия distributed by. Правильное определение полей, по которым нужно «размывать» данные по узлам — гарантия высокопроизводительной работы системы. Читать далее

Как правильно работать с Greenplum. Часть вторая — gpfdist

gpfdistИтак, рассмотрев в прошлом обзоре заблуждения, перейдем к способам эффективной работы с Greenplum.
Основным инструментом для загрузки данных в Greenplum и выгрузке данных из Greenplum является утилита gpfdist. Это по сути http-сервер, с которым Greenplum разговаривает сразу всеми своими узлами, достигая большой скорости как загрузки, так и выгрузки данных.

Читать далее

Как правильно работать с Greenplum. Часть первая — о заблуждениях

Greenplum-how

В этой статье Михаил Герштейн делится своим опытом работы с аппаратно-программным комплексом Greenplum. Представляем вашему вниманию первую часть статьи. Читать далее

Аналитические функции

Аналитические функцииОракл и другие БД уже достаточно давно внедрили аналитические функции. Но очень часто приходится видеть, что об этих функциях либо не знают, либо не понимают, что они могут делать.

Напомню, что же это такое, и как их использовать. Читать далее

Слово об UPDATE

updateИзвестно, что бывает довольно сложно правильно написать сложный запрос, чтобы он работал хорошо и быстро. Но, оказывается, очень часто неправильно пишутся и достаточно простые вещи типа update каких-то полей одной таблицы — даже без каких-либо joins.

Вот характерный пример:
update tableA
set fieldA = case when fieldB = 'ONE' then 1 else 0 end
from tableA
where fieldA = 0

(это синтаксис MSSQL, в Oracle нет from)

Спрашивается — что здесь неправильно? Читать далее

В чем разница между MPP и традиционными СУБД?

Часто приходится выслушивать комментарии по поводу того, что «как это так, что СУБД на основе MPP (massive parallel processing) работают настолько быстрее обычных СУБД? У нас же тут самая суперсовременная СХД и супербыстрый сервер с огромным количеством памяти».

Объяснение всему этому очень простое. Читать далее