О проблеме учета некачественных наблюдений

Одна из задач, которая решается при обработке данных, полученных из наблюдений - априорная оценка их качества, другими словами - определение достоверности исходной информации. Без проведения этого исследования, конечные результаты и параметры, характеризующие точность их получения, могут быть искажены. Важную роль в оценке качества наблюдений играет предварительный "отсев" фиктивных ( или ложных ) данных, неизбежно возникающих как при использовании фотоэлектронной и другой аппаратуры, так и при снятии визуальных отсчетов. Естественно, что при малом количестве проведенных замеров, причем выполненных одним наблюдателем (или одним измерительным прибором), выявление ложного показания, задача не сложная. Иногда для этого достаточно просто "пробежаться глазами" по столбцу результатов измерений. (Именно по этому признаку будем различать малое количество наблюдений от большого). На худой конец можно воспользоваться и математическими методами фильтрации данных - например способ критерия значимости, часто применяемый в физике.

А теперь представим менее тривиальную ситуацию, когда приходится обрабатывать коллективные наблюдения с разными степенями надежности. Итак, например: В течении ночи, группа из пяти человек производила независимые замеры блеска короткопериодической переменной звезды, у которой подозревается аномальное изменение периода. Каждый сделал в течении ночи порядка 20-ти замеров. Трое из них - новички и они сами не уверены в собственных измерениях. " То переменная выглядит ярче звезды сравнения, то через мгновение кажется уже слабее, в общем брал среднее ..." - сознается один из них. В результате имеем значения ста замеров, где брак может превышать половину! Стандартные математические фильтры, работающие на условии: брак << качество, бессильны при таких исходных данных. В этом случае можно воспользоваться так называемым способом разностей (или производных) о котором я узнал во время прохождения преддипломной практике в одном из НИИ. Этот метод применяют для отбраковки в реальном времени шумовых (фоновых) сигналов при лазерной локации ИСЗ.

Представим исходные данные в матричном виде:

Исходный массив: N ( T ; M ), где T - моменты времени проведения замера, M - блеск переменной полученный при замере.
Эфемеридный массив: F ( T ; MF ), где MF - эфемеридный ( расчетный) блеск переменной.

В большинстве случаев можно обойтись и без второго массива, просто тогда придется дробить N по очень коротким промежуткам времени, на которых изменение M можно считать линейным. Но иногда это просто невозможно. Вообще, в астрономии (равно как и в геодезии, физике, во всех дисциплинах, базирующихся на измерениях) принято оперировать при обработке не с абсолютными значениями исследуемых величин, а с разностями: теория - эксперимент, именно по этому принципу построены все точностные расчеты в этих науках. В результате получаем массив E с которым и будем работать впоследствии:

E ( T ; D ), где Di = MFi - Mi (i - порядковый номер замера).

Из этого массива, необходимо "отсеять" фиктивные Di, рассчитанные по соответственно бракованным Mi. Метод разностей заключается в следующем: истинные Di изменяются со временем плавно, по определенному закону, потому что так ведут себя величины в них входящие - Mi и MFi . Мнимые же Di напротив, изменяются хаотично и скачкообразно, именно на этом базируется их учет. Берем определенный интервал времени на сеансе наблюдений, при котором изменение истинных Di, можно считать, происходит по линейному закону. После этого составляется матрица производных, имеющая вид:

где i, j - порядковые номера замеров на интервале сеанса, n - число замеров на интервале;

Эта матрица является симметричной ( P ij = P ji ) с неопределенной главной диагональю, так как нельзя вычислить производную по одной точке функции. Учитывая свойство симметричности, матрица приводится к треугольной, то есть рассматриваемых элементов становиться меньше в два раза. После этого производится сравнительный анализ с заданным заранее критерием "X", который будет определять границу интервала существования истинных значений.

ABS ( Pij - Pks) = < X

Критерий "X" определяется экспериментально из пробных наблюдений, или задается заранее (путем элементарного моделирования предстоящих наблюдений), или даже может варироваться во время обработки..

Производные Pij, Pks, удовлетворяющие данному неравенству считаются истинными, то есть замеры Mi, Mj, Mk, и Ms - произведены качественно и подлежат дальнейшей обработке, По результатам исследований метода производных, проводимых мной на преддипломной практике, были сделаны выводы, которые показали, что реально выделять до 90 - 95% истинных данных из общего массива, причем величина критерия "Х" бралась буквально "на глазок".