Ticket #9689 (assigned task)

Opened 8 months ago

Last modified 13 days ago

Ingestion of Y3A2 DEEP P1 (DEEP and DEEP VIDEO)

Reported by: ldacosta@… Owned by: rodrigo.botelho
Priority: high Milestone: no milestone
Component: Operation/DataManagement Severity: normal
Keywords: Cc: julia@…
Estimated Number of Hours: 0.0 Add Hours to Ticket: 0
Deviation?: yes Total Hours: 0

Description (last modified by riccardo.campisano) (diff)

Estamos falando de 2 catalogos: o deep preliminar e o deep preliminar+video

  • Informações para a tabela DEEP: (/archive/user/julia/Y3_deep/DES_Y3_DEEP.fits)
Full database schema.table name:        y3a2_coadd.y1a1_deep_20171101
Name of the Product:                    Y3P1 DEEP
Version of the Product:                 v0.1
Description of the Product:             The preliminary DES Y3A2 DEEP release
Documentation URL:                      https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name:                           Y3A2_COADD
Release display name:                   Y3A2
Dataset name:                           Y3A2_COADD_Y3P1_DEEP
Dataset display name:                   Deep Fields
Product Class:                          Coadd Objects
Release rate:                           2017-11-01
Creator:                                DES Science Team

  • Informações para a tabela DEEP+VIDEO: (/archive/user/julia/Y3_deep/matching_DES_Y3_DEEP_and_VIDEO.fits)
Full database schema.table name:        y3a2_coadd.y1a1_deep_video_20171101
Name of the Product:                    Y3P1 DEEP plus VIDEO
Version of the Product:                 v0.1
Description of the Product:             The preliminary DES Y3A2 DEEP VIDEO release
Documentation URL:                      https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name:                           Y3A2_COADD
Release display name:                   Y3A2
Dataset name:                           Y3A2_COADD_Y3P1_DEEP_VIDEO
Dataset display name:                   Deep Fields plus VIDEO
Product Class:                          Coadd Objects
Release rate:                           2017-11-01
Creator:                                DES Science Team

Change History

comment:1 Changed 8 months ago by julia

Oi Carlos,

Tem 2 datasets que queremos incluir no portal: "DEEP" e "DES+VIDEO". Ambos serão datasets dentro do release Y3 com a mesma classe dos coadd_objects (se não puder ter o caractere "+" no display name, usa "DES_VIDEO" por favor).

Já baixei as tabelas para o archive. No redmine, elas estão espalhadas em vários arquivos pequenos, separados por campo. Eu simplesmente concatenei tudo num arquivo só para cada, adicionando 2 colunas para não perder a informação do campo (1 para o nome do campo no DES e 1 para o nome do campo no VIDEO). OS nomes das novas colunas são: FIELD e DES_SN_FIELD.

Os arquivos para ingerir são:

/archive/user/julia/Y3_deep/DES_Y3_DEEP.fits, referente ao dataset DEEP

e

/archive/user/julia/Y3_deep/matching_DES_Y3_DEEP_and_VIDEO.fits referente ao dataset DES+VIDEO


Last edited 8 months ago by julia (previous) (diff)

comment:2 Changed 8 months ago by guilherme.soares

  • Owner changed from guilherme.soares to carlosadean
  • Status changed from new to assigned

comment:3 Changed 8 months ago by carlosadean

  • Component changed from other to Operation/DataManagement

comment:4 Changed 8 months ago by carlosadean

  • Owner changed from carlosadean to guilherme.soares
  • Priority changed from normal to high

comment:5 Changed 8 months ago by carlosadean

  • Cc julia@… added

comment:6 Changed 6 months ago by carlosadean

Julia,

Ambos serão datasets de Y3A2 ou Y3A1?

--
CA

comment:7 Changed 6 months ago by carlosadean

  • Owner changed from guilherme.soares to riccardo.campisano

Chamei a tabela de y3deep, se achar conveniente posso alterar.

Está ingerida em production como y3a2_coadd.y3deep.

OBS: Verifique por favor o pedido do ticket #8522 é sobre o mesmo catálogo.

--
Carlos

comment:8 Changed 6 months ago by riccardo.campisano

Julia, não encontrei um tickets anteriores, e para o registro preciso das informações a seguir.

NOTE: ESSE É O EXEMPLO DO MOF, ticket #8065

Neste caso, precisa de Release name e Dataset name:

Full database schema.table name:        y1a1_mof.mof_objects_wide
Name of the Product:                    Y1 MOF
Version of the Product:                 v1.1
Description of the Product:             https://cdcvs.fnal.gov/redmine/projects/des-sci-release/wiki/NGMIXMOF_docs
Release name:                           Y1A1_MOF (Display name = Y1A1 MOF)
Dataset name:                           WIDE_FIELDS (Display name = Wide Fields)
Product Class:                          mof_objects (Display name = MOF Objects)

comment:9 Changed 6 months ago by riccardo.campisano

Carlos, já criou a view estilo coadds?

comment:10 Changed 6 months ago by carlosadean

  • Cc riccardo.campisano@… added

Julia,

Poderia nos passar as informações para que seja criada a view, por favor?

--
CA

comment:11 Changed 6 months ago by julia@…

Oi Carlos,

eu não sei quais informações são necessárias para criar uma view. Honestamente eu não sei nem o que é uma view. Se quiser posso passar aí pra ver junto com vc.


De: "LIneA Ticket System" <ticket@…>
Enviadas: Segunda-feira, 8 de janeiro de 2018 11:16:09
Assunto: Re: [linea] #9689: download DEEP

#9689: download DEEP


Reporter: | Owner:

ldacosta@… | riccardo.campisano

Type: task | Status: assigned

Priority: high | Milestone: no milestone

Component: | Severity: normal

Operation/DataManagement? | Keywords:

Resolution: | Add Hours to Ticket: 0

Estimated Number of Hours: 0.0 | Total Hours: 0

Deviation?: 1 |


Changes (by carlosadean):

  • cc: riccardo.campisano@… (added)

Comment:

Julia,

Poderia nos passar as informações para que seja criada a view, por favor?

--
CA

--
Ticket URL: <http://ticket.linea.gov.br/ticket/9689#comment:10>
linea <http://ticket.linea.gov.br>
Sistema de Ticket do LIneA

comment:12 Changed 6 months ago by riccardo.campisano

  • Description modified (diff)

comment:13 Changed 6 months ago by julia

Informações para a tabela DEEP: (/archive/user/julia/Y3_deep/DES_Y3_DEEP.fits)

Full database schema.table name: y3p1_coadd.y3deep
Name of the Product: Y3P1 DEEP
Version of the Product: v0.1
Description of the Product:  https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3P1_COADD
Dataset name: Deep Fields
Product Class: Coadd Objects

e

Informações para a tabela DEEP+VIDEO: (/archive/user/julia/Y3_deep/matching_DES_Y3_DEEP_and_VIDEO.fits)

Full database schema.table name: y3p1_coadd.y3deep_video
Name of the Product: Y3P1 DEEP plus VIDEO
Version of the Product: v0.1
Description of the Product:  https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3P1_COADD
Dataset name: Deep Fields plus VIDEO
Product Class: Coadd Objects

comment:14 Changed 6 months ago by carlosadean

Sobre a a view grosseiramente falando é uma espécie de tabela-link para a tabela original onde estão os dados, e nela podemos colocar apelidos nos nomes das colunas. Por exemplo, digamos que a tabela original onde estão os dados chama-se tabela1 e tenha as colunas raj2000 e dec2000. Podemos criar uma view chamada view_da_julia que aponta para tabela1 e apelidar as colunas de ra e dec.
A vantagem é que você não precisa reingerir os dados nem mudar nada na estrutura da tabela original, além disso a view não ocupa espaço em disco já que os dados permanecem na tabela original.

Sobre o schema informado no último e-mail estes arquivos são do release Y3P1_COADD, certo?

--
CA

comment:15 follow-up: ↓ 17 Changed 6 months ago by riccardo.campisano

Carlos, conversei com a Julia, vamos manter o esquema y3a2 mesmo, mas trocamos o nome da tabela...

vou atualizar lá em cima, na descrição do ticket

comment:16 Changed 6 months ago by riccardo.campisano

  • Description modified (diff)

comment:17 in reply to: ↑ 15 Changed 6 months ago by julia

Replying to riccardo.campisano:

Carlos, conversei com a Julia, vamos manter o esquema y3a2 mesmo, mas trocamos o nome da tabela...

vou atualizar lá em cima, na descrição do ticket

Concordo em manter o Y3A2, mas nesse caso acho que não devemos misturar com Y3P1. A sigla Y3P1 foi uma tentativa minha de identificar esta tabela como sendo preliminar, já que virá outra em breve também chamada de Y3 DEEP.

Sendo assim, sugiro voltar atrás. Abandonar a tag Y3P1 e ficar somente com Y3A2, usando o versinamento para diferenciar o preliminar do final.

Então ficaria:

  • Informações para a tabela DEEP: (/archive/user/julia/Y3_deep/DES_Y3_DEEP.fits)

Full database schema.table name: y3a2_coadd.y3a2_deep_pre
Name of the Product: Y3A2 DEEP Preliminary
Version of the Product: v0.1
Description of the Product:  https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3A2_COADD
Dataset name: Y3A2_COADD_DEEP_PRE | Deep Fields
Product Class: Coadd Objects

  • Informações para a tabela DEEP+VIDEO: (/archive/user/julia/Y3_deep/matching_DES_Y3_DEEP_and_VIDEO.fits)

Full database schema.table name: y3a2_coadd.y3A2_deep_video_pre
Name of the Product: Y3A2 DEEP plus VIDEO Premininary
Version of the Product: v0.1
Description of the Product:  https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3A2_COADD
Dataset name: Y3A2_COADD_DEEP_VIDEO_PRE |Deep Fields
Product Class: Coadd Objects

(aqui não vejo a necessidade de renomear os deep fields no dataset name).

O que acham dessa sugestão?

Last edited 6 months ago by julia (previous) (diff)

comment:18 Changed 6 months ago by carlosadean@…

Olá,

Se quem criou declara as versões então podemos adotar o padrão abaixo:

y3a2_coadd.deep_v0_1
y3a2_coadd.deep_v0_3
y3a2_coadd.deep_v1_0

y3a2_coadd.deep_video_v0_1
y3a2_coadd.deep_video_v0_2
...

Ou compor o nome com a data de liberação, caso não exista um número de versão definido.

y3a2_coadd.deep_20171213
y3a2_coadd.deep_20180105
...

Fiz isso para outros catálogos que era versionados, mas não tinham número de versão definida.

--
Carlos Adean
IT Team
linea.gov.br
skype: carlosadean


De: "LIneA Ticket System" <ticket@…>
Enviadas: Segunda-feira, 8 de janeiro de 2018 16:31:45
Assunto: Re: [linea] #9689: download DEEP

#9689: download DEEP


Reporter: | Owner:

ldacosta@… | riccardo.campisano

Type: task | Status: assigned

Priority: high | Milestone: no milestone

Component: | Severity: normal

Operation/DataManagement? | Keywords:

Resolution: | Add Hours to Ticket: 0

Estimated Number of Hours: 0.0 | Total Hours: 0

Deviation?: 1 |


Comment (by julia):

Replying to riccardo.campisano:

Carlos, conversei com a Julia, vamos manter o esquema y3a2 mesmo, mas

trocamos o nome da tabela...

vou atualizar lá em cima, na descrição do ticket

Concordo em manter o Y3A2, mas nesse caso acho que não devemos misturar
com Y3P1. A sigla Y3P1 foi uma tentativa minha de identificar esta tabela
como sendo preliminar, já que virá outra em breve também chamada de Y3
DEEP.

Sendo assim, sugiro voltar atrás. Abandonar a tag Y3P1 e ficar somente com
Y3A2, usando o versinamento para diferenciar o preliminar do final.

Então ficaria:

  • Informações para a tabela DEEP:

(/archive/user/julia/Y3_deep/DES_Y3_DEEP.fits)

Full database schema.table name: y3a2_coadd.y3a2_deep_pre
Name of the Product: Y3A2 DEEP Preliminary
Version of the Product: v0.1
Description of the Product:
 https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3A2_COADD
Dataset name: Y3A2_COADD_DEEP_PRE | Deep Fields
Product Class: Coadd Objects

Informações para a tabela DEEP+VIDEO:

(/archive/user/julia/Y3_deep/matching_DES_Y3_DEEP_and_VIDEO.fits)

Full database schema.table name: y3a2_coadd.y3A2_deep_video_pre
Name of the Product: Y3A2 DEEP plus VIDEO Premininary
Version of the Product: v0.1
Description of the Product:
 https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3A2_COADD
Dataset name: Y3A2_COADD_DEEP_VIDEO_PRE |Deep
Fields
Product Class: Coadd Objects

(aqui não vejo a necessidade de renomear os deep fields no dataset name).

O que acham dessa sugestão?

--
Ticket URL: <http://ticket.linea.gov.br/ticket/9689#comment:17>
linea <http://ticket.linea.gov.br>
Sistema de Ticket do LIneA

comment:19 Changed 6 months ago by julia@…

Ótima sugestão Carlos! Realmente não tem números definidos pelos autores, então essa ideia de usar a data é ótima.

Alterando mais uma vez então a lista de infos (espero que a última):

  • Informações para a tabela DEEP:

(/archive/user/julia/Y3_deep/DES_Y3_DEEP.fits)

Full database schema.table name: y3a2_coadd.deep_20171101
Name of the Product: Y3A2 DEEP Preliminary
Version of the Product: 20171101
Description of the Product:
 https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3A2_COADD
Dataset name: Y3A2_COADD_DEEP_PRE | Deep Fields
Product Class: Coadd Objects

Informações para a tabela DEEP+VIDEO:

(/archive/user/julia/Y3_deep/matching_DES_Y3_DEEP_and_VIDEO.fits)

Full database schema.table name: y3a2_coadd.deep_video_20171101
Name of the Product: Y3A2 DEEP VIDEO Premininary
Version of the Product: 20171101
Description of the Product:
 https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3A2_COADD
Dataset name: Y3A2_COADD_DEEP_VIDEO_PRE | Deep Fields
Product Class: Coadd Objects


De: "LIneA Ticket System" <ticket@…>
Enviadas: Segunda-feira, 8 de janeiro de 2018 16:53:09
Assunto: Re: [linea] #9689: download DEEP

#9689: download DEEP


Reporter: | Owner:

ldacosta@… | riccardo.campisano

Type: task | Status: assigned

Priority: high | Milestone: no milestone

Component: | Severity: normal

Operation/DataManagement? | Keywords:

Resolution: | Add Hours to Ticket: 0

Estimated Number of Hours: 0.0 | Total Hours: 0

Deviation?: 1 |


Comment (by carlosadean@…):

Olá,

Se quem criou declara as versões então podemos adotar o padrão abaixo:

y3a2_coadd.deep_v0_1
y3a2_coadd.deep_v0_3
y3a2_coadd.deep_v1_0

y3a2_coadd.deep_video_v0_1
y3a2_coadd.deep_video_v0_2
...

Ou compor o nome com a data de liberação, caso não exista um número de
versão definido.

y3a2_coadd.deep_20171213
y3a2_coadd.deep_20180105
...

Fiz isso para outros catálogos que era versionados, mas não tinham número
de versão definida.

--
Carlos Adean
IT Team
linea.gov.br
skype: carlosadean

----- Mensagem original -----
De: "LIneA Ticket System" <ticket@…>
Enviadas: Segunda-feira, 8 de janeiro de 2018 16:31:45
Assunto: Re: [linea] #9689: download DEEP

#9689: download DEEP
-------------------------------------+-------------------------------------

Reporter: | Owner:

ldacosta@… | riccardo.campisano

Type: task | Status: assigned

Priority: high | Milestone: no milestone

Component: | Severity: normal

Operation/DataManagement? | Keywords:

Resolution: | Add Hours to Ticket: 0

Estimated Number of Hours: 0.0 | Total Hours: 0

Deviation?: 1 |

-------------------------------------+-------------------------------------

Comment (by julia):

Replying to riccardo.campisano:

Carlos, conversei com a Julia, vamos manter o esquema y3a2 mesmo, mas

trocamos o nome da tabela...

vou atualizar lá em cima, na descrição do ticket

Concordo em manter o Y3A2, mas nesse caso acho que não devemos misturar
com Y3P1. A sigla Y3P1 foi uma tentativa minha de identificar esta tabela
como sendo preliminar, já que virá outra em breve também chamada de Y3
DEEP.

Sendo assim, sugiro voltar atrás. Abandonar a tag Y3P1 e ficar somente

com

Y3A2, usando o versinamento para diferenciar o preliminar do final.

Então ficaria:

  • Informações para a tabela DEEP:

(/archive/user/julia/Y3_deep/DES_Y3_DEEP.fits)

Full database schema.table name: y3a2_coadd.y3a2_deep_pre
Name of the Product: Y3A2 DEEP Preliminary
Version of the Product: v0.1
Description of the Product:
 https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3A2_COADD
Dataset name: Y3A2_COADD_DEEP_PRE | Deep Fields
Product Class: Coadd Objects

Informações para a tabela DEEP+VIDEO:

(/archive/user/julia/Y3_deep/matching_DES_Y3_DEEP_and_VIDEO.fits)

Full database schema.table name: y3a2_coadd.y3A2_deep_video_pre
Name of the Product: Y3A2 DEEP plus VIDEO Premininary
Version of the Product: v0.1
Description of the Product:
 https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3A2_COADD
Dataset name: Y3A2_COADD_DEEP_VIDEO_PRE |Deep
Fields
Product Class: Coadd Objects

(aqui não vejo a necessidade de renomear os deep fields no dataset name).

O que acham dessa sugestão?

--
Ticket URL: <http://ticket.linea.gov.br/ticket/9689#comment:17>
linea <http://ticket.linea.gov.br>
Sistema de Ticket do LIneA

--
Ticket URL: <http://ticket.linea.gov.br/ticket/9689#comment:18>
linea <http://ticket.linea.gov.br>
Sistema de Ticket do LIneA

comment:20 Changed 6 months ago by carlosadean@…

Ok, vou seguir esse padrão então.

obrigado.

--
Carlos Adean
IT Team
linea.gov.br
skype: carlosadean


De: "LIneA Ticket System" <ticket@…>
Enviadas: Segunda-feira, 8 de janeiro de 2018 17:00:57
Assunto: Re: [linea] #9689: download DEEP

#9689: download DEEP


Reporter: | Owner:

ldacosta@… | riccardo.campisano

Type: task | Status: assigned

Priority: high | Milestone: no milestone

Component: | Severity: normal

Operation/DataManagement? | Keywords:

Resolution: | Add Hours to Ticket: 0

Estimated Number of Hours: 0.0 | Total Hours: 0

Deviation?: 1 |


Comment (by julia@…):

Ótima sugestão Carlos! Realmente não tem números definidos pelos autores,
então essa ideia de usar a data é ótima.

Alterando mais uma vez então a lista de infos (espero que a última):

  • Informações para a tabela DEEP:

(/archive/user/julia/Y3_deep/DES_Y3_DEEP.fits)

Full database schema.table name: y3a2_coadd.deep_20171101
Name of the Product: Y3A2 DEEP Preliminary
Version of the Product: 20171101
Description of the Product:
 https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3A2_COADD
Dataset name: Y3A2_COADD_DEEP_PRE | Deep

Fields

Product Class: Coadd Objects

Informações para a tabela DEEP+VIDEO:

(/archive/user/julia/Y3_deep/matching_DES_Y3_DEEP_and_VIDEO.fits)

Full database schema.table name: y3a2_coadd.deep_video_20171101
Name of the Product: Y3A2 DEEP VIDEO Premininary
Version of the Product: 20171101
Description of the Product:
 https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3A2_COADD
Dataset name: Y3A2_COADD_DEEP_VIDEO_PRE | Deep

Fields

Product Class: Coadd Objects

----- Mensagem original -----
De: "LIneA Ticket System" <ticket@…>
Enviadas: Segunda-feira, 8 de janeiro de 2018 16:53:09
Assunto: Re: [linea] #9689: download DEEP

#9689: download DEEP
-------------------------------------+-------------------------------------

Reporter: | Owner:

ldacosta@… | riccardo.campisano

Type: task | Status: assigned

Priority: high | Milestone: no milestone

Component: | Severity: normal

Operation/DataManagement? | Keywords:

Resolution: | Add Hours to Ticket: 0

Estimated Number of Hours: 0.0 | Total Hours: 0

Deviation?: 1 |

-------------------------------------+-------------------------------------

Comment (by carlosadean@…):

Olá,

Se quem criou declara as versões então podemos adotar o padrão abaixo:

y3a2_coadd.deep_v0_1
y3a2_coadd.deep_v0_3
y3a2_coadd.deep_v1_0

y3a2_coadd.deep_video_v0_1
y3a2_coadd.deep_video_v0_2
...

Ou compor o nome com a data de liberação, caso não exista um número de
versão definido.

y3a2_coadd.deep_20171213
y3a2_coadd.deep_20180105
...

Fiz isso para outros catálogos que era versionados, mas não tinham número
de versão definida.

--
Carlos Adean
IT Team
linea.gov.br
skype: carlosadean

----- Mensagem original -----
De: "LIneA Ticket System" <ticket@…>
Enviadas: Segunda-feira, 8 de janeiro de 2018 16:31:45
Assunto: Re: [linea] #9689: download DEEP

#9689: download DEEP

-------------------------------------+-------------------------------------

Reporter: | Owner:

ldacosta@… | riccardo.campisano

Type: task | Status: assigned

Priority: high | Milestone: no

milestone

Component: | Severity: normal

Operation/DataManagement? | Keywords:

Resolution: | Add Hours to Ticket: 0

Estimated Number of Hours: 0.0 | Total Hours: 0

Deviation?: 1 |

-------------------------------------+-------------------------------------

Comment (by julia):

Replying to riccardo.campisano:

Carlos, conversei com a Julia, vamos manter o esquema y3a2 mesmo, mas

trocamos o nome da tabela...

vou atualizar lá em cima, na descrição do ticket

Concordo em manter o Y3A2, mas nesse caso acho que não devemos misturar
com Y3P1. A sigla Y3P1 foi uma tentativa minha de identificar esta

tabela

como sendo preliminar, já que virá outra em breve também chamada de Y3
DEEP.

Sendo assim, sugiro voltar atrás. Abandonar a tag Y3P1 e ficar somente

com

Y3A2, usando o versinamento para diferenciar o preliminar do final.

Então ficaria:

  • Informações para a tabela DEEP:

(/archive/user/julia/Y3_deep/DES_Y3_DEEP.fits)

Full database schema.table name: y3a2_coadd.y3a2_deep_pre
Name of the Product: Y3A2 DEEP Preliminary
Version of the Product: v0.1
Description of the Product:
 https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3A2_COADD
Dataset name: Y3A2_COADD_DEEP_PRE | Deep

Fields

Product Class: Coadd Objects

Informações para a tabela DEEP+VIDEO:

(/archive/user/julia/Y3_deep/matching_DES_Y3_DEEP_and_VIDEO.fits)

Full database schema.table name: y3a2_coadd.y3A2_deep_video_pre
Name of the Product: Y3A2 DEEP plus VIDEO Premininary
Version of the Product: v0.1
Description of the Product:
 https://cdcvs.fnal.gov/redmine/projects/des-photoz/wiki/Y3_deep_coadd
Release name: Y3A2_COADD
Dataset name: Y3A2_COADD_DEEP_VIDEO_PRE |Deep
Fields
Product Class: Coadd Objects

(aqui não vejo a necessidade de renomear os deep fields no dataset

name).

O que acham dessa sugestão?

--
Ticket URL: <http://ticket.linea.gov.br/ticket/9689#comment:17>
linea <http://ticket.linea.gov.br>
Sistema de Ticket do LIneA

--
Ticket URL: <http://ticket.linea.gov.br/ticket/9689#comment:18>
linea <http://ticket.linea.gov.br>
Sistema de Ticket do LIneA

--
Ticket URL: <http://ticket.linea.gov.br/ticket/9689#comment:19>
linea <http://ticket.linea.gov.br>
Sistema de Ticket do LIneA

comment:21 Changed 6 months ago by riccardo.campisano

@Carlos, vou criar uma view por cada uma das tabelas, com APENAS a conversão a seguir

de 'coadd_objects_id' para 'coadd_objects_id'

Verificamos com a Julia que esse é o unico campo que precisa de conversão
vou criar as views chamadas

y1a1_deep_video_20171101
y1a1_deep_20171101

e registrar estas. O diff foi feito com o resultado das queries a seguir

SELECT column_name, data_type FROM INFORMATION_SCHEMA.COLUMNS WHERE table_schema='y1a1_coadd_spt' AND table_name='coadd_objects' ORDER BY column_name
SELECT column_name, data_type FROM INFORMATION_SCHEMA.COLUMNS WHERE table_schema='y3a2_coadd' AND table_name='deep_video_20171101' ORDER BY column_name

comment:22 Changed 6 months ago by carlosadean

Como se dará a criação dessa view, via dachs-gavo com um RD?

--
Carlos Adean

comment:24 Changed 6 months ago by riccardo.campisano

  • Description modified (diff)

comment:26 Changed 6 months ago by julia@…

Oi Campisano,

Eu vi no email anterior que o nome contém "y1". Só para confirmar, esse deep pertence ao release Y3.


De: "LIneA Ticket System" <ticket@…>
Enviadas: Segunda-feira, 15 de janeiro de 2018 11:07:44
Assunto: Re: [linea] #9689: download DEEP

#9689: download DEEP


Reporter: | Owner:

ldacosta@… | riccardo.campisano

Type: task | Status: assigned

Priority: high | Milestone: no milestone

Component: | Severity: normal

Operation/DataManagement? | Keywords:

Resolution: | Add Hours to Ticket: 0

Estimated Number of Hours: 0.0 | Total Hours: 0

Deviation?: 1 |


Comment (by riccardo.campisano):

BEGIN;
CREATE OR REPLACE VIEW y3a2_coadd.y1a1_deep_video_20171101
(
    coadd_object_id,
    ra,
    dec,
    mag_auto_g,
    mag_auto_r,
    mag_auto_i,
    mag_auto_z,
    mag_auto_y,
    mag_auto_u,
    spread_model_i,
    mult_niter_model,
    mag_detmodel_g,
    mag_detmodel_r,
    mag_detmodel_i,
    mag_detmodel_z,
    mag_detmodel_y,
    mag_detmodel_u,
    zautomag,
    yautomag,
    jautomag,
    hautomag,
    ksautomag,
    zapermag3,
    yapermag3,
    japermag3,
    hapermag3,
    ksapermag3,
    magerr_auto_g,
    magerr_auto_r,
    magerr_auto_i,
    magerr_auto_z,
    magerr_auto_y,
    magerr_auto_u,
    magerr_detmodel_g,
    magerr_detmodel_r,
    magerr_detmodel_i,
    magerr_detmodel_z,
    magerr_detmodel_y,
    magerr_detmodel_u,
    zautomagerr,
    yautomagerr,
    jautomagerr,
    hautomagerr,
    ksautomagerr,
    zapermag3err,
    yapermag3err,
    japermag3err,
    hapermag3err,
    ksapermag3err,
    field,
    des_sn_field
)
AS
 SELECT
    coadd_object_id AS coadd_objects_id,
    ra,
    dec,
    mag_auto_g,
    mag_auto_r,
    mag_auto_i,
    mag_auto_z,
    mag_auto_y,
    mag_auto_u,
    spread_model_i,
    mult_niter_model,
    mag_detmodel_g,
    mag_detmodel_r,
    mag_detmodel_i,
    mag_detmodel_z,
    mag_detmodel_y,
    mag_detmodel_u,
    zautomag,
    yautomag,
    jautomag,
    hautomag,
    ksautomag,
    zapermag3,
    yapermag3,
    japermag3,
    hapermag3,
    ksapermag3,
    magerr_auto_g,
    magerr_auto_r,
    magerr_auto_i,
    magerr_auto_z,
    magerr_auto_y,
    magerr_auto_u,
    magerr_detmodel_g,
    magerr_detmodel_r,
    magerr_detmodel_i,
    magerr_detmodel_z,
    magerr_detmodel_y,
    magerr_detmodel_u,
    zautomagerr,
    yautomagerr,
    jautomagerr,
    hautomagerr,
    ksautomagerr,
    zapermag3err,
    yapermag3err,
    japermag3err,
    hapermag3err,
    ksapermag3err,
    field,
    des_sn_field
   FROM y3a2_coadd.deep_video_20171101;

GRANT UPDATE, SELECT, DELETE, TRUNCATE, REFERENCES, INSERT, TRIGGER ON
y3a2_coadd.y1a1_deep_video_20171101 TO gavoadminprod;
GRANT SELECT ON y3a2_coadd.y1a1_deep_video_20171101 TO gavoprod;
GRANT SELECT ON y3a2_coadd.y1a1_deep_video_20171101 TO untrustedprod;

COMMIT;

--
Ticket URL: <http://ticket.linea.gov.br/ticket/9689#comment:25>
linea <http://ticket.linea.gov.br>
Sistema de Ticket do LIneA

comment:27 Changed 6 months ago by riccardo.campisano

Correto, mas é a tradução para o formato do 'y1'. Era uma sua sugestão, colocar esse prefixo para lembrar que é esse tipo de tradução, estamos usando o prefixo 'y1a1_' para todas estas views.

comment:28 Changed 6 months ago by julia@…

ok


De: "LIneA Ticket System" <ticket@…>
Enviadas: Segunda-feira, 15 de janeiro de 2018 11:23:39
Assunto: Re: [linea] #9689: download DEEP

#9689: download DEEP


Reporter: | Owner:

ldacosta@… | riccardo.campisano

Type: task | Status: assigned

Priority: high | Milestone: no milestone

Component: | Severity: normal

Operation/DataManagement? | Keywords:

Resolution: | Add Hours to Ticket: 0

Estimated Number of Hours: 0.0 | Total Hours: 0

Deviation?: 1 |


Comment (by riccardo.campisano):

Correto, mas é a tradução para o formato do 'y1'. Era uma sua sugestão,
colocar esse prefixo para lembrar que é esse tipo de tradução, estamos
usando o prefixo 'y1a1_' para todas estas views.

--
Ticket URL: <http://ticket.linea.gov.br/ticket/9689#comment:27>
linea <http://ticket.linea.gov.br>
Sistema de Ticket do LIneA

comment:29 Changed 6 months ago by riccardo.campisano

O passo a passo do procedimento inteiro foi documentado em

Registro DEEP em Production feito o 17/01/2017

Vamos agora fazer o DEEP_VIDEO

comment:30 Changed 6 months ago by riccardo.campisano

  • Description modified (diff)
  • Summary changed from download DEEP to Ingestion of Y3A2 DEEP P1 (DEEP and DEEP VIDEO)

comment:31 Changed 6 months ago by riccardo.campisano

  • Description modified (diff)

comment:32 Changed 6 months ago by riccardo.campisano

  • Status changed from assigned to closed
  • Resolution set to fixed

Registro DEEP VIDEO em Production feito o 19/01/2017

processo de registro  http://des-portal.linea.gov.br/VP/getViewProcessCon?process_id=3185
processo de teste  http://des-portal.linea.gov.br/VP/getViewProcessCon?process_id=3187

comment:33 Changed 5 months ago by julia

  • Status changed from closed to reopened
  • Resolution fixed deleted

comment:34 Changed 5 months ago by julia

Oi Campisano e Carlos,

para a volta do feriado, gostaria de pedir para reproduzir em Testing o que foi feito em Production.

Release:

Y3A2

Datasets:

Deep Fields
Deep Fields plus VIDEO

Estes datasets demandam adaptações nos pipelines. Logo, preciso rodar processos no meu portal e em Testing, antes de levar as novidades para production.

Os testes precisam ser feitos com os dados dos próprios datasets. Como estes dois não muito pequenos, acho que a inclusão em Testing não será um problema.

Desde já obrigada,

Julia

Last edited 5 months ago by julia (previous) (diff)

comment:35 Changed 5 months ago by carlosadean

  • Owner changed from riccardo.campisano to carlosadean
  • Status changed from reopened to accepted

Foi solicitado durante o CCB que este catálogo seja adicionado ao HDFS.

--
CA

comment:34 Changed 5 months ago by julia@…

Eu acho que isso já foi feito pelo Campisano. A conferir. O deep inclusive já está disponível para rodar em production, no pipeline photoz compute. O problema é a questão da tile dependence.

A última coisa que eu pedi foi para reproduzir toda a instalação em testing. Para poder testar as implementações necessárias para resolver o problema mencionado acima.

Enviado do meu iPad

Em 23 de fev de 2018, às 10:01, LIneA Ticket System <ticket@…> escreveu:

#9689: Ingestion of Y3A2 DEEP P1 (DEEP and DEEP VIDEO)


Reporter: | Owner: carlosadean

ldacosta@… | Status: accepted

Type: task | Milestone: no milestone

Priority: high | Severity: normal

Component: | Keywords:

Operation/DataManagement? | Add Hours to Ticket: 0

Resolution: | Total Hours: 0

Estimated Number of Hours: 0.0 |

Deviation?: 1 |


Changes (by carlosadean):

  • owner: riccardo.campisano => carlosadean
  • status: reopened => accepted

Comment:

Foi solicitado durante o CCB que este catálogo seja adicionado ao HDFS.

--
CA

--
Ticket URL: <http://ticket.linea.gov.br/ticket/9689#comment:35>
linea <http://ticket.linea.gov.br>
Sistema de Ticket do LIneA

comment:35 Changed 4 months ago by carlosadean

  • Cc riccardo.campisano@… removed
  • Status changed from accepted to closed
  • Resolution set to fixed

Oi Julia,

Ambos foram disponibilizados também em testing.

--

  1. Adean

comment:36 Changed 13 days ago by julia

  • Status changed from closed to reopened
  • Resolution fixed deleted

Segundo acordado na reunião de sprint de hoje, estou reabrindo este ticket e redirecionando para o Rodrigo Botetho.

Eu vou incluir uma coluna com o número do healpix pixel no arquivo original deste dataset.

Depois disso, temos que refazer todo o processo para disponibilização deste dataset no portal, o que inclui: ingestão, tradução, instalação no hadoop e registro no portal.

O Rodrigo e eu faremos juntos, seguindo as instruções documentadas pelo Carlos.

(4h no sprint 32)

comment:37 Changed 13 days ago by julia

  • Owner changed from carlosadean to rodrigo.botelho
  • Status changed from reopened to assigned
Note: See TracTickets for help on using tickets.