Ticket #10011 (closed task: fixed)

Opened 6 months ago

Last modified 6 months ago

ingerir e registrar GAIA em production

Reported by: julia@… Owned by: riccardo.campisano
Priority: normal Milestone: no milestone
Component: Operation/DataManagement Severity: normal
Keywords: Cc:
Estimated Number of Hours: 0.0 Add Hours to Ticket: 0
Deviation?: yes Total Hours: 0

Description (last modified by riccardo.campisano) (diff)

Ticket para acompanhamento das tarefas (talvez parte já esteja concluída):

Full database schema.table name:        gaia.main
Name of the Product:                    Gaia DR1
Version of the Product:                 dr1
Description of the Product:             https://www.cosmos.esa.int/web/gaia/dr1
Release name:                           NONE
Dataset name:                           NONE
Product Class:                          external_astrometry_gaia

Change History

comment:1 Changed 6 months ago by riccardo.campisano

  • Cc carlosadean@… added

comment:2 Changed 6 months ago by riccardo.campisano

Carlos poderia adicionar aqui a tabela onde o catalogo foi ingerido?

comment:3 Changed 6 months ago by guilherme.soares

  • Status changed from new to accepted
  • Component changed from Other to Operation/DataManagement

comment:4 Changed 6 months ago by carlosadean

Em testing

*Gaia:* gaia.main
*2mass:* twomass.data

comment:5 Changed 6 months ago by ldacosta@…

que eu saiba ele quer saber em production !!!!

Luiz

Em 05/01/2018 14:49, LIneA Ticket System escreveu:

#10011: registrar GAIA no portal


Reporter: julia@… | Owner:

Type: task | guilherme.soares

Priority: normal | Status: accepted

Component: | Milestone: no milestone

Operation/DataManagement? | Severity: normal

Resolution: | Keywords:

Estimated Number of Hours: 0.0 | Add Hours to Ticket: 0

Deviation?: 1 | Total Hours: 0


Comment (by carlosadean):

Em testing

*Gaia:* gaia.main
*2mass:* twomass.data

comment:6 Changed 6 months ago by carlosadean

Eu chequei em ambos e as encontrei somente em testing.

Pode ser útil, tem um documento que consta uma lista com todas as tabelas de catálogos externos baixados até o início do primeiro semestre de 2017 em ambos os ambientes. Lá consta o que foi ingerido, registrado e publicado até aquele momento.

 https://docs.google.com/document/d/1fqcxitkCu0D-4KhCj0PiXxzK6wWeJlCDrYSga18bqa4/edit#

--
Carlos

comment:7 Changed 6 months ago by riccardo.campisano

  • Cc riccardo.campisano@… added; carlosadean@… removed
  • Owner changed from guilherme.soares to carlosadean
  • Status changed from accepted to assigned
  • Summary changed from registrar GAIA no portal to ingerir e registrar GAIA em production

comment:8 Changed 6 months ago by carlosadean

A ingestão foi iniciada em production e deve consumir bastante tempo, são 5231 arquivos com 218.453 objetos cada, dá um total de ~1.5 bilhões de linhas a serem ingeridas.

--
Carlos

comment:9 Changed 6 months ago by riccardo.campisano

Julia, não encontrei um tickets anteriores, e para o registro preciso das informações a seguir.

NOTE: ESSE É O EXEMPLO DO MOF, ticket #8065

Neste caso, NAO precisa de Release name e Dataset name (nem da view estilo coadds):

Full database schema.table name:        y1a1_mof.mof_objects_wide
Name of the Product:                    Y1 MOF
Version of the Product:                 v1.1
Description of the Product:             https://cdcvs.fnal.gov/redmine/projects/des-sci-release/wiki/NGMIXMOF_docs
Release name:                           Y1A1_MOF (Display name = Y1A1 MOF)
Dataset name:                           WIDE_FIELDS (Display name = Wide Fields)
Product Class:                          mof_objects (Display name = MOF Objects)

comment:10 Changed 6 months ago by carlosadean

A ingestão do GAIA terminou, levou cerca de 10:30hs para finalizar todo o processo de ingestão e indexação.

Os dados estão em gaia.main.

--
Carlos

comment:11 Changed 6 months ago by carlosadean

  • Cc riccardo.campisano@… removed
  • Owner changed from carlosadean to riccardo.campisano

comment:12 Changed 6 months ago by ldacosta@…

por favor crie uma planilha gustando todas essas infos

Luiz Nicolaci

Em 08/01/2018 11:12, LIneA Ticket System escreveu:

#10011: ingerir e registrar GAIA em production


Reporter: julia@… | Owner: carlosadean

Type: task | Status: assigned

Priority: normal | Milestone: no milestone

Component: | Severity: normal

Operation/DataManagement? | Keywords:

Resolution: | Add Hours to Ticket: 0

Estimated Number of Hours: 0.0 | Total Hours: 0

Deviation?: 1 |


Comment (by carlosadean):

A ingestão do GAIA terminou, levou cerca de 10:30hs para finalizar todo o
processo de ingestão e indexação.

Os dados estão em gaia.main.

--
Carlos

---
Este e-mail foi verificado quanto a vírus pelo AVG.
 http://www.avg.com

comment:13 Changed 6 months ago by riccardo.campisano

  • Description modified (diff)

comment:14 Changed 6 months ago by riccardo.campisano

  • Description modified (diff)

comment:15 Changed 6 months ago by riccardo.campisano

  • Description modified (diff)

comment:16 Changed 6 months ago by riccardo.campisano

  • Status changed from assigned to closed
  • Resolution set to fixed

Registrado, salvo e publicado, visivel no ScienceProducts?

Note: See TracTickets for help on using tickets.