Οι Υπολογιστες στη Φυσικη Υψηλων Ενεργειων Ι. Αποστολακη s CERN v0.7, 16:05 26η Ιουνιου 2008

27 Ιουνιου 2008 Ι. Αποστολακης 2 Πλανο της ομιλιας  Η χρηση των Υ π ολογιστων  Ανακατασκευη (reconstruction)  Αμεσως (online) ή αργοτερα (off-line)  Προσομοιωση (simulation)  Αναλυση δεδομενων (data analysis)  Μεγεθη και το GRID  Υ π ολογιστικες αναγκες και... GRID  Ομοιωτητες με αλλες “ εφαρμογες ”

Ο επιταχυντης θα παραγει 40 εκατομυρια συγκρουσεις σωματιδιων (events) καθε δευτερολεπτο στο κεντρο καθε του ανιχνευτη καθε πειραματος Ο Επιταχυντης LHC

Τα δεδομενα (data) του LHC Τα ηλεκτρονικα και οι online υπολογιστες διαλεγουν μερικες εκατονταδες «καλα» events καθε δευτερολεπτο. Καταγραφονται σε δισκους και μαγνητικες ταινιες με ρυθμο 100-1,000 MegaBytes/sec = ~ 15 PetaBytes το χρονο για τα τεσσερα πειραματα μαζι 1 Peta = 1,000 Tera = 1,000,000 Giga

Ανακατασκευη Μια γρηγορη εισαγωγη

27 Ιουνιου 2008March Ι. ΑποστολακηςGGF10 / PNPA – RG Workshop – J Harvey 6 Atlas : Physics Signatures and Event Rates  Οι δεσμες διασταυρονονται με ρυθμο 40 MHz   inelastic = 80 mb  Σε καθε περασμα πολλες συγκρουσεις  10 9 συγκρουσεις το δευτερολεπτο  Διαφορετικοι στοχοι, ο καθενας με τη δικια του «υπογραφη»  Το Χιγκς (Higgs) μεσονιο  Υπερσυμμετρια (Supersymmetry)  Το αγνωστο  Οι συμμετριες στα Β μεσονια  Τα ενδιαφεροντα συμβαντα ειναι καρφιτσες στα αχυρα σε ενα χωριο γιοματο σταβλους (~ 1 in )

27 Ιουνιου 2008 Ι. Αποστολακης 7 Τι ειναι η ανακατασκευη?  Οι μετρησεις ειναι σαν ενας γριφος  Τι τροχιες τις προκαλεσαν?  Καθε μετρηση θεσης βοηθαει  Υπαρχουν ομως 100-αδες ως χιλιαδες μετρησεις  Η ανακατασκευη πρεπει να βρει τη λυση!  Ξεροντας καλα το μαγνητικο πεδιο  Βρισκουμε ποιες μετρησεις ανοικουν σε ποιες τροχιες

Ανακατασκευη στην πραξη Αρχιζει με τις θεσεις διαβασης των σωματιδιων 27 Ιουνιου 2008 Ι. Αποστολακης 8 Μαγνητικο Πεδιο Β

Ανακατασκευη στην πραξη Αρχιζει με τις θεσεις διαβασης των σωματιδιων Δωκιμαζονται διαφοροι συνδιασμοι και υπολογιζεται η διαφορα μετρησης- προβλεψης Και ετσι πιθανοτητα του καθε συνδιασμου 27 Ιουνιου 2008 Ι. Αποστολακης 9 Μαγνητικο Πεδιο Β Αλγοριθμοι Φιλτρο Καλμαν (Kalman filter)

Ανακατασκευη: αποτελεσμα Αρχιζει με τις θεσεις διαβασης των σωματιδιων Δωκιμαζονται διαφοροι συνδιασμοι και υπολογιζεται η διαφορα μετρησης- προβλεψης Και ετσι πιθανοτητα του καθε συνδιασμου Τελικα εχουν βρεθει ολες οι τροχιες ή «στα γρηγορα» αυτες με μεγαλη ορμη- οι κυριες τροχιες 27 Ιουνιου 2008 Ι. Αποστολακης 10 Μαγνητικο Πεδιο Β P= 7.5 GeV/c P= 11 GeV/c P= 22 GeV/c

Προσομοιωση και Ανιχνευτες Τι ειναι η προσομοιωση Γιατι υπαρχει Πως γινεται

27 Ιουνιου 2008 Ι. Αποστολακης 12 Οι σημερινοι ανιχνευτες  Πολλα τμηματα  Διαφορετικες αναγκες  Μετρηση θεσης (τρακερ - trackers)  Μετρηση ενεργειας (θερμιδομετρα)  Λογω της πολυ-πλοκοτητας  οι πιο πολλες μελετες χρειαζονται πολλα υπολογιστικα εργαλεια

27 Ιουνιου 2008March Ι. ΑποστολακηςGGF10 / PNPA – RG Workshop – J Harvey 13 Οι ανιχνευτες του ΑΤΛΑΣ

27 Ιουνιου 2008 Ι. Αποστολακης 14 Τι ειναι προσομοιση ?  Φτιαχνουμε μοντελα  Του ανιχνευτη  Γεωμετρια  Υλικα  Των αλληλε π ιδρασεων  Καθε γνωστου τυπου Ηλεκτρομαγνητικου Υσχηρου πυρηνικου Silicon Tracker σ συνολο = Σ σ φαινομενου 2.5 MeV e - ηλεκτρονιο 300 μ

27 Ιουνιου 2008 Ι. Αποστολακης 15 Γεωμετρια ενος ανιχνευτη  EM Calorimeter  Crystal  Tracker  Precision  Drift Chamber BABAR (SLAC, US)

27 Ιουνιου 2008 Ι. Αποστολακης 16 Τα ‘θερμιδομετρα’ Ο ΑΤΛΑΣ: τεραστιος και πολυπλοκος

27 Ιουνιου 2008 Ι. Αποστολακης 17

27 Ιουνιου 2008 Ι. Αποστολακης 18 Βασικές Αλληλεπιδρασεις  Οι διαφορες αλληλε π ίδρασης του σωματιδίου με το υλικό ( τμημα του ανιχνευτή η αλλο )  π αραγωγή δευτερευοντος σωματιδιου  Ιοντισμός  Bremstrahlung p e-e- p e-e- p 

27 Ιουνιου 2008 Ι. Αποστολακης 19 Ενα απλο παραδειγμα  Στο μολυβδο παραγονται πιο πολλα δευτερευοντα σωματιδια,  αλλα δεν πανε μακρια  Το διοξειδιο του ανθρακα, σαν αεριο, εχει μικρη πυκνοτητα  Οσα σωματιδια φτανουν η παραγωνται, πανε μακρια  Παραγονται λιγοτερα Pb CO 2 G EANT 3

27 Ιουνιου 2008 Ι. Αποστολακης 20

27 Ιουνιου 2008 Ι. Αποστολακης 21 Γιατι προσομοιωση ?  Για να σχεδιασουμε τους ανιχνευτες  Για να ετοιμασουμε τις μεθοδους ανακατασκευης  Για να καταλαβου-με τον ανιχνευτη

27 Ιουνιου 2008 Ι. Αποστολακης 22 Υπαρχει απλη λυση ?  Αρκει η μεση τιμη της αποθεσης ενεργειας (π.χ.) ?  Για μερικες απλες ερευνες, Ναι  Για πολλες (τις περισοτερες) χρειαζεται ολη η εικονα  Υπαρχει κατανομή τιμων Που δεν ειναι παντα συμμετρικη η απλη Οι ουρες των κατανομων μπορουν να παιξουν μεγαλο ρολο  Με ποιο σφαλμα ξερετε την ταδε ενεργεια?

Αναλυση δεδομενων 27 Ιουνιου 2008 Ι. Αποστολακης 23

27 Ιουνιου 2008March Ι. ΑποστολακηςGGF10 / PNPA – RG Workshop – J Harvey 24 Ιεραρχεια Δεδομενων (Data) RAW Detector digitisation 10 9 events/yr * 2 MB =2 PB/yr ~2 MB/event ESD Pattern recognition information: Clusters, track candidates ~100 kB/event AOD Physical information: Transverse momentum, Association of particles, jets, (best) id of particles, ~10 kB/event TAG ~1 kB/event Relevant information for fast event selection Οτι κατεγραψαν οι ανιχνευτες (DAQ) Ανασυγκροτηθησα πληροφορια Συμπερασματα για την αναλυση Classification information

27 Ιουνιου 2008 Ι. Αποστολακης 25 Οι φυσικοι προγραματιζουν  Ολη η αναλυση μετρησεων γινεται με υπολογιστες  Οι φυσικοι ΥΕ χρησιμοποιουν ειδικευμενα προγραμματα  Μερικοι γραφουν μεγαλες ρουτινες (routines/Fortran, methods/C++)  Οι πιο πολλοι κανουν μικρες ρουτινες, για τις δικες τους αναγκες  Ολοι θα χροισημοποιουω τα ‘εργαλεια’ να δουν τις περιληψεις των μετρησεων

Ανακατασκευη (reconstruction) analysis interactive physics analysis Αναλυση ‘Batch’ Αναλυση ‘Batch’ detector event summary data δεδομενα (Raw data) event reprocessing event reprocessing event simulation event simulation analysis objects (extracted by physics topic) Data Handling and Computation for Physics Analysis Φιλτρο γεγονοτων (διασυλογη & ανακατασκευη) Φιλτρο γεγονοτων (διασυλογη & ανακατασκευη) processed data CERN προσομοιωση simulation

8 May 07 General Overview27 High Energy Physics Computing Characteristics zIndependent events (collisions of particles) ytrivial (read: pleasant) parallel processing zBulk of the data is read-only yversions rather than updates zMeta-data in databases, but physics data in “flat” files zCompute power measured in SPECint (rather than SPECfp) yBut good floating-point is important zVery large aggregate requirements: ycomputation, data, input/output zChaotic workload – yresearch environment - physics extracted by iterative analysis, collaborating groups of physicists  Unpredictable  unlimited demand

8 May 07 General Overview28 The Computing Environment yΧρησιμοποιουμε τους υπολογιστες για το συνολικο δυναμικο τους xΟχι τους πιο γρηγορους x Συνηθεις – ‘της αγορας’ xHigh-throughput computing y(based on reliable “commodity” technology) xAround 7500 (dual-socket Xeon) PCs with “Scient ific Linux” Now typically also “dual- core” Quad-core expected for next acquisition

27 Ιουνιου 2008March Ι. ΑποστολακηςGGF10 / PNPA – RG Workshop – J Harvey 29 Data Organisation

Backup More on simulation

27 Ιουνιου 2008 Ι. Αποστολακης 31 Describes a Detector zHierarchy of volumes zMany volumes repeat yVolume & sub-tree zUp to millions of volumes for LHC era zImport detectors from CAD systems Navigates in Detector z Locates a point z Computes a step yLinear intersection Geant4 geometry: what it does

27 Ιουνιου 2008 Ι. Αποστολακης 32 Propagating in a field Charged particles follow paths that approximate their curved trajectories in an electromagnetic field. zIt is possible to tailor ythe accuracy of the splitting of the curve into linear segments, ythe accuracy in intersecting each volume boundaries. zThese can be set now to different values for a single volume or for a hierarchy.

27 Ιουνιου 2008 Ι. Αποστολακης 33 Electromagnetic physics zGammas: yGamma-conversion, Compton scattering, Photo-electric effect  Leptons(e,  ), charged hadrons, ions yEnergy loss (Ionisation, Bremstrahlung) or PAI model energy loss, Multiple scattering, Transition radiation, Synchrotron radiation, zPhotons: yCerenkov, Rayleigh, Reflection, Refraction, Absorption, Scintillation zHigh energy muons and lepton-hadron interactions zAlternative implementation (“low energy”) yfor applications that need to go below 1 KeV

27 Ιουνιου 2008 Ι. Αποστολακης 34 Shower profile 1 GeV electron in H 2 O G4, Data G3 zGood agreement seen with the data

27 Ιουνιου 2008 Ι. Αποστολακης 35 Antiproton annihilation - CHIPS Modelπ proton neutron deuteron He-4 He-3 K triton M. Kossov

27 Ιουνιου 2008 Ι. Αποστολακης 36 Simulation ‘packages’ zProvides the means to simulate ythe physical processes and ydetector response of an experiment. zAs was realised by many in the past, ymost of the parts needed can be common between experiments (eg physics, geometry blocks). zSo it makes eminent sense to create and use a general purpose package yThat includes the common parts, yAnd enables an experiment to describe those parts with are specific to it.

27 Ιουνιου 2008 Ι. Αποστολακης 37 ESA Space Environment & Effects Analysis Section X-Ray Surveys of Asteroids and Moons Induced X-ray line emission: indicator of target composition (~100  m surface layer) Cosmic rays, jovian electrons Geant3.21 ITS3.0, EGS4 Geant4 C, N, O line emissions included Solar X-rays, e, p Courtesy SOHO EIT

27 Ιουνιου 2008 Ι. Αποστολακης 38 High Energy K,pi on Al, Au

27 Ιουνιου 2008March Ι. ΑποστολακηςGGF10 / PNPA – RG Workshop – J Harvey 39 individual physics analysis batch physics analysis batch physics analysis detector Event Summary Data (ESD) raw data event reconstruction event reconstruction event simulation event simulation event filter (selection & reconstruction) event filter (selection & reconstruction) processed data HEP Processing stages and datasets Analysis Object Data (AOD) (extracted by physics topic)

27 Ιουνιου 2008March Ι. ΑποστολακηςGGF10 / PNPA – RG Workshop – J Harvey 40 CERN Centre Capacity Requirements for all expts. (made July 2003) LHC Other experiments LHC Other experiments Moore’s law

27 Ιουνιου 2008March Ι. ΑποστολακηςGGF10 / PNPA – RG Workshop – J Harvey 41 Event Data  Complex data models  ~500 structure types  References to describe relationships between event objects  unidirectional  Need to support transparent navigation  Need ultimate resolution on selected events  need to run specialised algorithms  work interactively  Not affordable if uncontrolled Event Raw Rec Phys VeloCalo Coord Tracks Event Cand RAWESDAOD versions Event MyTrk Phys Private Event AOD Collaboration Data

27 Ιουνιου 2008March Ι. ΑποστολακηςGGF10 / PNPA – RG Workshop – J Harvey 42 HEP Metadata - Event Collections Bookkeeping Run Data Event 1 Event 2 … Event 3 Run Data Event 1 Event 2 … Event 3 Run Data Event 1 Event 2 … Event N Run Catalogue Physics : Run MC: B -> π π MC: B -> J/Ψ (μ + μ - ) … Dataset Event 1 Event 2 … Event 3 Dataset Event 1 Event 2 … Event 3 Event tag collection Tag Tag … Tag M8 3.1 Collection Catalogue B -> ππ Candidates (Phy) B -> J/Ψ (μ + μ - ) Candidates …

27 Ιουνιου 2008March Ι. ΑποστολακηςGGF10 / PNPA – RG Workshop – J Harvey 43 Detector Conditions Data  Reflects changes in state of the detector with time  Event Data cannot be reconstructed or analyzed without it  Versioning  Tagging  Ability to extract slices of data required to run with job  Long life-time Tag1 definition Time Version Data Item Version Time t1t2t3t4t5t6t7t8t9t10t11 VDET alignment HCAL calibration RICH pressure ECAL temperature Time = T

27 Ιουνιου 2008March Ι. ΑποστολακηςGGF10 / PNPA – RG Workshop – J Harvey 44 A Multi-Tier Computing Model Tier 1 (Main Regional Centres) Tier 3 Desktop Tier2 Tier 0 (Experiment Host lab) CERN FNALRALIN2P3 622 Mbps 2.5 Gbps 622 Mbps 155 mbps Lab aUni bLab cUni n  physics group regional group Tier2 Lab a Uni a Lab c Uni n Lab m Lab b Uni b Uni y Uni x Tier3    Desktop Germany Tier 1 USA UK France Italy ………. CERN Tier 1 ………. Manager View User View

27 Ιουνιου 2008March Ι. ΑποστολακηςGGF10 / PNPA – RG Workshop – J Harvey 45 Distributed Analysis – the real challenge  Analysis will be performed with a mix of “official” experiment software and private user code  How can we make sure that the user code can execute and provide a correct result wherever it “lands”?  Input datasets not necessarily known a-priori  Possibly very sparse data access pattern when only a very few events match the query  Large number of people submitting jobs concurrently and in an uncoordinated fashion resulting into a chaotic workload  Wide range of user expertise  Need for interactivity - requirements on system response time rather than throughput  Ability to “suspend” an interactive session and resume it later, in a different location  Need a continuous dialogue between developers and users

27 Ιουνιου 2008 Ι. Αποστολακης 46 Visualization zMuch functionality is implemented zSeveral drivers: yOpenGL, VRML, Open Inventor, Opacs, DAWN renderer (G4) zAlso choice of User Interfaces: yTerminal (text) or yGUI: Momo (G4), OPACS yEditors for geometry, EM physics code generation

27 Ιουνιου 2008 Ι. Αποστολακης 47 One area: Tracking zWhat a simulation code needs to do for each step of particle: yDetermine the step length xCorresponding to the applicable physics processes xChecking if it crosses a geometrical boundary yModel the final state of the track, xAdvancing it, potentially in an EM field, xApplying the actions of the physics processes, which can create secondary particles. yDeposit energy in current position (‘hit’).

27 Ιουνιου 2008 Ι. Αποστολακης 48 Actions during a Step zDuring each step yEach physics process is given the opportunity to limit the step, xas is the geometry module (at a boundary), and xleading to the decision on this step’s length. yPhysics processes are allowed to apply their effect xIf they occur along a step (‘continuous’) xIf they caused the ‘hard’ event that limited the step (‘discreet’).

27 Ιουνιου 2008 Ι. Αποστολακης 49 Actions during a Step (cont) zDuring a step (continued) yAn (optional) user-written ‘action’ is called, xWhich can be used eg to create histograms or tallies. yIf the current volume contains a sensitive detector, that is addressed, allowing it eg xto record the energy deposited, xto record the exact position in general to create a ‘hit’ that store all information that is relevant for that detector.

27 Ιουνιου 2008 Ι. Αποστολακης 50 Actions during a Step (cont) zDuring a step (continued) yA parametrisation can be triggered (Geant4) xTaking over from ‘detailed’ simulation xGenerating directly several hits This application-specific operates instead of ‘normal’ physics processes until it returns control and/or resulting particles for further ‘detailed’ simulation. Begin of step point End of step point Step Boundary

27 Ιουνιου 2008 Ι. Αποστολακης 51 G EANT 4 zDetector simulation tool-kit for HEP yoffers alternatives, allows for tailoring zSoftware Engineering and OO technology yprovide the method for building, maintaining it. zRequirements from: yLHC yheavy ions, CP violation, cosmic rays ymedical and space science applications zWorld-wide collaboration

27 Ιουνιου 2008 Ι. Αποστολακης 52

27 Ιουνιου 2008 Ι. Αποστολακης 53 Sampling calorimeter zSampling calorimeter yvisible energy ztests yall EM processes for e-, e+ and photon zData from Sicapo Col. NIM A332 (85-90) 1993

27 Ιουνιου 2008 Ι. Αποστολακης 54 Multiple scattering model zA new model for multiple scattering based on the Lewis theory is implemented  since public  release in zIt randomizes momentum direction and displacement of a track. yStep length, time of flight, and energy loss along the step are affected, and yIt does not constrain the step length.

27 Ιουνιου 2008 Ι. Αποστολακης 55 Multiple scattering zExamples of comparisons: y15.7 MeV e- on 19 mg/cm2 gold foil (8 um) figure y6.56 MeV proton xon 93 microns Si y70 GeV/c proto

27 Ιουνιου 2008 Ι. Αποστολακης 56