Gögnum námuvinnslu: Hópinnflutningur á móti öflun byggðar á krók

Er innflutningur á lotu eða krókaframkvæmd bestur fyrir stefnu í námuvinnslu gagna?

Þegar námuvinnsla gagna frá utanaðkomandi aðilum er hægt að auðkenna aðferðafræðina sem „hóp“ eða „krók“. Þetta eru gríðarlega ólíkar og eiga sinn kost. Við skulum nota dæmi til að einfalda þetta lítillega. Sem dæmi má nefna að upplýsingarnar eru fluggögn sem lúta að staðsetningu flugvélar hverju sinni. Þess vegna ættum við að hafa eftirfarandi lykilatriði:

  1. Hreyfingarástand (kyrrstætt eða á hreyfingu)
  2. Breidd
  3. Lengdargráða
  4. Hæð
  5. Uppruni (núverandi eða næsta flug)
  6. Áfangastaður (núverandi eða næsta flug)
  7. Tími (millisekúndna nákvæmni)

Í þessu dæmi ættum við að vera fær um að framreikna flestar upplýsingar sem varða flugvélarnar með því að nota fyrrnefnd gögn. Við skulum greina tvær aðferðir við að flytja inn gögn.

Hópinnflutningur

Hópinnflutningur er byggður á áætlun og mun „draga“ upplýsingar frá uppruna með endurteknu millibili. Með því að nota dæmi okkar hér að ofan um fluggögn gæti þetta verið útfært á eftirfarandi hátt:

  1. Að klukkutíma fresti flytjum við inn allar flugskrár sem varða þessa flugvél síðan í síðasta lagi. Við munum kalla þetta lotutíma sem gæti verið 10: 00: 00.000 (10:00, með millisekúndna nákvæmni).
  2. Þessi netþjónn vinnur úr þessum gögnum (tókst að flytja inn).
  3. Við uppfærum lotutímann að þeim tíma sem nýjasta metið var. Þess vegna, jafnvel þó að lotutíminn í skrefi 1 væri 10: 00.000, ef síðasta metið var 9: 59: 52.915, þá verður þetta nýja lotutíminn.

Af hverju notum við tímasetningu lotunnar með þessum hætti?

  1. Við uppfærum lotutímann þar sem klukkutíma lota getur mistekist. Þetta veitir okkur það fullviss að jafnvel ef lota bregst, munum við í næsta tilviki flytja inn allar upplýsingar síðan í síðasta lotu.
  2. Við sparar líka lotutímann til þess tíma sem nýjasta flugskráin var, þar sem smá tímamunur á netþjónum gæti valdið því að sum gögn verða ekki flutt inn í næsta tilviki. Til að skýra þetta á annan hátt; ef netþjónninn okkar er 5 sekúndum á undan því sem gefur fluggögnin og við myndum spara síðasta lotutímann eins og tími netþjónsins okkar, á næsta innflutningi munum við glata þessum 5 sekúndna gögnum. Í staðinn notum við síðasta skráðan tíma fluggagnanna til að tryggja að lotur nái öllum gögnum.

Innflutningur krókaleiða

Innflutningur krókaleiða er hrein rauntímaaðferð til að afla gagna. „Krókur“ í tölvumálum vísar til ferlis þar sem utanaðkomandi kerfi (svo sem fluggagnalausnin) sendir skilaboð (sem innihalda gögn) til netþjónsins þegar atburður á sér stað. Dæmi um innflutning á krókaleiðum mætti ​​framkvæma á eftirfarandi hátt:

  1. Ný skrá er vistuð á fluggagnamiðlinum með öllum upplýsingum (hreyfingarástandi, breiddargráðu, lengdargráðu, hæð, osfrv.).
  2. „Krókur“ setur upp sem sendir gögnin sjálfkrafa á netþjóninn þinn.
  3. Miðlarinn þinn vinnur þessi gögn (flutt inn með góðum árangri).

Niðurstaða

Þó að innflutningsaðferðir í krókaleiðum séu ákjósanlegar út frá „rauntíma“ sjónarhorni, bjóða þær upp á tvær megináhættu:

  1. Þú verður að afhjúpa aðgang að netþjóninum þínum frá utanaðkomandi stað. Þetta skapar netöryggisáhættu, jafnvel þegar það er gert á réttan hátt.
  2. Ef gögn krókar eru ekki afhent (til dæmis ef netþjónninn þinn var ekki hægt að ná í) verður það ótrúlega fyrirferðarmikið að sækja þessi gögn án þess að treysta á heiðarleika ytri pallsins.

Við höfum tilhneigingu til að nota hópinnflutning þar sem mögulegt er til að forðast þetta, með styttri „millibili“ þar sem þörf er á fyrir frekari upplýsingar.