Kā izveidot meklētāju saviem Twitter ierakstiem (screencast)

Vakar izdarīju to, ko jau sen vēlējos, bet kaut kā līdz šim nebiju pieķēries. Proti – pieprasīju savu Twitter ierakstu arhīvu. Uzrakstīju mazu importēšanas skriptu, kurš apstrādāja arhīvā esošo CSV failu un aizsūtīja datus uz Clusterpoint datubāzi. Pēc tam uzrakstīju vēl vienu mazu skriptu, kurš veic primitīvu meklēšanu attiecīgajā datubāzē. Gan viens, gan otrs prasīja tikai dažas minūtes, bet rezultātā tiek iegūta noderīga lieta. Ne reizi vien ir bijis tā, ka vēlos atrast kādu savu Twitter ierakstu, bet nevaru. Twitter search šādos gadījumos nepalīdz. Tagad gan varu atrast visus savus Twitter ierakstus bez jebkādām problēmām.

Pieņemu, ka kāds no jums nodomāja: kāda tad jēga rakstīt skriptus, importēt CSV failu datubāzē, ja Twitter ierakstu CSV var atvērt ar Excel/LibreOffice Calc vai pat ar kādu teksta redaktoru un veikt meklēšanu tur. Norādījums/aizrādījums ir pavisam normāls. Atbilde vienkārša – šādi ir interesantāk un var apgūt kaut ko jaunu. Līdz šim Clusterpoint nebiju izmantojis. Šis bija veids kā to nedaudz apgūt. Turklāt, ja būs tāda vēlēšanās, meklētāju varu uzlabot ar tādām funkcijām, kuras īsti no Excel vai teksta redaktoriem nedabūt. Tātad jā, var atvērt CSV ar kādu programmu un meklēt tur, bet tas nav nedz interesanti, nedz izglītojoši.

Datu apstrādei es izmantoju PHP, bet tu vari izmantot arī citas valodas, jo Clusterpoint nodrošina bibliotēkas vairākām. Es video esmu sadalījis 3 daļās. Pirmajā ir ievads, kurā pastāstu veidojamo lietu (kādēļ un ar ko tiks taisīts). Otrajā ir importēšanas skripts, trešajā ir meklētājs. Ņemiet vērā, ka skripti ir tikai demonstrācijas un ir stipri papildināmi. Uztvert viņus kā mācību materiālu nevis kādu pilnvērtīgu produktu. Ja pamanījāt kādu kļūdu, ir jautājumi vai komentāri – droši rakstiet komentāros.

Vēl dažas lietas noslēgumā. Video apstrāde (līmēšana/graizīšana) veikta Youtube Web redaktorā. Skaņa ierakstīta ar parastu (lasi: lētu, vājas kvalitatīvu) mikrofonu. Tādēļ vizuālā un audio kvalitāte var nebūt pārāk laba (audio ir labāks klausoties ar austiņām nevis, piemēram, portatīvā datora skandām). Un kā izrādījās – Youtube video kodējums nedaudz izpludina to koda rindu, kura tiek rediģēta un nedaudz pārveido jau tā vājo skaņu. Video ierakstīts uz 1080p ekrāna. Ja skatīsieties mazākā izšķirtspējā – bilde var būt miglaina un tekstu grūtāk saprast. Ja kādreiz nopietnāk pievērsīšos šādiem video, tad iegādāšos normālāku mikrofonu, kā arī apgūšu kādu video apstrādes programmu. Bet šobrīd ir kā ir un ņemiet par labu tie, kas kaut ko apgūs.

Papildināts: Mr. Serge komentāros raksta, ka search, kurš ir Twitter arhīva HTML failā esot visai spēcīgs un neesot problēmu atrast Twitter ierakstus pat pēc sarežģītiem pieprasījumiem. Iespējams, ka tā tas arī ir – neesmu pārbaudījis. Tāpēc, ja vienkārši gribat search – Twitter jau to pats nodrošina. Bet, ja vēlaties nedaudz paspēlēties ar PHP un Clusterpoint, tad droši skatieties video.

Ievads

Ja nerāda iegultu video, te saite uz Youtube: https://www.youtube.com/watch?v=l-8huMyD1sc

Importēšana

Ja nerāda iegultu video, te saite uz Youtube: https://www.youtube.com/watch?v=0Arl1dERXmQ

Meklēšana

Ja nerāda iegultu video, te saite uz Youtube: https://www.youtube.com/watch?v=_QOipc8jc9U

Daži reizēm aizmirst, tāpēc: https://endijs.com publicētās informācijas pārpublicēšana bez saskaņošanas ar autoru ir aizliegta. Lūgums respektēt autora/autoru tiesības. Paldies!

6 comments

  1. Es tā īsti neiebraucu, kāpēc tev ir šitāda ņemšanās jātaisa, ja iekš tā tvitera arhīva ir html, kurā jau ir meklētājs, kas visu atrod. Tikai lai pirkstus pavingrinātu?

    1. Arī. Un man tā ir ērtāk. Esmu pieradis mazos darbus darīt terminālī. Varu uzlikt alias uz ‘twsearch’ un uzreiz sameklēt ko vajag. Nevis meklēt kur man ir arhīva html fails. Vērt viņu vaļā browserī, tad meklēt. Plus search ar skriptu un normālu db var izmantot speciālus modifikatorus meklēšanai. Tādā veidā var meklēt lietas ar “or, not, and”, daļu vārdu un wildcard utt. Īsumā – jā, html search ir OK vairumā gadījumu, bet šādi var kaut ko iemācīties, meklēt ir ērtāk un var specifiskākas lietas atrast.

      1. Nu bet pag, ar to iebūvēto html meklētāju tu arī vari operatorus izmantot, praktiski visus, kas twitter advanced search api ir pieejami. Un vienu problēmu tu tāpat neatrisini: meklēšanas datubāze visu laiku manuāli ir jāatjauno, novelkot svaigāko arhīvu un pārvelkot svaigāko arhīvu uz clusterpoint, un tu to nevari automatizēt.

        1. Automatizēt db papildināšanu var. Piemēram, var iet manuālo ceļu. Velkam zip, paņemam CSV, skripts pieslēdzas db un noskaidro jaunāko ierakstu, tad no CSV aizsūta trūkstošos. Automātiskāks pat var būt tāds, ka ir servera skripts, kurš visu laiku skatās manu twitter feed un tiklīdz ir jauns tweets, tā iemet viņu db. Tas gan būtu pavisam cits skripts un risinājums, bet automatizēts un ērtāks par arhīva pieprasīšanu.
          Kas attiecas uz HTML search – nezināju ka viņš ir tik advancēts. Mūžu dzīvo, mūžu mācies. :)

  2. Jauka pamācība; iesācējiem varētu būt noderīga. Tā tik turpināt ar screencastiem!

    Viens mazs ieteikums: uztaisi gist ar šo kodu un rakstā ieliec linku.

    1. Gistus vai Github repo es likšu tad, kad būs vairāk koda. Te 10 rindiņu dēļ negribējās ķēpāties.

Atbildēt

Jūsu e-pasta adrese netiks publicēta.

This site uses Akismet to reduce spam. Learn how your comment data is processed.