Merhabalar.

Listviewine scrolllistener ekleyerek güncel pozisyonunu çekebilir ona göre swipe refreshi aktif hale getirebilirsin.

int position = 0;

listView.setOnScrollListener(new OnScrollListener() {

        @Override
        public void onScrollStateChanged(AbsListView view, int scrollState) {
            // TODO Auto-generated method stub

        }

        @Override
        public void onScroll(AbsListView view, int firstVisibleItem,
                int visibleItemCount, int totalItemCount) {
             //Burada firstVisibleItem görünen ilk itemın idsini vermektedir.
             position = firstVisibleItem;

        }
    });

Örnek kodda olduğu gibi güncel pozisyonu alabilir ve position değişkenini ufak bir kontrol mekanizmasının içine koyarakta swiperefreshi aktif veya deaktif edebilirsin.